Towards end-to-end LLM-based censoring-aware survival analysis

ملخص تقني: LLMSurvival

بيان المشكلة
يُعد تحليل البقاء (Survival analysis) حجر الزاوية في التنبؤ الطبي، حيث يهدف إلى نمذجة كل من حدوث الواقعة والوقت حتى وقوعها. ومع ذلك، فإن تطبيق النماذج اللغوية الكبيرة (LLMs) كنماذج بقاء متكاملة (end-to-end) قد تعثر بسبب تحدي الرقابة (censoring). في البيانات الخاضعة للرقابة، يكون وقت وقوع الحدث بدقة غير معروف لأن المبحوث قد ينسحب أو تنتهي فترة المراقبة قبل وقوع الحدث. هذا النقص في تسميات الحقيقة الأرضية (ground-truth labels) الصريحة يمنع الاستخدام المباشر لأطر الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي التقليدية، والتي تعتمد على أهداف محددة. وبناءً على ذلك، حصرت الأبحاث السابقة النماذج اللغوية الكبيرة في دور مستخرجات الميزات (feature extractors) أو تطلبت تعديلات معمارية جوهرية (مثل إضافة شبكات عصبية فوق النماذج اللغوية) بدلاً من استخدام النموذج اللغوي كمحرك تنبؤي أساسي.

المنهجية: LLMSurvival
يقترح المؤلفون إطار عمل LLMSurvival، الذي يتيح تحليل البقاء المدرك للرقابة باستخدام نماذج لغوية كبيرة غير معدلة تعمل مباشرة على البيانات السريرية الجدولية. الابتكار الجوه Core هو إعادة صياغة التنبؤ بالوقت حتى وقوع الحدث كمسألة ترتيب ثنائي (pairwise ranking problem)، مما يتجنب الحاجة إلى تسميات زمنية مطلقة.

1. تحويل البيانات: يتم تحويل المتغيرات الجدولية المهيكلة (مثل العمر، العلامات الحيوية، نتائج المختبر) إلى عبارات لغوية طبيعية باستخدام قالب (مثال: "العمر هو 79؛ الجنس هو أنثى").
2. الصياغة الثنائية: بدلاً من التنبؤ بزمن بقاء محدد، يتم تدريب النموذج لتحديد أي من شخصين قابلين للمقارنة سيواجه الحدث أولاً.
   • الأزواج التدريبية: يتم إنشاء زوج تدريبي صالح $(i, j)$ حيث تعرض الشخص $i$ للحدث ($e_i=1$) وحدث ذلك قبل وقت المتابعة للشخص $j$ ($t_i < t_j$). يتضمن هذا الأشخاص الخاضعين للرقابة طالما تمت مراقبتهم لفترة أطول من وقت وقوع الحدث للشخص الآخر.
   • الهدف: يتم ضبط النموذج بدقة عبر التعلم الخاضع للإشراف للتنبؤ بالترتيب النسبي. دالة الخسارة هي هدف الإنتروبيا المتقاطعة الثنائية (binary cross-entropy) عبر الأزواج القابلة للمقارنة، مما يحسن احتمالية تخصيص درجة مخاطر أعلى للشخص الذي يواجه الحدث في وقت أبكر.
   • أخذ العينات: لإدارة التكلفة الحسابية لتوليد جميع الأزواج الممكنة، يتم استخدام استراتيجية أخذ عينات "الحالات والضوابط المتداخلة" (nested case-control sampling)، حيث يتم اختيار عدد ثابت من الضوابط (الأشخاص ذوي فترات المتابعة الأطول) لكل حالة حدث.
3. الاستدلال عبر مقارنة المرتكزات (Anchor Comparison): أثناء الاختبار، لا يتم التنبؤ بدرجة مخاطر الشخص بشكل مباشر. بدلاً من ذلك، تتم مقارنة الشخص المختبر بمجموعة ثابتة من $K$ من الأفراد "المرتكزات" (anchors) الذين تم اختيارهم من عينة التدريب.
   • يتنبأ النموذج بما إذا كان الشخص المختبر يمثل خطراً أعلى من كل مرتكز.
   • درجة المخاطر النهائية هي نسبة المرتكزات التي صُنِّف الشخص المختبر ضدها كأعلى خطراً.
4. النماذج: تم تقييم إطار العمل باستخدام نموذجين من النماذج الموجهة بالتعليمات والقابلة للنشر محلياً: Llama 3.1-8B-Instruct و Qwen 2.5-7B-Instruct.

المساهمات الرئيسية

• نمذجة البقاء بنهاية إلى نهاية (End-to-End): يقدم البحث إثبات مفهوم لتدريب النماذج اللغوية الكبيرة مباشرة كنماذج بقاء دون تعديلات معمارية، متجاوزاً دورها التقليدي كمستخرجات للميزات.
• حل مشكلة الرقابة: من خلال إعادة صياغة المسألة كمسألة ترتيب، تدمج الطريقة ملاحظات الرقابة بشكل طبيعي في عملية التدريب، مما يعالج العقبة الأساسية المتمثلة في فقدان أوقات الأحداث.
• قابلية النقل: أثبت الإطار قدرته على الانتقال عبر سياقات سريرية متنوعة (وفيات العناية المركزة الحادة وخطر الكسور المزمنة) دون تغييرات معمارية خاصة بكل مهمة.
• النشر المحلي: يسمح استخدام النماذج الأساسية المدمجة والمتاحة للجمهور (7/8 مليار معلمة) بالنشر المحلي، مما يخفف من مخاوف الخصوصية المرتبطة باستدعاءات واجهات برمجة التطبيقات الخارجية.

النتائج
تم تقييم إطار العمل في مهمتين سريريتين متميزتين:

1. التنبؤ بوفيات العناية المركزة (MIMIC-IV):
   • حقق LLMSurvival مؤشر C-index إجمالي قدره 0.776 (Llama) و 0.784 (Qwen).
   • يمثل هذا تحسناً بنسبة 3.1% عن نموذج مخاطر كوكس المتناسب (0.753) وتحسناً بنسبة 3.0% عن الدرجة السريرية الراسخة SAPS-II (0.746).
   • تفوق على ثلاثة نماذج أساسية للتعلم العميق (Cox-nnet, DeepHit, DeepSurv) في المتوسط.
2. التنبؤ بكسور الهشاشة (مجموعة NYP/WCM):
   • حقق LLMSurvival مؤشر C-index إجمالي قدره 0.742 (Llama) و 0.741 (Qwen).
   • أظهر هذا تحسناً بنسبة 0.5% عن نموذج كوكس وتحسناً كبيراً بنسبة 8.2% عن درجة FRAX السريرية (0.660).
   • كان الأداء منافساً أو متفوقاً على نماذج التعلم العميق عبر آفاق زمنية مختلفة (سنتين، 3 سنوات، و5 سنوات).

في كلتا المهمتين، أكدت تحليلات Kaplan–Meier أن LLMSurvival نجح في تصنيف المرضى بفعالية إلى مجموعات عالية المخاطر ومنخفضة المخاطر ذات مسارات بقاء متميزة (نسبة المخاطر Hazard Ratios بلغت 4.80 للعناية المركزة و4.02 للكسور). وأشار التحليل النوعي لمخرجات النموذج إلى أن النماذج اللغوية ولّدت مبررات متماسكة سريرياً لمقارناتها الثنائية، مستشهدة بعوامل الخطر ذات الصلة مثل شدة الدخول، مستويات الأكسجة، وأعباء الأمراض المصاحبة.

الأهمية والادعاءات
يزعم المؤلفون أن LLMSurival يثبت أن نمذجة البقاء مع الرقابة يمكن جعلها متوافقة مع الضبط الدقيق للنماذج اللغوية الكبيرة من خلال إعادة الصياغة القائمة على المقارنة. وتعد الدراسة إثبات مفهوم لقدرة النماذج اللغوية الكبيرة على توسيع قدراتها لحل المشكلات الإحصائية المعقدة بشكل مستقل، بدلاً من الاعتماد على البنى الهجينة. إن قدرة إطار العمل على التفوق على الدرجات السريرية المعدة من قبل الخبراء (SAPS-II و FRAX) تشير إلى أن النماذج اللغوية الكبيرة يمكنها تعلم تصنيف المخاطر بشكل هادف مباشرة من البيانات. علاوة على ذلك، توضح هذه الدراسة مبدأً أوسع: وهو أن إعادة صياغة المشكلات الصعبة إحصائياً إلى مهام تتماشى مع قدرات النماذج اللغوية الكبيرة (مثل الاستدلال المقارن) يمكن أن يوسع نطاق تطبيق النماذج اللغوية في التعلم الآلي الحيوي الطبي.

القصور
يقر المؤلفون بعدة قصور:

• أظهر التدريب بعض التباين عبر تكوينات أخذ العينات، مما يشير إلى وجود مجال لتحسين استقرار التحسين (optimization).
• اعتمد اختيار الأزواج على أخذ العينات العشوائي للضوابط؛ وقد تؤدي الاستراتيجيات المهيكلة إلى تحسين الكفاءة.
• يتطلب الاستدلال إجراء مقارنات ثنائية متعددة مقابل المرتكزات، مما يضيف عبئاً حسابياً.
• التنفيذ الحالي يستخدم فقط المدخلات الجدولية المهيكلة؛ وهناك حاجة لعمل مستقبلي لدمج الإشارات متعددة الوسائط مثل الملاحظات السريرية والتصوير الطبي.