Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

ملخص تقني: إعادة بناء مسارات إنتان الدم (Sepsis) من تقارير الحالات السريرية باستخدام النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
تقدم تقارير الحالات السريرية وملخصات الخروج تلخيصاً كاملاً ودقيقاً لتجارب المرضى؛ ومع ذلك، لا يتم الانتهاء منها إلا بعد انتهاء التجربة، مما يؤدي إلى دقة زمنية خشنة مقارنة بالأحداث التفصيلية التي تصفها. وفي المقابل، تتوفر تدفقات البيانات المهيكلة (مثل العلامات الحيوية، والمختبرات) في الوقت الفعلي، ولكنها غالباً ما تعاني من نقص كبير في الاكتمال، مما يجعل من الصعب تمثيل أو تأكيد تشخيصات مثل إنتان الدم (Sepsis). وبينما تُعد البيانات المهيكلة المورد الأساسي لأنظمة الإنذار المبكر والدراسات المظهرية الحالية، فإن فقدان بياناتها يؤدي إلى نمذجة دون المستوى الأمثل. هناك حاءة ماسة إلى مجموعة بيانات تجمع بين الاكتمال السردي للنصوص السريرية والدقة الزمنية الدقيقة لتمكين التحليلات الزمنية الأفضل، والاستدلال السببي، والتنبؤ بمسارات إنتان الدم. ركزت الجهود الحالية بشكل كبير على العلاقات الزمنية بين المفاهيم السريرية بدلاً من توقيت الأحداث، أو استخدمت عينات صغيرة وملخصات مقتطعة.

المنهجية
يقدم المؤلفون مسار عمل لبناء متن الزمن السلسلي النصي لإنتان الدم - النوع الثالث (T2S2)، والذي يتكون من 2,139 تقريراً لحالات من المصادر المفتوحة من مجموعة PubMed Open Access (PMOA). تتضمن المنهجية عملية مكونة من أربع مراحل:

1. الكشف عن تقارير الحالات وتحديد المظاهر (Phenotyping): يقوم المسار بتصفية تقارير PMOA باستخدام التعبيرات النمطية (regex) والنماذج اللغوية الكبيرة (LLMs) لتحديد التقارير التي تستوفي معايير Sepsis-3 (اشتباه/تأكيد عدوى بالإضافة إلى اضطرابات qSOFA).
2. استخراج النتائج السريرية: باستخدام مطالبة مهيكلة مع أمثلة قليلة (few-shot)، تقوم ستة نماذج لغوية كبيرة (بما في ذلك GPT-5 وDeepSeek-R1 ونماذج Llama 3.x المختلفة) باستخراج النتائج السريرية. تتطلب قواعد الاستخراج تقسيم الروابط (على سبيل المثال، "تضخم الكبد والبنكرياس" تصبح حدثين منفصلين) والحفاظ على نطاقات نصية محددة.
3. التعيين الزمني: تقوم النماذج بتعيين طوابع زمنية بالنسبة لوقت الدخول ($t=0$) بالساعات. تتلقى الأحداث التي تسبق الدخول طوابع زمنية سالبة. يعالج المسار أحداث المدة الزمنية عبر تعيين وقت البدء واستنتاج أوقات الأحداث التي تفتقر إلى علامات زمنية صريحة باستخدام الاستدلال السياقي.
4. إطار التقييم: يتم التحقق من صحة النظام مقابل مجموعة ذهبية مكونة من 40 تقريراً تم ترميزها من قبل أطباء (sepsis-40) ومجموعة وكيلة برونزية (sepsis-100). تشمل مقاييس التقييم:
   • معدل مطابقة الحدث: أفضل مطابقة تكرارية باستخدام مسافة جيب التمام لتمثيلات PubMedBERT (العتبة $\theta=0.1$).
   • الترتيب الزمني: مؤشر التوافق (c-index) لأزواج الأحداث.
   • دقة الوقت: متوسط الخطأ المطلق (MAE) والمساحة تحت منحنى الوقت اللوغاريتمي (AULTC)، والذي يدمج التناقضات عبر المقاييس الزمنية لمنع الأخطاء طويلة المدى من الهيمنة على المقياس.

المساهمات الرئيسية

1. متن T2S2: أول متن زمني نصي مفتوح المصدر لـ Sepsis-3، يحتوي على 2,139 تقريراً للحالات مع أزواج (حدث-طابع زمني) مستخرجة.
2. مسار الترميز (Annotation Pipeline): نهج مبتكر يعتمد على "النموذج اللغوي الكبير كمُرمّز" مصمم خصيصاً لاستخراج النتائج السريرية المرتبطة بالوقت من النصوص الحرة، وهو متميز عن الأعمال السابقة التي ركزت على علاقات المفاهيم بأسلوب i2b2.
3. ترميز المعيار الذهبي: 3,229 حدثاً تم ترميزها يدوياً عبر 40 تقريراً من PMOA، مما يوفر معياراً صارماً للتقييم.
4. معايير التقييم: مقاييس مكيفة للسلاسل الزمنية النصية حيث لا يشترط أن تكون النتائج المتطابقة متطابقة في السلسلة النصية، وذلك باستخدام مسافات التضمين الدلالي وتوسيع الوقت اللوغاريتمي لقياس الخطأ.
5. التحقق متعدد الطبقات: إطار شامل يتضمن تقدير عدم اليقين عبر Bootstrap، واتفاق المُرمّزين (طبيب ضد طبيب)، وتدقيق الهلوسة، وتحليل الاتساق الذاتي، والاتفاق بين النماذج عبر المتن الكامل.

النتائج

• أداء الاستخراج: على مجموعة sepsis-40 المرمزة من قبل الأطباء، أظهر GPT-5 أقوى أداء إجمالي بمعدل مطابقة أحداث بلغ 0.93، وتوافق قدره 0.965، ومتوسط خطأ مطلق قدره 4 ساعات. قدم DeepSeek-R1 و Llama 3.3 70B خطوط أساس تنافسية للنماذج المفتوحة، حيث حقق DeepSeek-R1 معدل مطابقة 0.79 وحقق Llama 3.3 معدل 0.76.
• الترتيب الزمني: أظهرت النماذج الكبيرة قدرات قوية في الترتيب الزمني. حقق GPT-5 وLlama 3.3 درجات توافق بلغت 0.965 و0.908 على التوالي، متفوقين بشكل ملحوظ على النماذج الأصغر (مثل Llama 3.1 8B بنسبة 0.856) وعلى نموذج BERT لترجيح الوقت الأساسي.
• نتائج التحقق:
  • تدقيق الهلوسة: في تدقيق يدوي لـ 1,517 حدثاً من DeepSeek-R1 وLlama 3.3، تم تحديد صفر من الأحداث المهلوسة غير المدعومة، رغم أن أخطاء الطوابع الزمنية ظلت ممكنة حتى للأحداث المثبتة.
  • الاتساق الذاتي: أظهر التوليد متعدد المراحل استقراراً عالياً عبر البذور العشوائية (random seeds)، مما يشير إلى أن عملية الاستخراج لا تُقاد بالضوضاء العشوائية.
  • التباين البشري: كان الاتفاق بين الطبيب والآخر على نفس التقارير غير كامل (معدل المطابقة 0.681)، مما يشير إلى أن الفجوة بين أداء النموذج وأداء البشر تتقلص، وأن أخطاء النماذج غالباً ما تكون قابلة للمقارنة مع التباين في الترميز البشري.
  • القصور: تدهور الأداء على مجموعة بيانات i2m4 (مفاهيم i2b2 القديمة) بسبب عدم تطابق الأنطولوجيا (المفاهيم المجزأة مقابل النتائج التركيبية) وتحيزات عدم التحديد. بالإضافة إلى ذلك، أظهرت الأحداث طويلة المدى (أشهر/سنوات) تباينات أعلى في الطوابع الزمنية.

الأهمية والادعاءات
تحدد الورقة القدرة على التوطين الزمني للنتائج السريرية بواسطة النماذج اللغوية الكبيرة، مما يثبت أن النماذج التأسيسية ذات الضبط التعليمي (instruction tuning) يمكنها بفعالية إعادة بناء المسارات السريرية الاسترجاعية من النصوص. يدعي المؤلفون أن T2S2 يعمل كـ مورد بحثي استرجاعي عالي الدقة لمهام لاحقة مثل التنبؤ بالمخاطر، والاستدلال السببي، وتوصيف مسار المرض.

يصرح المؤلفون صراحةً أن T2S2 ليس نظام استخراج سريري جاهز للنشر. وقد سلطوا الضوء على القيود بما في ذلك انحياز النشر المتأصل في تقارير الحالات، ونقص التحقق الشامل من قبل الأطباء للمتن الكامل، وصعوبة نقل هذا المسار إلى البيئات السريرية المستقبلية (prospective) حيث تكون البيانات أكثر ضوضاءً وتتطور باستمرار. يشير العمل إلى أنه بينما يمكن للنماذج اللغوية الكبيرة استعادة الهياكل الزمنية بدقة عالية، فإن نمط الفشل الرئيسي غالباً ما يكون تعيين أوقات خاطئة لنتائج حقيقية بدلاً من اختلاق أحداث. ويُتوقع الاستخدام المستقبلي في دمج هذه الجداول الزمنية المستمدة من السرد مع البيانات الفسيولوجية المهيكلة لبناء تمثيلات شاملة متعددة الوسائط لمسارات المرضى.