Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment

ملخص تقني: النص يعرف "ماذا"، والجداول تعرف "متى"

بيان المشكلة
يعد إعادة بناء الجداول الزمنية السريرية الدقيقة أمراً بالغ الأهمية لنمذجة مسارات المرضى والتنبؤ بالمخاطر في الحالات المعقدة مثل تعفن الدم (sepsis). ومع ذلك، تقدم مصادر البيانات الحالية رؤية متكاملة ولكنها مجزأة لتاريخ المريض. توفر السرديات السريرية غير المهيكلة (النصوص) أوصافاً غنية دلالياً وكاملة سياقياً لمسار المريض، بما في ذلك المؤشرات المبكرة للتدهور والحالة الوظيفية، لكنها غالباً ما تفتقر إلى الدقة الزمنية وتحتوي على توقيت أحداث غامض. وفي المقابل، توفر بيانات السجلات الصحية الإلكترونية (EHR) المهيكلة (الجداول) ركائز زمنية دقيقة من خلال القيم المختبرية، والعلامات الحيوية، والأدوية، ولكنها كثيراً ما تغفل جزءاً كبيراً من الأحداث ذات المعنى السريري، مثل تطور الأعراض، والنتائج المبلغ عنها من قبل المرضى، والسياق السببي. وقد أظهرت الأعمال السابقة أن الاعتماد على أحد هذين النمطين وحده يؤدي إما إلى مسارات غير دقيقة زمنياً أو تغطية غير كاملة للأحداث.

المنهجية
يقترح المؤلفون إطار عمل للمحاذاة متعدد الوسائط المعزز بالاسترجاع (RAG) الذي يسد هذه الفجوات لتحسين الدقة الزمنية للجداول الزمنية المطلقة المستخرجة من النص. يصيغ النهج إعادة بناء الجدول الزمني كعملية متعددة الخطوات قائمة على الرسوم البيانية (Graph-based) بدلاً من مهمة استخراج بمرور واحد. تعمل خطة العمل في أربع مراحل:

1. بناء الهيكل الأساسي (Central Scaffold Construction): يستخرج النظام أولاً مجموعة من "الأحداث المركزية" ذات المعلومات الزمنية من السرد لتكون بمثابة ركائز زمنية. ثم يقدر العلاقات الزمنية الثنائية بين هذه الأحداث المركزية لبناء رسم بياني زمني نسبي أولي.
2. معايرة الهيكل (RAG): يتم معايرة الهيكل المركزي الأولي باستخدام صفوف سجلات EHR المهيكلة المسترجعة. يسترجع النظام أفضل ($k$) من الصفوف المهيكلة الأكثر صلة بكل حدث مركزي عبر تشابه التضمين (embedding-based similarity)، ويستخدم هذا الدليل لتنقيح الطوابع الزمنية المطلقة للركائز المركزية.
3. تجميع الجدول الزمني الكامل: يتم استخراج الأحداث غير المركزية من النص وإلحاقها بالهيكل المركزي مع إزاحات زمنية نسبية. تُدمج هذه الأحداث مع الجدول الزمني المركزي المعاير لتشكيل جدول زمني كامل أولي.
4. التنقيح النهائي: يتم إجراء تحديث ثانٍ معزز بالاسترجاع على مجموعة الأحداث الكاملة، باستخدام أدلة EHR المهيكلة لتنقيح الطوابع الزمنية للمسار بأكمله بشكل أكبر.

يستخدم إطار العمل نماذج لغوية كبيرة (LLMs) مضبوطة بالتعليمات لجميع خطوات الاستخراج والاستدلال والمعايرة، والتي يتم تنسيقها عبر سير عمل قائم على الرسم البياني (LangChain/LangGraph). يتم إجراء التقييم على معيار i2m4، المستمد من ملخصات الخروج من قواعد بيانات MIMIC-III وMIMIC-IV، ومقارنة المسار متعدد الوسائط مع النماذج المرجعية أحادية الوسيط التي تعتمد على النص فقط.

المساهمات الرئيسية
يقدم البحث خمس مساهمات رئيسية:

1. التكامل متعدد الوسائط القائم على RAG: تطوير إطار عمل يربط الجداول الزمنية للأحداث المستخرجة من النص بصفوف سجلات EHR المهيكلة، مما يظهر تحسناً في الدقة الزمنية مقارنة بإعادة البناء أحادي الوسيط المعتمد على النص فقط.
2. مسار متعدد الخطوات قائم على الرسم البياني: تقديم استراتيجية تفكيك تستخدم الأحداث المركزية كركائز زمنية لبناء الهيكل، يتبعها إلحاق الأحداث غير المركزية والتنقيح، مما يتفوق على الصيغ ذات المرور الواحد.
3. تحليل التكامل الخاص بكل مرحلة: مقارنة تجريبية لاستراتيجيات المعايرة (تحديث الهيكل المركزي فقط، أو الجدول الزمني النهائي فقط، أو كليهما، أو لا شيء)، مما يعزل القيمة المحددة للأدلة المهيكلة في مراحل مختلفة.
4. تحليل الفجوة في البيانات الجدولية: توصيف تجريبي للأحداث ذات الصلة سريرياً والموجودة في النص ولكنها غائبة، أو متأخرة، أو مضغوطة دلالياً في البيانات الجدولية، مع تحديد كمية ضرورة النصوص غير المهيكلة لإعادة بناء المسار بشكل كامل.
5. توصيف الأداء: تحليل يظهر أن المحاذاة متعددة الوسائط تحقق أكبر المكاسب عندما لا يمكن استنتاج توقيت الأحداث مباشرة من النص، لا سيما بالنسبة للأحداث المدعومة بأدلة مهيكلة.

النتائج
عند تقييمه عبر سبعة نماذج لغوية كبيرة مضبوطة بالتعليمات (بما في ذلك متغيرات DeepSeek وGLM وQwen)، أدى المسار متعدد الوسائط باستمرار إلى تحسين التوافق الزمني (Temporal Concordance) ودقة الطابع الزمني المطلق (AULTC) مقارنة بالنماذج المرجعية أحادية الوسيط المعتمدة على النص، دون المساس بمعدلات مطابقة الأحداث.

• الدقة الزمنية مقابل استعادة الأحداث: لم يكن لإضافة الأدلة المهيكلة تأثير يذكر على عدد الأحداث المستعادة (ظل معدل مطابقة الأحداث مستقراً)، ولكنه حسن بشكل كبير دقة طوابعها الزمنية. على سبيل المثال، حقق نموذج GLM أعلى توافق (0.812) وأعلى دقة طابع زمني مطلق (0.829) في الإعداد متعدد الوسائط.
• دراسات الاستئصال (Ablation Studies): أثبت التفكيك متعدد الخطوات للرسم البياني تفوقه على التوليد أحادي الخطوة. تم تحقيق أفضل أداء عندما استُخدمت الأدلة المهيكلة لمعايرة كلاً من الهيكل المركزي والجدول الزمني الكامل النهائي.
• تحليل الحساسية: أظهرت الأحداث المدعومة بأدلة EHR المهيكلة تحسينات موحدة في AULTC. أظهرت الأحداث المركزية مكاسب كبيرة في الترتيب الزمني (التوافق)، رغم أن مكاسب دقة الطابع الزمني المطلق كانت أحياناً تتم عبر مقايضة مع فرض تسلسل زمني متماسك.
• فجوة المعلومات: كشف تحليل الفجوة أن 34.8% من الأحداث المستخرجة من النص كانت غائبة تماماً عن السجلات الجدولية. شملت الأحداث المفقودة الأعراض الظاهرية، والحالة الوظيفية، والعوامل السببية. وعندما وجدت نظائر جدولية، فإنها غالباً ما وفرت ركائز زمنية مفيدة (متوسط فرق قدره 2.6 ساعة)، لكنها فشلت في التقاط المحتوى الدلالي الكامل للسرد.

الأهمية والادعاءات
يزعم البحث أن الفائدة الرئيسية للمحاذاة متعددة الوسائط في إعادة بناء الجدول الزمني السريري هي المعايرة الزمنية وليس اكتشاف الأحداث. تعمل بيانات EHR المهيكلة بفعالية أكبر كمرتكز زمني خارجي لضبط توقيت الأحداث المحددة في النص السردي، بدلاً من كونها بديلاً لمحتوى الأحداث في السرد.

يجادل المؤلفون بأن بناء الجدول الزمني السريري يجب أن يُنظر إليه كمسألة محاذاة بين مصادر متكاملة من الأدلة الزمنية. فبينما يوفر النص السردي الحساب الأكثر اكتمالاً لمسار المريض (بما في ذلك الأعراض المبكرة والسياق)، توفر السجلات المهيكلة ركائز زمنية أكثر حدة. ومن خلال إعادة بناء جداول زمنية صريحة للمرضى عبر هذه المحاذاة متعددة الوسائط، يمكن تحويل السجلات الاسترجاعية إلى تمثيلات هيكلية طولية أفضل ملاءمة للتنبؤ بالمخاطر، والتحليل السببي، ودعم القرار الزمني. تشير الدراسة إلى أنه حتى في الإعدادات المعتمدة على النص فقط، فإن تفكيك المهمة حول أحداث ركيزة ذات معلومات زمنية قد يحسن جودة الجدول الزمني، ولكن دمج البيانات المهيكلة يقدم ميزة متميزة في الدقة الزمنية.