TRACE: Temporal Radiology with Anatomical Change Explanation for Grounded X-ray Report Generation

ملخص تقني: TRACE – التصوير الشعاعي الزمني مع تفسير التغير التشريحي

بيان المشكلة
يعتمد التصوير الشعاعي السريري بشكل كبير على المقارنة الزمنية لصور الأشعة السينية للصدر للكشف عن تطور المرض، أو الاستجابة للعلاج، أو النتائج الجديدة. وبينما حققت الطرق الآلية الحالية تقدماً في توليد التقارير للصور الفردية والتأسيس البصري (visual grounding)، إلا أنها تفشل في معالجة الحاجة الماسة لـ كشف التغير الزمني. تندرج الأساليب الحالية عادةً ضمن ثلاث فئات منفصلة: (1) توليد التقارير للصور الفردية الذي يفتقر إلى السياق الزمني؛ (2) طرق التصنيف الزمني التي تكتشف التطور ولكنها تخرج مجرد تسميات (labels) دون تحديد مكاني؛ و(3) توليد التقارير المأسسة (grounded) التي تحدد المواقع ولكنها تعمل على صور فردية دون استدلال زمني. وبناءً على ذلك، لا توجد طريقة حالية تقوم في آن واحد بالمقارنة الزمنية، وتصنيف التغير (تدهور/تحسن/استقرار)، والتحديد المكاني لتوليد تقارير مأسسة تصف ماذا تغير، وأين، وكيف.

المنهجية
يقدم المؤلفون TRACE (التصوير الشعاعي الزمني مع تفسير التغير التشريحي)، وهو إطار عمل موحد مصمم لتوليد تقارير باللغة الطبيعية مع إحداثيات صناديق الإحاطة (bounding box) للفترات المتغيرة بين صورة سابقة وصورة حالية للأشعة السينية للصدر.

• البنية الهيكلية: يعتمد TRACE على إطار عمل LLaVA، حيث يستخدم مشفر رؤية BioViL-T مجمد (مدرب مسبقاً على صور الأشعة السينية للصدر مع وعي زمني) ومفكك شفرة لنماذج اللغات الكبيرة (LLM) (مثل Vicuna-7B أو Mistral-7B).
• دمج الميزات: بدلاً من استخدام صور الفرق الصريحة أو وحدات الانتباه الزمني، يستخدم النموذج دمج الميزات (feature concatenation). يتم استخراج الميزات من الصور السابقة والحالية بشكل مستقل باستخدام أوزان مشتركة، ثم تُدمج لتكوين تسلسل من 392 رمزاً بصرياً (visual tokens). وتتعامل آلية الانتباه الذاتي في نموذج اللغة الكبير (LLM) ضمنياً مع المقارنة عبر الصور.
• استراتيجية التدريب: يتم تدريب النموذج على مرحلتين:
  1. المحاذاة (Alignment): يتم تدريب مُسقط الـ MLP لمواءمة الميزات البصرية مع فضاء تضمين نموذج اللغة الكبير.
  2. ضبط التعليمات (Instruction Tuning): ضبط دقيق شامل (end-to-end) باستخدام التكيف منخفض الرتبة (LoRA) على نموذج اللغة الكبير لتوليد تقارير زمنية مأسسة. يقلل هدف التدريب من احتمالية اللوغاريتم السالبة للرموز المستهدفة، والتي تشمل الأوصاف باللغة الطبيعية وإحداثيات صناديق الإحاطة المعيرة (على سبيل المثال: <box>x1,y1,x2,y2</box>).
• مجموعة البيانات: تم تدريب النموذج على مجموعة بيانات مُنشأة تتكون من 79,202 عينة تدريب و 22,553 عينة اختبار، مستمدة من MIMIC-CXR-JPG وChest ImaGenome. وتجمع هذه المجموعة بين الدراسات المتتالية لنفس المريض مع تسميات زمنية مأسسة تشير إلى ما إذا كانت النتائج قد ساءت، أو تحسنت، أو ظلت مستقرة.

النتائج الرئيسية

• الأداء: يحقق TRACE دقة قدرها 48.0% في مهمة تصنيف التغير ثلاثية الاتجاهات الصعبة (تدهور، تحسن، استقرار). كما يُظهر دقة مكانية عالية بنسبة 90.2% في التأسيس (grounding accuracy) (بمعامل تقاطع IoU > 0.5) ودرجات فعالية سريرية قوية (RadGraph F1: 0.406; CheXbert F1: 0.432).
• دراسة الاستئصال (القدرة الناشئة): النتيجة الحاسمة هي أن كشف التغيير هو قدرة ناشئة (emergent capability) تتطلب التعلم المشترك للمقارنة الزمنية والتأسيس المكاني.
  • النماذج التي تملك الوصول إلى كلتا الصورتين ولكن بدون إشراف التأسيس (grounding) فشلت تماماً، حيث تنبأت بكلمة "مستقر" لجميع العينات (دقة 43.8%، مطابقة للنسبة الغالبة).
  • النماذج أحادية الصورة (التي تفتقر إلى الدراسة السابقة) فشلت أيضاً في توليد مقارنات زمنية.
  • يفترض المؤلفون أن التأسيس يوفر آلية انتباه مكاني ضرورية، مما يجبر النموذج على التركيز على مناطق تشريحية محددة لتمكين الاستدلال الزمني الهادف.
• التفاوتات التشريحية: يتباين الأداء حسب العضو التشريحي. يكتشف النموذج تغيرات الظل القلبي (68.8%) والمنصف (75.5%) بدقة أكبر من تغيرات نسيج الرئة (~45%)، ويرجع ذلك على الأرجح إلى الطبيعة المنتشرة والدقيقة للاعتلالات الرئوية.
• حساسية النموذج: كشفت المقارنة بين Vicuna-7B و Mistral-7B عن مقايضة بين الحساسية والنوعية. فضل Vicuna-7B التنبؤات المحافظة بـ "مستقر" (نوعية عالية)، بينما أظهر Mistral-7B كشفاً عدوانياً للتغيرات (حساسية عالية)، مما يشير إلى أن النماذج الخلفية المختلفة تناسب سيناريوهات النشر السريري المختلفة.

الأهمية والمساهمات
يدعي البحث ثلاث مساهمات رئيسية:

1. تعريف مهمة جديدة: قدم مفهوم "كشف التغيير الزمني المأسس"، الذي يوحد المقارنة الزمنية، والتصنيف، والتحديد المكاني في إطار عمل واحد.
2. اكتشاف سلوك ناشئ: كشف البحث أن الاستدلال الزمني في هذا السياق ليس متأصلاً في المدخلات متعددة الصور وحدها، بل ينشأ فقط عند اقترانه بإشراف التأسيس المكاني. وهذا يشير إلى أن التأسيس يعمل كتحيز استقرائي (inductive bias) حاسم للتحليل الزمني.
3. بناء مجموعة بيانات: يوفر مجموعة بيانات واسعة النطاق مع تسميات زمنية مأسسة لتمكين التقييم المنهجي لهذه المهمة الجديدة.

يضع المؤلفون TRACE كخطوة تأسيسية نحو ذكاء اصطناعي قابل للتطبيق سريرياً يمكنه وصف التغيرات الفترية بسياق مكاني دقيق، وهي قدرة كانت غائبة سابقاً عن أنظمة الأشعة الآلية.