ملخص تقني: تعزيزات عالمية، مثبطات محددة: توجيه النماذج البصرية اللغوية الطبية باستخدام المشفِّرات التلقائية المتناثرة

بيان المشكلة

كثيراً ما تعاني النماذج البصرية اللغوية (VLMs) الطبية من الهلوسة في النتائج عند توليد التقارير الإشعاعية من صور الأشعة السينية للصدر. وتظهر هذه الأخطاء في صورة اختلاق نتائج غير موجودة، أو إغفال حالات مرضية حرجة، أو سوء تحديد الموقع/التقدير لشدة الحالات الملحوظة. وبينما تعتمد استراتيجيات التخفيف الحالية على تحسين ما بعد التدريب — مثل التعلم التعزيزي (RL) باستخدام التحسين المباشر للتفضيلات (DPO) أو تحسين السياسة النسبية للمجموعة (GRPO) — فإن هذه الأساليب تستهلك موارد حوسبة هائلة (على سبيل المثال، مئات الساعات من وحدة معالجة الرسومات لكل نموذج) وتتطلب تحديثات التدرج (gradient updates)، وإشارات مكافأة محسنة، وعمليات تدريب خاصة بكل نموذج. علاوة على ذلك، تفتقر طرق الضبط الدقيق "الصندوق الأسود" هذه إلى القابلية للتفسير فيما يتعلق بالآليات الداخلية التي تقود أخطاء سريرية محددة.

المنهجية

يقترح المؤلفون نهجاً يعتمد على الاستنتاج فقط (inference-only) لتوجيه النماذج البصرية اللغوية الطبية المجمدة عبر تعديل تنشيطاتها الداخلية أثناء فك التشفيد، وذلك باستخدام المشفِّرات التلقائية المتناثرة (SAEs). يتكون خط العمل من أربع مراحل:

1. جمع تنشيطات المسار المتبقي (Residual-Stream Activation Collection): يتم جمع الحالات الخفية لكل رمز ($h^{(t)}_\ell$) من طبقات محددة في المحول (transformer) أثناء توليد التقارير على مجموعة تقسيم التدريب/التحقق.
2. تدريب المشفِّر التلقائي المتناثر (Sparse Autoencoder Training): يتم تدريب Top-K SAE عند كل طبقة مختارة لتفكيك الحالات الخفية الكثيفة إلى تمثيلات متناثرة عالية الأبعاد ($z^{(t)}_\ell$). استخدم المؤلفون حجماً للقواميس قدره $D=32,768$ وندرة (sparsity) قدرها $K=64$.
3. تحديد الميزات (الفحص السببي - Causal Screening):
   • الترشيح المسبق (Prefiltering): يتم ترتيب الميزات حسب الفجوة المطلقة في متوسط التنشيط بين العينات ذات الخطأ العالي (الرُبع الأعلى) والعينات ذات الخطأ المنخفض (الرُبع الأدنى).
   • الفحص السببي (Causal Screening): يتم إجراء تدخل لميزة واحدة على مجموعة تحقق محجوزة. لكل ميزة مرشحة، يقوم المؤلفون بتعطيلها (تصفيرها) أو تضخيمها وقياس التغيير الناتج في المقاييس السريرية التلقائية، وتحديداً تصنيف أخطاء GREEN (النتائج الزائفة، النتائج المفقودة، الموقع الخاطئ، الشدة الخاطئة).
   • التصنيف (Classification): تُصنف الميزات كمرشحات تثبيط (التعطيل يقلل الأخطاء) أو مرشحات تعزيز (التعطيل يزيد الأخطاء، مما يعني أن الميزة تعزز الجودة). والأهم من ذلك، يتم تحديد الميزات لكل نوع خطأ، مع الإقرار بأن ميزة واحدة قد تثبط نوعاً واحداً من الأخطاء بينما تعزز نوعاً آخر.
4. التوجيه المتبقي (Residual Steering): في وقت الاستنتاج، يتم تعديل الميزات المحددة في أساس الـ SAE: يتم تصفير ميزات التثبيط، وتوسيع نطاق ميزات التعزيز بمعامل $(1+\beta)$. وبدلاً من استبدال الحالة الخفية بإعادة بناء الـ SAE (مما يؤدي إلى خطأ في إعادة البناء)، يطبق المؤلفون تحديثاً متبقياً نقياً:
   $$\delta_\ell = \text{decode}_\ell(z'_\ell) - \text{decode}_\ell(z_\ell)$$
   $$h'_\ell = h_\ell + \alpha \delta_\ell$$
   يضمن هذا أن الجزء المضاف فقط هو "الدلتا" الناتجة عن التدخل إلى الحالة الخفية الأصلية، مما يحافظ على المعرفة غير المعدلة للنموذج.

المساهمات الرئيسية

• التخفيف القائم على الاستنتاج فقط: يثبت البحث أنه يمكن تخفيف الهلوسة دون تحديثات للأوزان، أو إعادة تدريب، أو هندسة الأوامر (prompt engineering)، مما يقلل التكاليف الحوسبية بشكل كبير مقارنة بضبط RL.
• اكتشاف الميزات السببية: حدد المؤلفون أن ميزات SAE ذات المعنى السريري ليست اتجاهات "هلوسة" متجانسة، بل هي تظهر بنية معقدة حيث:
  • ميزات التعزيز (التي تعزز جودة التقرير) هي ميزات عالمية إلى حد كبير عبر مختلف البنيات (RadVLM, LLaVA-Rad, CheXOne)، وتظهر تداخلاً وظيفياً عالياً (تشابه جيب التمام ~0.91–0.95).
  • ميزات التثبيط (التي تقلل أخطاء محددة) هي ميزات خاصة بكل نموذج، مع تداخل وظيفي منخفض (تشابه جيب التمام يصل إلى 0.25). وهذا يعني أنه بينما تكون آليات تعزيز الجودة مشتركة، فإن المسارات الداخلية المؤدية للهلوسة فريدة لكل نظام تدريب خاص بالنموذج.
• التحكم الدقيق في الأخطاء: تسمح الطريقة بإنشاء قوائم توجيه منفصلة لأنواع مختلفة من الأخطاء (مثل النتائج المفقودة مقابل النتائج الزائفة)، مما يتيح تدخلات مستهدفة تعالج الأدوار السببية المحددة للميزات.
• النقل الصفري (Zero-Shot Transfer): تنتقل وصفة التوجيه، التي تم تحديدها على MIMIC-CXR، بفعالية إلى مجموعة بيانات IU-Xray المستقلة دون إعادة تدريب، مما يؤكد أن الميزات المحددة هي خصائص لبنية النموذج وليست نتاجاً لمجموعة بيانات التدريب.

النتائج

تم تقييم الطريقة على ثلاثة نماذج بصرية لغوية طبية (RadVLM، وLLaVA-Rad، وCheXOne) على مجموعة اختبار MIMIC-CXR، مع تقييم صفري إضافي على IU-Xray.

• مكاسب الأداء:
  • RadVLM: تحسن نسبي قدره +5.4% في المقياس السريري المركب؛ وتحسن مطلق قدره +3.9% في درجة GREEN.
  • LLaVA-Rad: تحسن نسبي قدره +7.2% في المقياس المركب؛ وتحسن مطلق قدره +10.2% في درجة GREEN.
  • CheXOne: تحسن نسبي قدره +17.0% في المقياس المركب؛ وتحسن مطلق قدره +11.7% في درجة GREEN. ومن الجدير بالذكر ملاحظة المكاسب حتى في CheXOne، الذي تم ضبطه بالفعل باستخدام GRPO، مما يشير إلى أن توجيه SAE مكمل لـ RL.
• إعادة توزيع الأخطاء: يعمل آلية التوجيه بشكل أساسي على استعادة النتائج المفقودة (تقليلها بنحو 654 في RadVLM) على حساب زيادة معتدلة في النتائج الزائفة (حوالي +1,112). ونظراً لعدم التماثل الهيكلي لمقياس GREEN (حيث يكون لاستعادة نتيجة مفقودة تأثير إيجابي أكبر من التأثير السلبي لإضافة نتيجة زائفة)، فإن النتيجة الصافية هي تحسن كبير في جودة التقارير والمنفعة السريرية.
• التوافق عبر النماذج: أكد التحليل أن ميزات التعزيز متسقة للغاية عبر النماذج، بينما ميزات التثبيط متميزة. يدعم هذا الاستنتاج بأن التوجيه القابل للنقل يجب أن يعامل التثبيط على أساس كل هيكل خلفي (backbone) على حدة.

الأهمية والادعاءات

يدعي البحث أن مساهمته الأساسية هي توفير نافذة ميكانيكية داخل النماذج البصرية اللغوية الطبية. من خلال تفكيك المسار المتبقي إلى إحداثيات متناثرة وقابلة للتفسير، يستطيع المؤلفون:

1. تسمية وتحديد موقع الآليات الداخلية المحددة المسؤولة عن الأخطاء السريرية.
2. تعديل هذه الآليات في وقت الاستنتاج لتحسين السلامة والدقة دون إعادة تدريب.
3. فهم أن تخفيف الهلوسة ليس اتجاهاً عالمياً واحداً، بل هو مقايضة مهيكلة بين الاكتمال (التعزيز) والخصوصية (التثبيط).

يؤكد المؤلفون أنه بينما تكون مكاسب المقاييس المطلقة معتدلة مقارنة بضبط RL الثقيل، فإن النهج يقدم ميزة متميزة في القابلية للتفسير والكفاءة. فهو يتجنب طبيعة "الصندوق الأسود" لـ RL عبر كشف الدوائر السببية للنموذج، مما يسمح بتدخلات مستهدفة وشفافة. لا يدعي العمل استبدال أطباء الأشعة أو العمل كأداة مستقلة لاتخاذ القرار السريري، بل كإطار بحثي لتحسين موثوقية توليد التقارير الآلية.