ملخص تقني: RadJEPA

بيان المشكلة

أدت التطورات الأخيرة في نماذج الرؤية واللغة الطبية إلى دفع عملية تعلم التمثيلات البصرية من خلال الإشراف النصي. ومع ذلك، فإن هذا النموذج مقيد بتوفر البيانات المقترنة (صورة-نص) ويعتمد على افتراض أن التقارير الإشعاعية تقدم وصفًا كاملاً وغير متحيز للمحتوى البصري. ومن الناحية العملية، تركز التقارير السريرية على النتائج الانتقائية لاتخاذ القرار، وغالبًا ما تغفل عن الاختلافات الدقيقة أو الملاحظات الغائبة. وبناءً على ذلك، فإن المشفرات (encoders) التي يتم تدريبها لمواءمة الصور مع النصوص قد ترث تحيزات وتفشل في الحفاظ على البنية الدلالية الكاملة للصور الطبية.

علاوة على ذلك، فإن البدائل ذاتية الإشراف الموجودة، مثل التقطير الذاتي بأسلوب DINO، تتعلم الثبات عبر مواءمة التمثيلات العالمية عبر مشاهد معززة متعددة. وفي سياق صور الأشعة السينية للصدر، حيث تعد الاختلافات التشريحية الدقيقة والإشارات المرضية الطفيفة بالغة الأهمية تشخيصيًا، فإن فرض الاتفاق العالمي عبر المشاهد قد يعطي الأولوية للاتساق على مستوى المظهر بدلاً من الاكتمال الدلالي. غالبًا ما تركز هذه الطرق على الاتساق في مساحة البكسل بدلاً من التنبؤ بالتمثيلات الدلالية في المساحة الكامنة (latent space).

المنهجية: RadJEPA

لمعالجة هذه القيود، قدم المؤلفون RadJEPA (مشفر الأشعة السينية للصدر عبر بنية التنبؤ بالتمثيل المشترك)، وهو إطار عمل ذاتي الإشراف يتعلم دون إشراف لغوي.

البنية الأساسية

بُني RadJEPA على بنية التنبؤ بالتمثيل المشترك (JEPA). وخلافًا للطرق التي تعيد بناء البكسلات أو توائم التمثيلات العالمية بين المشاهد، يقوم RadJEPA بنمذجة التنبؤ في المساحة الكامنة بشكل صريح:

1. تقسيم المدخلات: يتم تقسيم صورة الأشعة السينية للصدر $x$ إلى مناطق مرئية ($x_v$) ومناطق محجوبة ($x_m$).
2. الترميز (Encoding): يقوم مشفر بصري $f_\theta$ برسم خرائط لهذه المناطق إلى تمثيلات كامنة $z_v = f_\theta(x_v)$ و $z_m = f_\theta(x_m)$.
3. التنبؤ: يتم تدريب شبكة تنبؤ $g_\phi$ للتنبؤ بالتمثيل الكامن للمناطق المحجوبة ($\hat{z}_m$) بناءً فقط على التمثيل الكامن للسياق المرئي ($z_v$).
4. الهدف (Objective): يقلل النموذج من الخطأ التربيعي بين التمثيل الكامن المتوقع والتمثيل الكامن الفعلي (مع إيقاف التدرج/stop-gradient) للمنطقة المحجوبة:
   $$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$$
5. ديناميكيات التدريب: يتم تحديث معاملات المشفر المستهدف عبر متوسط متحرك أسي (EMA) للمشفر عبر الإنترنت (online encoder)، على غرار صياغات المعلم والطالب، ولكن الهدف يعمل بالكامل في مساحة التمثيل دون إعادة بناء البكسل، أو التباينات التباينية (contrastive negatives)، أو التعزيزات الصريحة للبيانات.

التكيف في المهام اللاحقة

بعد التدريب المسبق على صور الأشعة السينية للصدر غير المصنفة، يتم تجميد المشفر البصري $f$. ويتم تدريب رؤوس مهام محددة بشكل مستقل لكل من:

• تصنيف الأمراض: مصنف خطي على التمثيلات العالمية المجمدة.
• التقطيع الدلالي (Semantic Segmentation): وحدة فك ترميز UPerNet تجمع الميزات متعددة المقاييس من المشفر المجمد.
• توليد التقارير: إعداد متعدد الوسائط بأسلوب LLaVA، حيث يتم إسقاط التمثيلات البصرية المجمدة في مساحة التمثيل اللغوي وتغذيتها إلى نموذج لغوي (Vicuna-7B).

المساهمات الرئيسية

1. قيود النماذج الحالية: يوضح البحث أن كلاً من الإشراف اللغوي والتقطير الذاتي بأسلوب DINO لديهما قيود فيما يتعلق بتعلم التمثيلات الإشعاعية، لا سيما فيما يتعلق بالاكتمال الدلالي والتفاصيل التشريحية الدقيقة.
2. إطار عمل RadJEPA: قدم المؤلفون بنية تنبؤية ذاتية الإشراف تتعلم مباشرة من صور الأشعة السينية للصدر غير المصنفة. وقد حقق أداءً يضاهي أو يتجاوز النماذج الحالية (SoTA) المدربة على أكثر من 839 ألف صورة أشعة سينية للصدر، رغم استخدامه لعمود فقري أصغر (ViT-B/14، 86 مليون معلمة) مقارنة بالنماذج الأكبر مثل DINOv2 (1.1 مليار) أو I-JEPA (0.6 مليار).
3. التقييم الشامل: يقدم العمل تقييمات تجريبية عبر ثلاث مهام متميزة: تصنيف الأمراض، التقطيع الدلالي، وتوليد التقارير، مع المقارنة بمجموعة متنوعة من النماذج المرجعية بما في ذلك البنى ذات السعة الأكبر.

النتائج التجريبية

تم التدريب المسبق للنموذج على 839,364 صورة أشعة سينية للصدر من مجموعات بيانات مفتوحة المصدر (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest).

• تصنيف الصور: في اختبارات VinDr-CXR و RSNA-Pneumonia، تفوق RadJEPA باستمرار على النماذج المرجعية المعتمدة على الصور فقط أو الرؤية واللغة.
  • في VinDr-CXR، حقق متوسط AUPRC قدره 55.2، متفوقًا على RAD-DINO (52.8) و I-JEPA (50.0).
  • لوحظت تحسينات ملحوظة في النتائج الدقيقة والمتغايرة مثل التليف الرئوي (+4.5 AUPRC عن RAD-DINO) وتضخم الأبهر.
  • في RSNA-Pneumonia، حقق أفضل AUPRC (72.7) و AUROC (89.2).
• التقطيع الدلالي: باستخدام وحدة فك ترميز UPerNet، حقق RadJEPA أعلى درجات Dice في مهام تقطيع الرئة (98.3)، ومنطقة الرئة (93.7)، والأضلاع (89.6). وأظهر مكاسب قوية خاصة في الأهداف المعقدة بنيويًا مثل الأضلاع (+4.8 Dice عن RAD-DINO).
• توليد التقارير: في MIMIC-CXR ومجموعة بيانات IU-Xray خارج نطاق التوزيع، حقق RadJEPA أقوى أداء عبر جميع المقاييس (ROUGE-L, BLEU-4, RGER, Macro-F1-14) بين المشفرات المعتمدة على الصور فقط والمشفرات التنبؤية.
  • في MIMIC-CXR، حقق ROUGE-L قدره 26.1 و Macro-F1-14 قدره 32.6.
  • في IU-Xray، حسن ROUGE-L بمقدار +1.7 عن أقوى نموذج مرجعي غير JEPA.
• الأهمية الإحصائية: أكدت اختبارات الفرضيات أحادية الذيل أن 16 من أصل 19 حالة تم تقييمها أظهرت تحسينات ذات دلالة إحصائية ($p < 0.05$) مقارنة بالنماذج المرجعية.

الأهمية

يجادل البحث بأن صور الأشعة السينية للصدر هي صور دلالية بطبيعتها وليست قائمة على المنظور (view-centric). يعتمد التفسير السريري على السياق التشريحي العالمي والعلاقات المكانية، مما يشير إلى أن تعلم التمثيلات مباشرة في مساحة البكسل أو فرض الثبات على مستوى المشهد هو أمر غير مثالي. يثبت RadJEPA أن النمذجة التنبؤية الكامنة تسمح بتعلم مشفرات إشعائية قوية وعامة الاستخدام دون الاعتماد على البيانات المقترنة (صورة-نص) أو البنى التقليدية من نوع التقطير.

تشير النتائج إلى أن مكاسب الأداء في التصوير الطبي لا تُقاد فقط بحجم النموذج أو حجم مجموعة البيانات، بل بجودة التمثيلات المتعلمة. ومن خلال تحقيق أداء متفوق في المهام اللاحقة باستخدام عدد أقل من المعلمات (ViT-B/14) مقارنة بالنماذج الضخمة، يسلط RadJEPA الضوء على كفاءة العينة وجودة التمثيل في بنى JEPA في المجال الطبي. ويخلص المؤلفون إلى أنه يمكن تعلم مشفرات إشعائية قوية بفعالية دون إشراف لغوي، مما يوفر مسارًا قابلاً لإعادة الإنتاج عبر الإصدار العام للكود والأوزان.