BiCLIP: Bidirectional and Consistent Language-Image Processing for Robust Medical Image Segmentation

إليك ملخص تقني مفصل لورقة البحث بعنوان "BiCLIP: معالجة ثنائية الاتجاه ومتسقة للغة والصورة من أجل تقسيم الصور الطبية القوي".

1. بيان المشكلة

يعد تقسيم الصور الطبية أمراً بالغ الأهمية للتشخيص السريري وتخطيط العلاج. وبينما حققت نماذج التعلم العميق (مثل U-Net) دقة عالية، إلا أنها تواجه عقبتين كبيرتين في البيئات السريرية الواقعية:

• الاعتماد على جودة الصورة: النماذج التي تعتمد على الصور فقط حساسة للتدنيات المرتبطة بعملية الاستحواذ، مثل ضجيج الأشعة المقطعية منخفضة الجرعة وضبابية الحركة.
• ندرة التوسيم (Annotation Scarcity): غالباً ما تتطلب هذه النماذج كميات كبيرة من البيانات الموسومة، وهو أمر مكلف ويصعب الحصول عليه في المجالات الطبية.
• قصور النهج متعدد الوسائط الحالي: تحاول نماذج الرؤية واللغة الحديثة استخدام النصوص لتوجيه عملية التقسيم. ومع ذلك، تعتمد معظم الأساليب الحالية على الدمج أحادي الاتجاه، حيث تشترط النصوص السمات البصرية، لكن الأدلة البصرية لا يمكنها تحسين النص. علاوة على ذلك، تفتقر هذه النماذج غالباً إلى آليات صريحة لضمان المتانة ضد اضطرابات البيانات أو الإشراف المحدود.

2. المنهجية: إطار عمل BiCLIP

BiCLIP هو إطار عمل للرؤية واللغة مصمم لتحسين متانة التقسيم من خلال الدمج متعدد الوسائط ثنائي الاتجاه وتنظيم الاتساق. تتكون البنية من ثلاثة مكونات رئيسية:

أ. وحدة الدمج متعدد الوسائط ثنائي الاتجاه (BMF)

على عكس النهج أحادي الاتجاه التقليدي، يتيح BMF تبادلاً متبادلاً بين التمثيلات البصرية واللغوية:

1. الترميز (Encoding): يقوم نموذج CXR-BERT مجمد بترميز الأوصاف النصية السريرية، بينما يقوم مشفر تلافيفي خفيف الوزن بمعالجة الصورة الطبية.
2. التحسين (Refinement): يتم دمج تضمين النص ($t$) وتضمين الصورة ($i$) لتشكيل تمثيل مشترك ($z$). يتنبأ نظام بيرسبترون متعدد الطبقات (MLP) بحد التحسين ($\Delta t$) بناءً على الإشارات البصرية، مما يؤدي لتحديث تضمين النص: $t' = t + \Delta t$.
3. توليد الصورة الزائفة (Pseudo-Image Generation): يتم تحويل تضمين النص المحسن إلى "صورة زائفة" ($\hat{x}$) عبر مولد، حيث تشفر هذه الصورة الدلالات عبر-الوسائطية.
4. اتساق الدورة (Cycle Consistency): يتم رسم الخريطة من الصورة الزائفة مرة أخرى إلى فضاء النص عبر رأس (image-to-text) لإنتاج $\hat{t}$. يضمن فقدان اتساق الدورة ($L_{cycle}$) التوافق بين النص الأصلي والنص المعاد بناؤه، مما يجبر النموذج على تعلم ارتباطات دلالية بصرية-نصية ذات معنى.
5. التقسيم (Segmentation): يتم دمج الصورة الزائفة مع الصورة الأصلية وتغذيتها في هيكل U-Net للحصول على التنبؤ النهائي للقناع.

ب. وحدة اتساق تعزيز الصورة (IAC)

لضمان المتانة ضد تغيرات المظهر (الضجيج، الضبابية)، تفرض وحدة IAC الاستقرار في السمات الوسيطة:

1. استراتيجية التعزيز (Augmentation Strategy): يخضع المدخل متعدد الوسائط (الصورة الأصلية + الصورة الزائفة) لتعزيز مكاني. يتم إنشاء عرضين مشوهين في المظهر:
   • التعزيز الضعيف ($x_w$): اضطرابات طفيفة.
   • التعزيز القوي ($x_s$): اضطرابات شديدة (مثل الضجيج الكثيف أو الضبابية).
   • يتم تطبيع مكون الصورة الزائفة ليعمل كمرجع دلالي مستقر في كلا العرضين.
2. محاذاة السمات (Feature Alignment): تمر كلا الرؤيتين عبر هيكل U-Net، وتُسقط خرائط السمات الناتجة في فضاء تضمين مدمج.
3. فقدان الاتساق (Consistency Loss): يعمل هدف IAC ($L_{IAC}$) على تقليل مسافة جيب التمام (cosine distance) بين تضمينات العروض المعززة الضعيفة والقوية، مما يشجع النموذج على تعلم سمات ثابتة تجاه الاضطرابات.

ج. دالة الفقد الإجمالية

يجمع هدف التدريب الإجمالي أربعة حدود:
$$L_{total} = L_{seg} + \lambda_{gen} L_{gen} + \lambda_{IAC} L_{IAC} + \lambda_{cycle} L_{cycle}$$
حيث $L_{seg}$ هو فقد التقسيم (Dice + Cross-Entropy)، و $L_{gen}$ هو فقد إعادة البناء لمولد الصورة الزائفة، والحدود الأخرى تقابل أهداف الاتساق والدورة الموصوفة أعلاه.

3. المساهمات الرئيسية

1. آلية الدمج ثنائية الاتجاه: تقدم وحدة BMF التي تسمح للسمات البصرية بتحسين التمثيلات النصية بشكل تكراري، مما يتجاوز قيود التكييف النصي الثابت وأحادي الاتجاه.
2. تنظيم الاتساق: تقترح وحدة IAC التي تفرض بقاء السمات الوسيطة متسقة عبر التعزيزات الضعيفة والقوية، مما يحسن الاستقرار بشكل كبير تحت ظروف الصور المتدهورة.
3. التحقق من المتانة: أثبتت أداءً رائداً (SOTA) في الظروف القصوى، بما في ذلك التدريب باستخدام 1% فقط من البيانات الموسومة والحفاظ على الدقة تحت تأثير التشويهات السريرية (ضجيج الأشعة المقطعية منخفضة الجرعة وضبابية الحركة).

4. النتائج التجريبية

قيم المؤلفون BiCLIP على مجموعتي بيانات عامتين: QaTa-COV19 و MosMedData+ (كلاهما يركز على تقسيم صور الصدر المقطعية لمرض كوفيد-19).

• أداء رائد (State-of-the-Art):

  • تفوق BiCLIP على جميع النماذج المرجعية، بما في ذلك النماذج أحادية الوسائط القوية (مثل nnU-Net) والأساليب متعددة الوسائط الحديثة (مثل LGA، MedLangViT، RecLMIS).
  • في QaTa-COV19، حقق BiCLIP درجة Dice بلغت 90.59% و mIoU بلغت 82.81%، متفوقاً على أفضل طريقة متعددة الوسائط التالية (EF-UNet) بهامش ضئيل، وعلى النماذج أحادية الوسائط بفارق يزيد عن 10%.
  • في MosMedData+، حقق 80.80% Dice و 67.79% mIoU.

• المتانة في نظام البيانات المنخفضة:

  • عند التدريب على 1% فقط من البيانات، حافظ BiCLIP على درجة Dice بلغت 74.79% (QaTa-COV19) و 46.49% (MosMedData+).
  • في المقابل، انخفض النموذج المرجعي القوي EF-UNet بشكل كبير إلى 66.76% و 33.68% على التوالي، مما يسلط الضوء على قدرة BiCLIP الفائقة على التعلم من التوسيمات الشحيحة.

• المتانة تجاه التشويهات:

  • ضجيج الأشعة المقطعية منخفضة الجرعة: حافظ BiCLIP على درجات Dice عالية (مثلاً 81.90% عند الضجيج 140 في QaTa-COV19) مقارنة بالنماذج المرجعية التي انخفضت دون 71%.
  • ضبابية الحركة: تحت ضبابية حركة شديدة (حجم النواة 7)، تفوق BiCLIP باستمرار على المنافسين، مما أظهر قدرته على التعامل مع التدهور المكاني.

5. الأهمية

يعالج هذا العمل فجوة حرجة في الذكاء الاصطناعي الطبي: نقص المتانة في نماذج التقسيم متعددة الوسائط تحت القيود السريرية الواقعية. من خلال تقديم التحسين ثنائي الاتجاه، يضمن BiCLIP أن الوسائط النصية والبصرية تعزز بعضها البعض، بدلاً من مجرد توجيه إحداهما للأخرى. يوفر نهج تنظيم الاتساق حلاً عملياً لنشر نماذج التقسيم في بيئات ذات جودة صور ضعيفة أو بيانات موسومة محدودة. تشير النتائج إلى أن BiCLIP يعد إطار عمل واعد جداً لسير العمل السريري الواقعي حيث تشكل ندرة البيانات وتدهور الصور تحديات شائعة.