Uncertainty-Aware Vision-Language Segmentation for Medical Imaging

إليك ملخص تقني مفصل لورقة البحث بعنوان "التجزئة الواعية بعدم اليقين للرؤية واللغة في التصوير الطبي" (Uncertainty-Aware Vision-Language Segmentation for Medical Imaging).

1. بيان المشكلة

تعد تجزئة الصور الطبية أمراً بالغ الأهمية للتشخيص والتخطيط الجراحي، لكنها تواجه تحديات كبيرة:

• ندرة البيانات وجودتها: غالباً ما تفتقر البيئات السريرية إلى بيانات موسومة واسعة النطاق، وكثيراً ما تعاني الصور الطبية من رداءة الجودة، أو الضجيج، أو الغموض.
• محدودية النماذج أحادية الوسيط: تواجه النماذج التقليدية أحادية الوسيط (التي تعتمد على الصور فقط) صعوبة في معالجة الانفصال الدلالي بين الميزات البصرية منخفضة المستوى والمفاهيم السريرية عالية المستوى.
• نقص الموثوقية: غالباً ما تتجاهل طرق تجزئة الرؤية واللغة (VLS) الحالية نمذجة عدم اليقين. في التطبيقات السريرية، يجب ألا تكون التنبؤات دقيقة فحسب، بل يجب أن تكون موثوقة أيضاً؛ إذ تحتاج النماذج إلى تحديد المناطق الغامضة بدلاً من ارتكاب أخطاء مفرطة في الثقة.
• التكلفة الحسابية: تعتمد العديد من نماذج الوسائط المتعددة الحديثة (SoTA) على بنيات "ترانسفورمر" (Transformer) ثقيلة، مما يؤدي إلى تكاليف حسابية عالية واستهلاك كبير للذاكرة، وهو ما يحد من نشرها في البيئات السريرية ذات الموارد المحدودة.

2. المنهجية

يقترح المؤلفون إطار عمل جديد للتجزئة متعدد الوسائط الواعي بعدم اليقين، والذي يدمج الصور الإشعاعية مع التقارير النصية السريرية. تتكون البنية من أربعة مكونات رئيسية:

أ. ترميز الوسائط (Modality Encoding)

• المُشفر البصري (Visual Encoder): يستخدم نموذج ConvNeXt-Tiny مدرب مسبقاً لاستخراج خرائط ميزات هرمية متعددة المقاييس من صور الأشعة السينية للصدر أو الأشعة المقطعية (CT).
• المُشفر النصي (Text Encoder): يستخدم نموذج BioViL CXR-BERT مجمد لاستخراج تضمينات الرموز السياقية من تقارير الأشعة.

ب. كتلة انتباه فك تشفير الوسائط (MoDAB)

هذه هي وحدة الدمج الأساسية المصممة لمحاذاة الميزات البصرية والنصية بكفاءة، وتتكون من:

1. الانتباه الذاتي (Self-Attention): يلتقط التبعيات المكانية داخل الوسيط الواحد ضمن الميزات البصرية.
2. الانتباه المتقاطع (Cross-Attention): يسهل التفاعل عبر الوسائط حيث تعمل الميزات البصرية كاستعلامات (Queries) وتعمل تضمينات النص كمفاتيح (Keys) وقيم (Values).
3. خلاط فضاء الحالة (SSMix): وحدة خفيفة الوزن تعتمد على التسلسل (مستوحاة من Mamba) تحل محل آلية الانتباه القياسية لنمذجة التبعيات طويلة المدى. وهي تستخدم تحديثات اختيارية لفضاء الحالة وعمليات تلافيفية لالتقاط السياق العالمي بـ تعقيد زمني خطي، مما يقلل بشكل كبير من العبء الحسابي مقارنة بنماذج "الترانسفورمر".

ج. فك التشفير (Decoder)

يعيد فك التشفير بناء قناع التجزئة من خلال مسار صعودي (upsampling) رباعي المراحل:

• يستخدم التلافيف المنقولة (transposed convolutions) لاستعادة الدقة المكانية.
• يدمج اتصالات القفز (skip connections) مع ميزات المُشفر.
• يستخدم كتلة الصقل التلافيفي (CRB) وشبكة رفع الدقة بالبكسل الفرعي (SUN) لضمان مخرجات عالية الدقة واتساق الحدود.

د. فقدان الطيف الإنتروبي (SEU Loss)

لمعالجة نقص توجيه عدم اليقين، اقترح المؤلفون دالة فقدان موحدة ($L_{SEU}$) تجمع بين ثلاثة أهداف:

1. المحاذاة المكانية ($L_{Dice}$): فقدان "دايس" (Dice loss) القياسي لتداخل مستوى البكسل.
2. الاتساق الطيفي ($R_{Spectral}$): يحاذي مقدار تحويل فوريه ثنائي الأبعاد للقناع المتوقع مع الحقيقة الأرضية (ground truth). هذا يفرض دقة هيكلية عالمية، وهو أمر حيوي للآفات المنتشرة.
3. توجيه عدم اليقين ($R_{Entropy}$): حد تنظيم يعتمد على الإنتروبيا (الاعتلاج) يعاقب التنبؤات الغامضة. وهو يشجع النموذج على إنتاج مخرجات منخفضة الإنتروبيا (عالية الثقة)، مما يوجه عملية التعلم بفعالية في المناطق الغامضة.

3. المساهمات الرئيسية

1. MoDAB و SSMix: تقديم كتلة فك تشفير انتباه الوسائط مقترنة بخلاط فضاء حالة خفيف الوزن. يتيح ذلك دمجاً فعالاً عبر الوسائط ونمذجة تبعيات طويلة المدى بتكلفة حسابية أقل بكثير من تصميمات "الترانسفورمر".
2. فقدان SEU: دالة هدف موحدة ومبتكرة تعمل على تحسين التداخل المكاني، والاتساق الطيفي، وعدم اليقين التنبئي بشكل مشترك، مما يحسن موثوقية النموذج في البيانات السريرية الضوضائية أو منخفضة الجودة.
3. الأداء والكفاءة: يحقق النموذج أداءً رائداً (SoTA) مع تفوق حسابي، مما يثبت أن المحاذاة الهيكلية للوسائط ونمذجة عدم اليقين يمكن أن يتعايشا مع الكفاءة العالية.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث مجموعات بيانات طبية عامة: QaTa-COV19 (أشعة سينية للصدر)، و MosMed++ (أشعة مقطعية للصدر)، و Kvasir-SEG (تنظير باطني).

• الأداء الكمي:
  • QaTa-COV19: حقق 92.24% Dice و 84.9% mIoU، متفوقاً على أفضل نموذج أساسي متعدد الوسائط (MAdapter) بنسبة +2.17% في Dice، وأفضل نموذج أساسي أحادي الوسيط (U-Mamba) بنسبة +11.73% في Dice.
  • MosMed++: حقق 79.67% Dice و 66.38% mIoU، مسجلاً رقماً قياسياً جديداً (SoTA).
  • Kvasir-SEG: حقق 93.83% Dice و 87.62% mIoU، متجاوزاً أفضل نموذج سابق (MAdapter) بنسبة +2.46% في Dice.
• الكفاءة الحسابية:
  • يستخدم النموذج 39.9 مليون معلمة قابلة للتدريب فقط و 17.87 جيجا فلوب (G FLOPs).
  • هذا أكثر كفاءة بشكل ملحوظ من النماذج الثقيلة مثل RefSegformer (195 مليون معلمة) و SLViT (131.5 مليون معلمة)، مما يثبت وجود مقايضة متفوقة بين الأداء والكفاءة.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة فقدان SEU أو استبداله بفقدان Dice/BCE القياسي إلى انخفاض كبير في الأداء.
  • أدى إزالة التوجيه النصي (MoDAB) إلى انخفاض هائل في درجة Dice (من 93.86% إلى 85.15%)، مما أكد الدور الحاسم للغة في التجزئة.
  • استبدال SSMix بطبقات خطية أو استبدال الانتباه المتقاطع بالجمع البسيط أدى إلى تدهور الأداء، مما يثبت ضرورة المكونات المعمارية المقترحة.

5. الأهمية

يعالج هذا البحث فجوة حرجة في الذكاء الاصطناዊ الطبي من خلال دمج نمذجة عدم اليقين مباشرة في هدف التدريب لتجزئة الرؤية واللغة.

• الموثوقية السريرية: من خلال نمذجة عدم اليقين صراحة عبر فقدان SEU، يصبح النموذج أكثر قدرة على التعامل مع الحالات السريرية الغامضة، مما يقلل من خطر التشخيصات الخاطئة المفرطة في الثقة.
• القابلية للتوسع: إن استخدام نماذج فضاء الحالة (SSMs) بدلاً من "الترانسفورمرز" الثقيلة يجعل إطار العمل قابلاً للتطبيق في البيئات السريرية ذات الموارد المحدودة دون التضحية بالدقة.
• التآزر متعدد الوسائط: يوضح العمل أن الاستفادة من التقارير النصية الطبيعية كإشراف مساعد يعزز بشكل كبير دقة التجزئة، خاصة عندما تكون البيانات البصرية شحيحة أو ضوضائية.

الكود متاح علناً على: https://github.com/arya-domain/UA-VLS.