Optimization in Sparse 2D to Dense 3D Weakly Supervised Learning: Application to Multi-Label Segmentation of Large ex vivo MRI Data
تكشف هذه الدراسة أن استراتيجيات التحسين الفعالة للمعلمين ثنائيي الأبعاد في التعلم الخاضع للإشراف الضعيف من حالة الندرة إلى الكثافة، مثل التعزيز المكاني القوي والتعزيز المرتكز على العنصر البشري، يمكن أن تؤدي إلى تدهور كبير في أداء الطلاب ثلاثيي الأبعاد على صور الرنين المغناطيسي عالية الدقة المستخرجة من عينات خارج الجسم، مما يستلزم نهج تنظيم متحفظ ومتميز للبنى ثلاثية الأبعاد.
المؤلفون الأصليون:Paul Hoareau, Kuan Yi Wang, Brandon Bujak, Roy Sun, Govind Nair, Irene Cortese, Charidimos Tsagkas, Daniel Reich, Julien Cohen-Adad
تخيل أنك تحاول تعليم روبوت رسم خريطة تفصيلية لنفق ضيق ومتعرج (الحبل الشوكي) داخل جسم الإنسان. لديك مكتبة ضخمة من الصور لهذا النفق، ولكن هناك مشكلة: لديك فقط خرائط مرسومة يدويًا لبعض الصفحات العشوائية في منتصف المكتبة، أما بقية الصفحات فهي فارغة.
هذه هي المشكلة التي واجهها الباحثون مع صور الرنين المغناطيسي عالية الدقة للحبل الشوكي لمرضى التصلب المتعدد. إن رسم خريطة ثلاثية الأبعاد مثالية لكل شريحة يدويًا سيستغرق سنوات وسيكلف ثروة. لذا، كان عليهم أن يكونوا أذكياء.
إليك كيف حلوا هذه المشكلة، مشروحة ببساطة:
استراتيجية "المعلم" و"الطالب"
استخدم الباحثون طريقة تعليم من خطوتين، مثل معلم فنان يعلم تلميذه.
المعلم ثنائي الأبعاد (خبير الشرائح): أولاً، قاموا بتدريب نموذج حاسوبي (المعلم) باستخدام الصفحات القليلة التي تحتوي على خرائط مرسومة يدويًا فقط. ولأنه كان ينظر إلى شريحة واحدة فقط في كل مرة، فقد كان بارعًا جدًا في رصد التفاصيل في تلك الصفحة المسطحة المحددة. ومع ذلك، عندما قمت بتجميع تنبؤاته فوق بعضها البعض لصنع أنبوب ثلاثي الأبعاد، كانت النتيجة تبدو ككومة متعرجة ومهتزة من الورق. لم يكن النموذج يفهم أن الحبل الشوكي عبارة عن أنبوب سلس ومستمر.
الطالب ثلاثي الأبعاد (متعلم الحجم): بعد ذلك، استخدموا "أفضل تخمينات" المعلم لملء الصفحات الفارغة، مما خلق خريطة ثلاثية الأبعاد كاملة (وإن كانت غير مثالية). ثم قاموا بتدريب نموذج ثانٍ (الطالب) على هذا "الحجم" ثلاثي الأبعاد الكامل. تعلم هذا الطالب رؤية الصورة الكبيرة، وتنعيم الحواف المتعرجة، وفهم شكل الأنبوب، رغم أنه لم يرَ قط خريطة واحدة مرسومة يدويًا.
المفاجأة الكبرى: ما ينفع الواحد، يضر الآخر
الجزء الأكثر إثارة للاهتمام في هذه الدراسة هو أن الباحثين حاولوا استخدام "حيل تدريب" قياسية على كل من المعلم والطالب، متوقعين أن تساعد كليهما. وبدلاً من ذلك، وجدوا أن ما يساعد المعلم غالبًا ما يضر الطالب.
إليك "الحيل" الثلاث الرئيسية التي اختبروها وما حدث:
1. خطأ "فلتر الصور" (المعالجة المسبقة)
الفكرة: تعاني العين البشرية في رؤية التفاصيل الباهتة في الصور الداكنة أو الساطعة جدًا. لذا، يستخدم الباحثون غالبًا فلاتر برمجية (مثل CLAHE) لتعزيز التباين وجعل التفاصيل "تبرز" للبشر، تمامًا مثل رفع سطوع كاميرا الهاتف.
النتيجة:
بالنسبة للمعلم (2D): لم يساعد كثيرًا.
بالنسبة للطالب (3D): كان الأمر كارثيًا. لقد أفسد الفلتر "الانطباع العام" لإحصائيات الصورة. ارتبك النموذج ثلاثي الأبعاد لأن التغييرات الاصطناعية في السطوع أخفت الأنماط الطبيعية التي كان يحتاج لتعلمها.
التشبيه: تخيل أنك تعلم طالبًا التعرف على صديق من وجهه. تعطي المعلم صورة مع تسليط ضوء ساطع على الوجه (تباين عالٍ)، وهذا يعمل. لكن بعد ذلك، تعطي الطالب صورة حيث تم تعديل الإضاءة رقميًا بحيث لا تتطابق الظلال مع الواقع. يرتبك الطالب ولا يعود قادرًا على التعرف على الصديق بعد الآن.
2. اختبار "البلبلة" (زيادة البيانات - Data Augmentation)
الفكرة: لمنع النموذج من الغش (مثل التخمين بأن "الحبل الشوكي دائمًا في المنتصف")، يقوم الباحثون عادةً بتدوير، وتمطيط، وتدوير الصور عشوائيًا. هذا يجبر النموذج على تعلم شكل الحبل، وليس مجرد موقعه.
النتيجة:
بالنسبة للمعلم (2D): كان هذا ضروريًا. بدون التدوير والتمطيط، كان المعلم سيحفظ فقط أن "الحبل في المنتصف" وسيفشل عندما يتحرك الحبل قليلاً.
بالنسبة للطالب (3D): كان هذا ضارًا. بما أن الطالب كان يتعلم من حجم ثلاثي الأبعاد كامل، لم يكن بحاجة لأن يُخدع ليتعلم الشكل. التدوير الشديد في الواقع كسر البنية ثلاثية الأبعاد التي كان يحاول تعلمها، مما جعل الخريطة النهائية أقل دقة.
التشبيه: المعلم يشبه طالبًا يخضع لاختبار حيث الإجابات مبعثرة؛ فهو يحتاج للتدرب على النظر إلى السؤال من كل زاوية. أما الطالب فهو يشبه المهندس المعماري الذي لديه بالفعل المخطط الكامل؛ إذا بدأت في تدوير المخطط حول نفسه، فلن يتمكن من بناء المنزل بشكل صحيح.
3. درس "الحواف الضبابية" (العلامات الناعمة - Soft Labels)
الفكرة: في الطب، لا تكون الحدود بين الأنسجة السليمة والآفات دائمًا خطًا حادًا؛ بل قد تكون ضبابية. حاول الباحثون تعليم النماذج أن "ربما تكون هذه البكسل عبارة عن آفة، وربما لا" (علامات ناعمة) بدلاً من "إنها آفة بنسبة 100%" (علامات حادة).
النتيجة:
بالنسبة للمعلم (2D): ساعد ذلك. فقد جعله أكثر حذرًا بشأن الحواف الضبابية.
بالنسبة للطالب (3D): جعل الأمر أسوأ. كان الطالب يتعلم بالفعل من "متوسط" تخمينات المعلم، والتي كانت هي نفسها "منعمة" نوعًا ما. إضافة المزيد من "الضبابية" جعلت الطالب غير متأكد للغاية، مما أدى إلى طمس الخطوط بشكل مفرط.
التشبيه: المعلم هو مبتدئ يحتاج إلى دفعة لطيفة ليكون حذرًا. أما الطالب فهو خبير لديه بالفعل إجماع واضح؛ وإخبارهم بأن يكونوا "ربما" بشأن كل شيء يجعلهم فقط مترددين وغير دقيقين.
الخلاصة النهائية
تخلص الورقة البحثية إلى أنه لا يمكنك ببساطة نسخ ولصق قواعد التدريب من 2D إلى 3D.
نماذج 2D تشبه الأشخاص الذين ينظرون إلى قطع أحجية فردية؛ فهم يحتاجون إلى مساعدة كبيرة (فلاتر، تدوير، حواف ضبابية) لفهم السياق.
نماذج 3D تشبه الأشخاص الذين ينظرون إلى صندوق الأحجية بالكامل؛ فهم يحتاجون إلى رؤية نظيفة وطبيعية للبيانات. إذا حاولت "مساعدتهم" بنفس الحيل الثقيلة التي استخدمتها مع نموذج 2D، فإنك في الواقع تكسر قدرتهم على رؤية الصورة الكبيرة.
لقد نجح الباحثون في بناء مسار يأخذ خرائط 2D قليلة مرسومة يدويًا ويحولها إلى نموذج ثلاثي الأبعاد سلس ودقيق للحبل الشوكي، لكنهم تعلموا أن "الطالب" ثلاثي الأبعاد يحتاج إلى معاملة مختلفة عن "المعلم" ثنائي الأبعاد. وقد أتاحوا الكود والنموذذ الخاص بهم لكي يستخدمه الآخرون.
ملخص تقني: التحسين في التعلم ضعيف الإشراف من ثنائي الأبعاد المتناثر إلى ثلاثي الأبعاد الكثيف لتقسيم الصور متعدد الملصقات لبيانات رنين مغناطيسي ex vivo ضخمة
بيان المشكلة يوفر التصوير بالرنين المغناطيسي عالي الدقة لـ ex vivo للحبل الشوكي (عادةً 50-100 ميكرومتر متساوي المناحي) توصيفاً تشريحياً مفصلاً لأمراض التصلب المتعدد (MS)، بما في ذلك المادة الرمادية (GM) والمادة البيضاء (WM). ومع ذلك، فإن الحجم الهائل للبيانات (آلاف الشرائح لكل عينة) يجعل التوسيم اليدوي الكثيف على مستوى الفوكسل (voxel-wise) مكلفاً للغاية. غالباً ما يضطر الباحثون للاعتماد على شرائح ثنائية الأبعاد متناثرة (على سبيل المثال، 428 شريحة من أصل أكثر من 130,000 شريحة إجمالية). وهذا يخلق مفارقة تقنية: النماذج ثنائية الأبعاد المدربة على شرائح متناثرة تفتقر إلى السياق الحجمي، مما يؤدي إلى تنبؤات غير متسقة على طول المحور Z، بينما تتطلب النماذج ثلاثية الأبعاد حقائق أرضية (ground truth) كثيفة غير موجودة. تحاول الحلول الحالية، مثل استراتيجيات 2.5D أو التعليم المتبادل (cross-teaching)، سد هذه الفجوة، لكن الإرشادات المتعلقة بتحسين مسارات "المتناثر إلى الكثيف" (Sparse-to-Dense) لا تزال غامضة، لا سيما فيما يتعلق بقابلية نقل استراتيجيات التحسين من 2D إلى سياقات 3D.
المنهجية يقترح المؤلفون إطار عمل ثلاثي المراحل من "متناثر إلى كثيف" يستخدم معمارية معلم ثنائي الأبعاد (2D Teacher) وطالب ثلاثي الأبعاد (3D Student)، وكلاهما يعتمد على nnU-Net v2.
البيانات: تستخدم الدراسة بيانات رنين مغناطيسي 9.4T لـ ex vivo للحبل الشوكي من مرضى MS (12 عينة، 43,719 شريحة محورية). تتكون الحقيقة الأرضية من 428 شريحة موسومة يدوياً عبر أربعة أصناف: المادة البيضاء السليمة، المادة الرمادية السليمة، آفات المادة البيضاء، وآفات المادة الرمادية.
المرحلة 1 (المعلم ثنائي الأبعاد - 2D Teacher): تم تدريب nnU-Net ثنائي الأبعاد على التوسيمات المتناثرة. قام المؤلفون بتحسين هذه المرحلة بشكل منهجي من خلال اختبار الأنماط المدخلة (Magnitude مقابل Phase)، وتقنيات المعالجة المسبقة (CLAHE، وتمدد التباين)، والتعزيز المكاني، والانتظام بالملصقات الناعمة (soft-label regularization).
المرحلة 2 (توليد الملصقات الزائفة - Pseudo-Label Generation): يقوم المعلم ثنائي الأبعاد المُحسّن بتوليد ملصقات زائفة حجمية كثيفة لمجموعة البيانات بأكملها باستخدام التجميع (Ensembling) عبر التحقق المتقاطع رباعي الطيات (4-fold cross-validation) وتعزيز وقت الاختبار (T-T-A).
المرحلة 3 (الطالب ثلاثي الأبعاد - 3D Student): يتم تدريب nnU-Net ثلاثي الأبعاد على الملصقات الزائفة الكثيفة لتعلم الميزات الحجمية والاتساق الطولي. طبق المؤلفون نفس التحسين المنهجي (المعالجة المسبقة، التعزيز، الملصقات الناعمة) على الطالب ثلاثي الأبعاد لتحديد ما إذا كانت استراتيجيات 2D تنتقل بفعالية.
التقييم: تم تقييم الأداء باستخدام درجة Dice، والمسافة لـ Hausdorff في المئوية الـ 95 (HD95)، ومقياس اتساق هندسي مبتكر (Inter-slice Dice, DSCz) لقياس النعومة على طول المحور Z.
المساهمات الرئيسية يقدم البحث ثلاث مساهمات رئيسية:
التباعد الإدراكي: دليل تجريبي يوضح أن تقنيات المعالجة المسبقة المُحسنة للإدراك البصري البشري (تحديداً CLAHE وتمدد التباين) تضر بالأداء في تعلم الآلة في هذا المجال. هذه الطرق أدت إلى تدهور درجات Dice لآفات المادة الرمادية بنسبة تصل إلى 25 نقطة مئوية عن طريق تعطيل إحصائيات الكثافة العالمية الضرورية للنموذج.
احتياجات الانتظام المتباعدة: تحديد صراع حرج في مسارات "المتناثر إلى الكثيف". فبينما أدى التعزيز المكاني القوي والملصقات الناعمة إلى تحسين كبير في المعلم ثنائي الأبعاد (تحسين اكتشاف آفات المادة البيضاء بأكثر من 11 نقطة Dice)، إلا أن هذه التقنيات نفسها أدت إلى تدهور أداء الطالب ثلاثي الأبعاد.
نموذج مفتوح المصدر: إصدار نموذج مدرب لتقسيم المادة البيضاء، والمادة الرمادية، وآفات MS في صور الرنين المغناطيسي لـ ex vivo للحبل الشوكي البشري، متاح عبر Spinal Cord Toolbox.
النتائج
أنماط المدخلات: تفوقت النماذج مزدوجة المدخلات (Magnitude + Phase) على نماذج Magnitude فقط، خاصة فيما يتعلق باستقرار آفات المادة الرمادية ودقة الحدود (HD95)، مما يؤكد ضرورة بيانات الـ Phase لحل الحدود التشريحية الدقيقة.
المعالجة المسبقة: خلافاً للفرضية التي تقول إن التعزيز البصري يساعد النموذج، فإن تطبيق CLAHE على صور Magnitude وتمدد التباين على صور Phase تسبب في انخفاض حاد في الأداء. انخفضت درجة Dice للمادة الرمادية في 2D من 0.665 إلى 0.415 مع استخدام CLAHE لـ Magnitude. أظهر النموذج ثلاثي الأبعاد تدهوراً مماثلاً، رغم أنه أظهر مرونة أكبر قليلاً في مقاييس الحدود (HD95) لآفات المادة الرمادية، مما يشير إلى أن السياق الحجمي يوفر بعض الحماية ضد تشوه النسيج.
التعزيز (Augmentation):
ثنائي الأبعاد (2D): كان التعزيز المكاني القوي (الدوران، القياس، القص) حاسماً. بدون ذلك، انخفضت درجة Dice لآفات المادة البيضاء إلى 0.631؛ ومع التعزيز المتوسط (Aug2)، وصلت إلى 0.743.
ثلاثي الأبعاد (3D): لوحظ الاتجاه المعاكس. حقق الطالب ثلاثي الأبعاد أعلى أداء له (إجمالي متوسط Dice بلغ 0.772) مع عدم استخدام أي تعزيز مكاني. أدى إدخال التعزيز إلى تدهور الأداء، حيث تسببت الإعدادات الأكثر عدوانية في انهيار دقة الحدود.
الملصقات الناعمة (Soft Labels):
ثنائي الأبعاد (2D): أدى استخدام الملصقات الناعمة (Soft Seg 2) إلى تحسين الأداء، حيث رفع درجة آفات المادة البيضاء إلى 0.744 وعزز دقة الحدود.
ثلاثي الأبعاد (3D): لم توفر الملصقات الناعمة أي فائدة بل أدت إلى تدهور النتائج قليلاً. يشير المؤلفون إلى أن الملصقات الزائفة الناتجة عن تجميع (ensemble) النماذج ثنائية الأبعاد تقوم بالفعل بتنعيم عدم اليقين، مما يجعل إضافة انتظام الملصقات الناعمة أمراً غير مجدٍ (تنعيم مفرط).
الاتساق الحجمي: أدى الانتقال من 2D إلى 3D إلى تحقيق مكاسب كبيرة في الاستمرارية الهندسية. أدى تكديس التنبؤات ثنائية الأبعاد بشكل بدائي إلى Inter-slice Dice (DSCz) منخفض قدره 0.785، بينما حقق الطالب ثلاثي الأبعاد 0.900. ومع ذلك، جاءت هذه النعومة مع مقايضة: سجل الطالب ثلاثي الأبعاد HD95 أعلى قليلاً (1.00 مم) مقارنة بالمعلم ثنائي الأبعاد المُحسّن (0.72 مم)، مما يشير إلى تحول من الالتزام الصارم بالحدود داخل المستوى إلى الواقعية البيولوجية.
الأهمية والادعاءات يدعي البحث أن الانتقال من 2D إلى 3D في التعلم ضعيف الإشراف ليس مجرد خدعة استدلال، بل هو تحول جوهري في ديناميكيات التعلم. يجادل المؤلفون بأن البنى ثلاثية الأبعاد المدربة على ملصقات زائفة كثيفة تظهر مساحات تحسين (optimization landscapes) مختلفة عن نظيراتها ثنائية الأبعاد. وتحديداً، فإن مخاطر "التعلم المختصر" (shortcut learning) التي تستوجب تعزيزاً عدوانياً في الإعدادات ثنائية الأبعاد المتناثرة، يتم التخفيف منها في ثلاثي الأبعاد بفضل كثافة الملصقات الزائفة، مما يجعل هذا التعزيز ضاراً. وبالمثل، فإن نمذجة عدم اليقين المفيدة لمحاكاة البشر في 2D تصبح زائدة عن الحاجة أو مدمرة عندما يتم تدريب النموذج ثلاثي الأبعاد على تنبؤات تجميعية (ensemble) تم تنعيمها بالفعل.
تخلص الدراسة إلى أن ممارسات الرؤية الحاسوبية القياسية (المعالجة المسبقة المتمحورة حول الإنسان، التعزيز العدواني، الملصقات الناعمة) لا يمكن نقلها بشكل أعمى من مهام التقسيم ثنائية الأبعاد إلى ثلاثية الأبعاد في المجال الطبي. بدلاً من ذلك، تتطلب النماذج ثلاثية الأبعاد المدربة على ملصقات زائفة كثيفة استراتيجية انتظام متميزة ومحافظة تعطي الأولوية للاتساق الحجمي على تقنيات تقليل الضوضاء المطلوبة للتدريب ثنائي الأبعاد المتناثر. يتحدى هذا العمل الافتراض القائل بأن "المزيد من البيانات" (الملصقات الزائفة الكثيفة) يسمح ببساطة بالتطبيق المباشر لقواعد التحسين ثنائية الأبعاد، مسلطاً الضوء على "فجوة الأبعاد" في احتياجات الانتظام.