Are Vision Foundation Models Foundational for Electron Microscopy Image Segmentation?

ملخص تقني: هل تُعد نماذج الرؤية التأسيسية (VFMs) نماذج تأسيسية لتجزئة صور المجهر الإلكتروني؟

بيان المشكلة
بينما يتم تطبيق نماذج الرؤية التأسيسية (VFMs) المدربة مسبقًا على مجموعات بيانات الصور الطبيعية واسعة النطاق بشكل متزايد في تحليل الصور الطبية الحيوية، لا يزال من غير الواضح ما إذا كانت تمثيلاتها الكامنة عامة بما يكفي لدعم نقل فعال عبر مجموعات بيانات المجهر المتغايرة. وتحديداً، يبحث المؤلفون فيما إذا كانت نماذج الرؤיة التأسيسية الحالية يمكنها التغلب على التحولات الجوهرية في التوزيع التي تحدث حتى ضمن نفس نمط التصوير (المجهر الإلكتروني، أو EM). تركز الدراسة على مهمة تجزئة الميتوكوندريا (المتقدرات)، وهي مهمة حاسمة في تحليل المجهر الإلكتروني، لتحديد ما إذا كان بإمكان هذه النماذج أن تعمل كقاعدة "تأسيسية" لتدريب نموذج واحد قوي عبر مجموعات بيانات مختلفة من المجهر الإلكتروني، أم أنها تظل مرتبطة بنطاقات محددة بقوة.

المنهجية
أجرى المؤلفون اختباراً معيارياً مضبوطاً باستخدام مجموعتي بيانات عامتين مستخدمتين على نطاق واسع في المجهر الإلكتروني: Lucchi++ و VNC. تم اختيار هاتين المجموعتين نظراً لاستخدامهما الراسخ في الأدبيات العلمية، مما يسمح بالمقارنة المباشرة مع الطرق الموجودة. قيمت الدراسة ثلاثة نماذج رؤية تأسيسية ممثلة: DINOv2، و DINOv3، و OpenCLIP.

ركز التصميم التجريبي على نظامين عمليين لتكييف النماذج يحافظان على معظم الأوزان المدربة مسبقاً، ويتجنبان التدريب الكامل من البداية إلى النهاية:

1. تكييف العمود الفقري المجمد (Frozen-Backbone Adaptation): تبقى أوزان العمود الفقري للنموذج (VFM) ثابتة (بما في ذلك طبقات التطبيع)، ويتم تدريب رأس تجزئة تلافيفي خفيف الوزن فقط.
2. التدريب الفعال للمعلمات (PEFT) عبر تقنية LoRA: يتم تدريب رأس التجزئة كما في الحالة السابقة، ولكن يتم حقن محولات التكيف منخفضة الرتبة (LoRA) في العمود الفقري للسماح بتحديثات مستهدفة وخفيفة الأوزان للأوزان المدربة مسبقاً.

قيم المؤلفون الأداء تحت نظامي تدريب:

• التدريب على مجموعة بيانات واحدة: النماذج التي يتم تدريبها واختبارها على Lucchi++ أو VNC بشكل فردي.
• التدريب على مجموعات بيانات مزدوجة: النماذج التي يتم تدريبها على اتحاد كلتا المجموعتين لتقييم القدرة على تعلم تمثيل موحد لمصادر المجهر الإلكتروني المتغايرة.

لتشخيص الأسباب الكامنة وراء الاختلافات في الأداء، استخدم المؤلفون تشخيصات في فضاء التمثيل، بما في ذلك تحليل المكونات الرئيسية (PCA) للتمثيلات المجمعة، وحساب مسافة Fréchet DINOv2 (FD-DINOv2) لقياس عدم التطابق في التوزيع، والمجسات الخطية (الانحدار اللوجستي) لاختبار القابلية للفصل الخطي لملصقات مجموعة البيانات.

النتائج الرئيسية

• الأداء في مجموعة بيانات واحدة: حققت جميع نماذج الرؤية التأسيسية أداءً قوياً في التجزئة (مقاساً بـ IoUfg للجهة الأمامية) عند تدريبها واختبارها على مجموعة بيانات واحدة. وقد أدى استخدام تقنية LoRA-PEFT باستمرار إلى تحسين الأداء داخل النطاق بنسبة 10 نقاط مئوية تقريباً عن خط الأساس للعمود الفقري المجمد عبر جميع النماذج.
• فشل التدريب المزدوج: عند التدريب على اتحاد Lucchi++ و VNC، انهار الأداء لجميع النماذج، حيث انخفض إلى مستويات قريبة من العشوائية (IoUfg < 0.06). ولم توفر تقنية LoRA سوى مكاسب طفيفة في هذا الإعداد، وفشلت في استعادة الأداء القوي.
• تحليل عدم تطابق النطاق: كشفت تشخيصات فضاء التمثيل عن عدم تطابق صارخ ومستمر في النطاق بين Lucchi++ و VNC. وحتى بعد تكييف LoRA، شغلت المجموعتان منطقتين منفصلتين في فضاء الميزات (انخفضت مسافة FD-DINOv2 من 79.32 إلى 45.02 لكنها ظلت مرتفعة)، ولا تزال المجسات الخطية قادرة على تمييز أصل مجموعة البيانات بدقة شبه كاملة (1.0). يشير هذا إلى أن فشل التدريب المزدوج مدفوع بتحولات النطاق الجوهرية داخل نمط المجهر الإلكتروني والتي لا يمكن للتكيف الخفيف جسرها.
• المقارنة مع أحدث ما توصل إليه العلم: ظلت النماذج المرجعية التي تعتمد على التدريب الكامل من البداية إلى النهاية (مثل متغيرات U-Net) هي الأقوى، بينما كانت النماذج القائمة على VFMs مع تقنية LoRA تنافسية في سيناريوهات مجموعة البيانات الواحدة. ومع ذلك، لم تستطع مضاهاة أداء النماذج المتخصصة في حالة المجموعات المزدوجة.

المساهمات الرئيسية

1. الاختبار المعياري: تقديم اختبار معياري مضبوط لثلاثة نماذج رئيسية (DINOv2، DINOv3، OpenCLIP) في مهمة تجزئة المجهر الإلكتروني تحت تكييف العمود الفقري المجمد و LoRA-PEFT.
2. الدليل التجريبي على الفشل: إثبات أن التدريب المزدوج عبر مجموعات بيانات متغايرة من نفس نمط المجهر الإلكتروني يفشل بشكل حاد، رغم التشابه البصري للصور.
3. تحليل عدم تطابق النطاق: ربط هذا الفشل بالانفصال المستمر في التمثيل بين مجموعات البيانات، وإظهار أن تقنية PEFT تقلل ولكن لا تقضي على الفجوة بين النطاقات.
4. سياق الأداء: تقديم مقارنات الأداء مقابل النماذج المرجعية غير التابعة لـ VFM من أدبيات تجزئة المجهر الإلكتروني.

الأهمية والادعاءات
تخلص الورقة إلى أنه بينما يمكن لنماذج الرؤية التأسيسية (VFMs) تقديم نتائج تنافسية لتجزئة المجهر الإلكتروني ضمن نطاق واحد باستخدام التكيف الخفيف، إلا أنها ليست "تأسيسية" بما يكفي لدعم نموذج واحد قوي عبر مجموعات بيانات المجهر الإلكتروني المتغايرة دون آليات إضافية لمحاذاة النطاق. ويرى المؤلفون أن التحول الجوهري داخل نمط المجهر الإلكتروني هو عامل مهيمن يعيق التعميم، وأن استراتيجيات PEFT الحالية غير كافية لمحاذاة هذه التوزيعات المتميزة.

تشير الدراسة إلى أن العائق أمام اعتماد نماذج الرؤية التأسيسية في علم المجهر ليس فقط التحول من الصور الطبيعية إلى الصور الطبية الحيوية، بل أيضاً التباين المتأصل داخل مجموعات بيانات المجهر نفسها. وبناءً على ذلك، فإن آليات محاذاة النطاق الحالية، التي طُورت إلى حد كبير للصور الطبيعية، قد تكون غير كافية للنطاقات الأكثر تباينًا الموجودة في التصوير المجهري. ويدعو المؤلفون إلى مزيد من التطورات المنهجية لتمكين نماذج الرؤية التأسيسية من التعميم بفعالية عبر أنماط التصوير وداخلها.