Using Deep Learning Models Pretrained by Self-Supervised Learning for Protein Localization

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استخدام نماذج التعلم العميق المدربة مسبقاً بواسطة التعلم الذاتي الإشراف على تحديد المواقع البروتينية."

1. بيان المشكلة

يعد تحليل تحديد المواقع البروتينية في المجهر الفلوري أمراً بالغ الأهمية لفهم الآليات الخلوية واكتشاف الأدوية. ومع ذلك، يواجه تدريب نماذج التعلم العميق لهذه المهمة تحديين رئيسيين:

• ندرة البيانات: غالباً ما تكون مجموعات بيانات المجهر النوعية للمهام (مثل OpenCell) صغيرة ومكلفة من حيث التوسيم (Annotation)، مما يجعل من الصعب تدريب نماذج قوية من الصفر.
• عدم التطابق في النطاق والقنوات: بينما توفر نماذج التعلم الذاتي الإشراف (SSL) المدربة مسبقاً على مجموعات بيانات ضخمة (مثل ImageNet أو بيانات المجهر الخاصة بالمجال) حلاً، إلا أنها غالباً ما تمتلك تكوينات قنوات مدخلات ثابتة. إن تطبيق هذه النماذج على مجموعات بيانات جديدة ذات بروتوكولات صبغ، أو أنماط تصوير، أو أعداد قنوات مختلفة (مثل قناتين مقابل 4 قنوات) يتطلب استراتيجيات تكييف لم يتم استكشافها بشكل جيد.

تبحث الورقة في مدى فعالية استخدام هياكل (backbones) الـ Vision Transformer (ViT) المدربة مسبقاً بواسطة SSL لنقل التعلم إلى مجموعات بيانات تحديد المواقع البروتينية الصغيرة والنوعية، وتحديداً معالجة:

1. تأثير مصدر التدريب المسبق (الصور الطبيعية مقابل صور المجهر الخاصة بالمجال).
2. استراتيجيات التعامل مع عدم تطابق القنوات (تكرار القنوات مقابل تضمين القنوات - Channel-wise embedding).
3. كفاءة البيانات في الضبط الدقيق (Fine-tuning) (كمية البيانات النوعية المطلوبة للمهمة).
4. فائدة هذه النماذج للتحليل على مستوى الخلية الواحدة.

2. المنهجية

مجموعات البيانات

• مصادر التدريب المسبق:
  • ImageNet-1k: حوالي 1.2 مليون صورة طبيعية (3 قنوات RGB).
  • HPA FOV: حوالي 120,000 صورة مجهر فلوري (4 قنوات: البروتين، الأنابيب الدقيقة، النواة، والشبكة الإندوبلازمية ER).
  • HPA Single-Cell: حوالي 105,000 صورة موسومة على مستوى الخلية الواحدة (18 فئة).
• المجموعة المستهدفة:
  • OpenCell: مشروع تصوير واسع النطاق يستخدم تقنية CRISPR لوسم البروتينات. يحتوي على 6,301 صورة ثنائية القناة (بروتين + نواة) مع 17 فئة من المواقع تحت الخلوية. يعمل هذا كمجموعة بيانات تابعة صغيرة ونوعية للمهمة.

بنية النموذج

• الهيكل (Backbone): نماذج Vision Transformers (بأحجام ViT-small/8 و ViT-base/8) قائمة على خوارزمية DINO (التقطير الذاتي بدون تسميات).
• استراتيجية التدريب:
  • Zero-Shot (بدون ضبط): استخدام الأوزان المدربة مسبقاً مباشرة دون ضبط دقيق.
  • Fine-Tuning (الضبط الدقيق): تكييف الهيكل على بيانات OpenCell قبل تدريب رأس التصنيف.
  • From Scratch (من الصفر): تدريب ViT على بيانات OpenCell من البداية (كخط أساس للمقارنة).

استراتيجيات التعامل مع القنوات

لمواءمة مدخلات OpenCell المكونة من قناتين مع النماذج المدربة مسبقاً ذات الـ 3 قنوات (ImageNet) أو الـ 4 قنوات (HPA)، تمت مقارنة استراتيجيتين:

1. تكرار القنوات (Channel Replication): معالجة كل قناة بشكل مستقل عبر الهيكل ودمج متجهات السمات. (مكلف حاسوبياً، ويتوسع خطياً مع عدد القنوات).
2. تضمين القنوات (Channel-wise Embedding): تعيين قنوات OpenCell إلى قنوات مدخلات محددة للنموذج المدرب مسبقاً، وحشو القنوات المفقودة بالأصفار.
   • التضمين الطبيعي (Natural Embedding): تعيين البروتين $\leftarrow$ قناة البروتين، والنواة $\leftarrow$ قناة النواة (لـ HPA).
   • التضمين العشوائي (Random Embedding): تعيين عشوائي (مثلاً: البروتين $\leftarrow$ الأحمر، النواة $\leftarrow$ الأخضر).

مقاييس التقييم

• على مستوى مجال الرؤية (FOV Level): درجة F1 المتوسطة (Macro-averaged F1) باستخدام رأس مصنف من نوع MLP.
• على مستوى الخلية الواحدة (Single-Cell Level): درجة F1 المتوسطة باستخدام مصنف $k$-Nearest Neighbor ($k$-NN) على أقنعة الخلايا المفردة الموسومة من قبل الخبراء لتقييم جودة التضمين دون الحاجة لمصنف ثقيل.

3. المساهمات الرئيسية

1. قابلية نقل النطاقات (Cross-Domain Transferability): إثبات أن هياكل ViT المدربة مسبقاً بواسطة SSL تنتقل بفعالية إلى مهام المجهر الفلوري، حتى بدون ضبط دقيق.
2. تحليل تكييف القنوات: المقارنة المنهجية بين تكرار القنوات وتضمين القنوات، وإثبات أن تضمين القنوات (Channel-wise embedding) هو الأفضل، خاصة عند تعيين القنوات دلالياً ("طبيعياً") بدلاً من التعيين العشوائي.
3. كفاءة الضبط الدقيق: قياس العلاقة بين حجم بيانات الضبط الدقيق والأداء، وإظبات أنه بينما يؤدي الضبط الدقيق لكامل مجموعة البيانات إلى أفضل النتائج، فإن حتى الأجزاء الصغيرة توفر مكاسب، رغم أن الأجزاء الصغيرة جداً (20%) قد تؤدي أحياناً إلى تراجع الأداء مقارنة بنقل التعلم (Zero-shot).
4. جودة تضمين الخلية الواحدة: التحقق من أن التدريب المسبق بأسلوب SSL الخاص بالمجال (تحديداً على بيانات HPA Single-Cell) ينتج تضمينات تلتقط الهياكل البيولوجية ذات المعنى حتى مع وجود بيانات محدودة للخلية الواحدة.

4. النتائج الرئيسية

تحديد المواقع البروتينية على مستوى FOV

• أداء Zero-Shot: حقق النموذج المدرب مسبقاً على HPA FOV أعلى درجة F1 متوسطة (0.822 ± 0.007) دون أي ضبط دقيق، متفوقاً على كل من نماذج ImageNet-1k والنماذج المدربة من الصفر على OpenCell.
• تأثير الضبط الدقيق: أدى الضبط الدقيق لهيكل HPA FOV على بيانات OpenCell إلى تحسين الأداء ليصل إلى 0.860 ± 0.013.
• التعامل مع القنوات:
  • تفوق تضمين القنوات (Channel-wise embedding) بشكل كبير على تكرار القنوات.
  • كان التعيين الطبيعي (محاذاة قنوات البروتين/النواة بشكل صحيح) أمراً حاسماً؛ حيث أدى التعيين العشوائي لنماذج HPA المدربة مسبقاً إلى انخفاض الأداء بمقدار ~0.03 في درجة F1.
  • بالنسبة لنماذج ImageNet المدربة مسبقاً، أدى تعيين قناة البروتين إلى القناة الخضراء (G) إلى أفضل النتائج (0.818)، مما يشير إلى أن دلالات القنوات المحددة تهم حتى في التدريب المسبق للصور الطبيعية.
• تدرج البيانات: زاد الأداء بشكل مطرد مع نسبة بيانات OpenCell المستخدمة للضبط الدقيق (من 0.2 إلى 1.0)، لكن الضبط الدقيق على 20% فقط من البيانات أدى لأداء أقل قليلاً من خط أساس HPA (Zero-shot)، مما يشير إلى الحاجة لبيانات كافية لإعادة محاذاة التمثيل (Representation).

تحديد المواقع على مستوى الخلية الواحدة

• أفضل أداء: حقق نموذج HPA Single-Cell المدرب مسبقاً (بنية ViT-base/16) أعلى أداء لـ $k$-NN عبر جميع أحجام الجوار (Macro F1 $\ge$ 0.796 عند $k=20$).
• المقارنة: تفوق هذا النموذج على كل من نماذج HPA FOV المدربة مسبقاً ونماذج ImageNet-1k، مما يشير إلى أن التدريب المسبق على مستوى الخلية الواحدة ضروري لالتقاط الأنماط تحت الخلوية الدقيقة.
• الضبط الدقيق: حسن الضبط الدقيق لنموذج HPA FOV على أقنعة الخلايا المفردة لـ OpenCell الأداء لمعظم قيم $k$، لكن التدريب المسبق لـ HPA Single-Cell ظل هو المتفوق.

التحليل النوعي

• أظهرت إسقاطات UMAP تجمعات واضحة للبروتينات حسب موقعها (مثل: النوية، الميتوكوندريا، السيتوبلازم).
• نجح النموذج في تحديد الإشارات الضعيفة أو الخافتة (مثل: الحويصلات المنتشرة) التي قد تغفل عنها أحياناً التسميات "الضعيفة" الأصلية، رغم حدوث أخطاء عندما كانت الإشارات من الحجرات المتداخلة (مثل: جولجي مقابل الحويصلات) غامضة.

5. الأهمية والاستنتاج

تقدم هذه الدراسة دليلاً تجريبياً على أن التعلم الذاتي الإشراف (SSL) هو نموذج قوي للتغلب على ندرة البيانات في التصوير البيولوجي.

• خصوصية المجال أمر جوهري: بينما يعد التدريب المسبق للصور الطبيعية (ImageNet) فعالاً بشكل مفاجئ، فإن التدريب المسبق الخاص بالمجال (HPA) يعطي باستمرار نتائج أفضل، خاصة عندما تتطابق بيانات التدريب المسبق مع دقة المهمة التابعة (FOV مقابل Single-Cell).
• إرشادات عملية: تقدم الورقة توصيات ملموسة للباحثين:
  1. استخدم تضمين القنوات (Channel-wise embedding) بدلاً من التكرار لتكييف النماذج ذات القنوات الثابتة.
  2. أعطِ الأولوية لـ المحاذاة الدلالية للقنوات (مثل محاذاة النواة مع النواة) بدلاً من التعيين العشوائي.
  3. لمهام الخلية الواحدة، يعتبر التدريب المسبق على مستوى الخلية الواحدة متفوقاً على التدريب على مستوى FOV.
  4. حتى مع وجود بيانات محدودة للمهمة، فإن الاستفيد من هياكل SSL واسعة النطاق (خاصة تلك الخاصة بالمجال) يسمح بتحقيق أداء عالٍ في تحديد المواقع البروتينية دون الحاجة إلى مجموعات بيانات ضخمة موسومة.

يساهم هذا العمل في سد الفجوة بين التطورات في الرؤية الحاسوبية العامة والتطبيقات البيولوجية المحددة، مما يتيح تحليلاً أكثر قوة وقابلية للتوسع للأنماط الخلوية.