ملخص تقني: تعميم نماذج "ترانسفورمرز الرؤية" ذات التعلم الذاتي لتحديد مواقع البروتينات عبر مجالات المجهرية

بيان المشكلة

تعتبر مجموعات بيانات المجهرية الخاصة بمهام محددة صغيرة الحجم في كثير من الأحيان، مما يفرض تحديات كبيرة أمام تدريب نماذج التعلم العميق القادرة على استخراج سمات قوية وذات معنى. وبينما أظهر التعلم الذاتي (SSL) وعوداً من خلال التدريب المسبق على مجموعات بيانات ضخمة خاصة بنطاق معين، فإن قدرة هذه النماذج على التعميم عبر مجموعات البيانات ذات بروتوكولات الصبغ، وطرق التصوير، وتكوينات القنوات المتفاوتة لا تزال غير مستكشفة إلى حد كبير. هذا القصور يعد أمراً حرجاً للدراسات صغيرة النطاق التي لا تستطيع توليد مجموعات بيانات مشروحة ضخمة. وتحديداً، ليس من الواضح ما إذا كانت نماذج التعلم الذاتي المدربة مسبقاً على صور طبيعية أو مجالات مجهرية متميزة يمكنها نقل التمثيلات المتعلمة بفعالية إلى مهام لاحقة تتضمن سياقات بيولوجية ومواصفات تقنية مختلفة.

المنهجية

تبحث الدراسة في قابلية نقل نموذج "DINO" (التقطير الذاتي بدون تسميات) من نوع "Vision Transformers" (ViT) المدرب مسبقاً إلى مهمة تحديد موقع البروتين في مجموعة بيانات OpenCell. يتضمن التصميم التجريبي ثلاثة مكونات رئيسية:

1. مجموعات البيانات ونماذج التدريب المسبق الأساسية

تم تقييم ثلاثة نماذج أساسية لـ DINO:

• ImageNet-1k: نموذج عام مدرب مسبقاً على 1.2 مليون صورة طبيعية (RGB).
• HPA (أطلس البروتين البشري): نموذج خاص بنطاق معين مدرب مسبقاً على مجموعة فرعية من بيانات HPA، والتي تستخدم مجهرياً رباعي القنوات (البروتين، الأنابيب الدقيقة، النواة، والشبكة الإندوبلازمية) عبر 35 خطاً خلوياً.
• OpenCell: نموذج تم تدريبه من الصفر على مجموعة بيانات OpenCell، والتي تحتوي على صور مجهرية ثنائية القنوات (البروتين المستهدف والنواة) لخلايا HEK293T مع وسم داخلي بوساطة CRISPR.

2. استراتيجيات التضمين

لمعالجة عدم التطابق في تكوين القنوات بين بيانات التدريب المسبق وبيانات OpenCell المستهدفة (قناتان مقابل 3 أو 4 قنوات)، تم استخدام استراتيجيتين للتضمين:

• تكرار القنوات (Channel Replication): يتم استخراج السمات بشكل مستقل لكل قناة ودمجها. لا تتطلب هذه الطريقة أي تدريب إضافي ولكنها تتوسع خطياً مع عدد القنوات.
• تخطيط القنوات (Channel Mapping): يتم محاذاة القنوات المتقابلة (على سبيل المثال، ربط البروتين بالقناة الحمراء، والنواة بالقناة الخضراء)، ويتم ملء القنوات المفقودة بالأصفار. يسمح هذا بإعادة استخدام السمات الخاصة بكل قناة ولكنه يعتمد على التوافق الدلالي بين مجموعات البيانات.

3. بروتوكول التقييم

تم تقييم أداء التضمينات المستخرجة عبر عملية من مرحلتين:

1. استخراج السمات: تم إنشاء التضمينات لمجموعة بيانات OpenCell باستخدام النماذج الثلاثة المدربة مسبقاً.
2. التصنيف الخاضع للإشراف: تم تدريب رأس مصنف متعدد الطبقات (MLP) على هذه التضمينات للتنبؤ بموقع البروتين عبر 17 حيزاً تحت خلويّاً.
   استخدم التقييم التحقق المتقاطع خماسي الطيات (5-fold cross-validation) على 90% من البيانات، مع مجموعة اختبار مستبعدة بنسبة 10%. المقياس الأساسي هو متوسط درجة F1 الكلية (mean macro F1 score)، مع مراعاة الطبيعة متعددة الملصقات لمشكلة التصنيف.

النتائج الرئيسية

أسفرت الدراسة عن النتائج الكمية التالية (مُبلغ عنها كمتوسط درجة F1 الكلية ± الانحراف المعياري):

• تفوق التدريب المسبق الخاص بالنطاق: حقق النموذج المدرب مسبقاً على مجموعة بيانات HPA باستخدام استراتيجية تخطيط القنوات أعلى أداء، بمتوسط درجة F1 كلية قدره 0.8221 (±0.0062).
• المقارنة مع التدريب الخاص بالمهمة: ومن الملاحظ أن نموذج HPA المدرب مسبقاً قد تفوق على النموذج الذي تم تدريبه من الصفر مباشرة على مجموعة بيانات OpenCell، والذي حقق 0.8057 (±0.0090).
• التدريب المسبق للأغراض العامة: قدم نموذج ImageNet-1k المدرب مسبقاً أداءً تنافسياً بدرجة 0.7986 (±0.0089) (تكرار القنوات) و 0.8057 (±0.0090) (تخطيط القنوات)، مما يثبت أن التدريب المسبق على الصور الطبيعية يمكن أن يولد أيضاً سمات قوية لمهام المجهرية.
• تأثير استراتيجية التضمين: تفوق تخطيط القنوات عموماً على تكرار القنوات، لا سيما بالنسبة لنموذج HPA (0.8221 مقابل 0కాల 0.7681)، مما يشير إلى أن الدمج المبكر للمعلومات المكانية عبر القنوات أكثر فعالية من دمج ناقلات السمات المستقلة.

الأهمية والادعاءات

يزعم المؤلفون أن طرق التعلم الذاتي مثل DINO، عندما يتم تدريبها مسبقاً على مجموعات بيانات ضخمة وذات صلة بالنطاق (مثل HPA) أو حتى مجموعات بيانات عامة (ImageNet-1k)، يمكنها التعميم بفعالية على مجموعات بيانات مجهرية متميزة وأصغر حجماً. وتشمل المساهمات الرئيسية ما يلي:

1. قابلية النقل عبر المجالات: تُظهر الدراسة أن النماذج المدربة مسبقاً على مجموعة بيانات HPA تتعمم بشكل جيد على مجموعة بيانات OpenCell، بل وتتفوق على النماذج المدربة خصيصاً على مجموعة البيانات المستهدفة الأصغر. يشير هذا إلى أن التدريب المسبق واسع النطاق الخاص بالنطاق يمكن أن يعوض نقص البيانات الخاصة بالمهمة.
2. متانة سمات الصور الطبيعية: يشير الأداء التنافسي لنماذج ImageNet-1k المدربة مسبقاً إلى أن السمات المورفولوجية القوية المتعلمة من الصور الطبيعية قابلة للنقل إلى المجهرية الفلورية، مما يقلل من الضرورة المطلقة للتدريب المسبق الخاص بالنطاق في جميع السيناريوهات.
3. الرؤية المنهجية: يسلط العمل الضوء على أهمية التعامل مع قنوات الإدخال، موضحاً أن تخطيط القنوات هو استراتيجية متفوقة لنقل النماذج بين مجموعات البيانات المجهرية ذات أعداد القنوات المختلفة مقارنة بتكرار القنوات البسيط.

تخلص الورقة إلى أن هذه النتائج تدعم الاعتماد الأوسع للنماذج المدربة مسبقاً ذات التعلم الذاتي في تحليل الصور البيولوجية، لا سيما للدراسات ذات توافر البيانات المحدود، وتقترح أن النماذج الخاصة بالنطاقات يمكن أن تتعمم بفعالية على مجموعات بيانات مجهرية مرتبطة ولكن متميزة.