ملخص تقني: التدريب اللاحق الموجه بالنماذج الأولية لتعلم التمثيلات أحادية الخلية

بيان المشكلة

يهدف تعلم التمثيلات أحادية الخلية (SCRL) إلى فك تشفير بيانات التعبير الجيني عالية الأبعاد للكشف عن المنطق التنظيمي الخلوي. وبينما أظهرت النماذج التأسيسية الحديثة المستوحاة من النماذج اللغوية الكبيرة (التي تعامل الجينات كرموز والخلايا كجمل) واعداً، إلا أنها تواجه عقبتين جوهريتين:

1. توزيعات أنواع الخلايا ذات الذيل الطويل: تظهر مجموعات البيانات أحادية الخلية عدم توازن حاد في الفئات، حيث تشكل الجمهرات الخلوية النادرة ولكنها بالغة الأهمية بيولوجياً (مثل الخلايا الجذعية المسببة للأمراض) جزءاً ضئيلاً جداً من العينات. يؤدي هذا إلى تمثيلات (embeddings) مشوشة أو منهارة لأنواع الخلايا النادرة، حيث تنحاز النماذج نحو الجمهرات الوفيرة.
2. انزياحات المتغيرات المصاحبة (Covariate Shifts): تخلق الآثار التقنية، مثل تأثيرات الدُفعات (batch effects) وتفاوت أعماق التسلسل، فجوات توزيع بين بيانات التدريب وبيانات الاستدلال. غالباً ما تفرط النماذج الحالية في ملاءمة الأنماط الخاصة بالدُفعة بدلاً من التقاط المنطق التنظيمي الشامل، مما يحد من قدرتها على التعميم عبر المنصات أو البروتوكولات التجريبية المختلفة.

غالباً ما تفشل استراتيجيات الضبط الدقيق (fine-tuning) الحالية في حل هذه المشكلات تماماً لأنها تبدأ من فضاء تمثيل كامن (latent embedding manifold) غير مستقر تم إنشاؤه أثناء مرحلة ما قبل التدريب الأولية.

المنهجية: CellRefine

لمعالجة هذه التحديات، قدم المؤلفون CellRefine، وهو إطار عمل للتدريب اللاحق لما قبل التدريب (post-pretraining)، صُمم ليعمل بين مرحلة ما قبل التدريب الأولية ومرحلة الضبط الدقيق للمهام النهائية. يقوم Cell-Refine بحقن انحيازات استقرائية قائمة على أسس بيولوجية لإعادة تشكيل فضاء التمثيل الكامن إلى بنية أكثر استقراراً وتمييزاً.

تستخدم الطريقة دالة هدف متعددة الأوجه ($L_{Total}$) تجمع بين أربعة مكونات:

1. التعلم الموجه بالنماذج الأولية (برامج الجينات العلامة):

   • المفهوم: يستخدم مجموعات الجينات العلامة (marker genes) المعروفة كعناصر هيكلية مسبقة. وبما أن مجموعات العلامات الكاملة غالباً ما تكون غير معروفة، تستخدم الطريقة مجموعات فرعية منتقاة من العلامات لإنشاء "نماذج أولية" (prototypes) لكل نوع خلوي.
   • التنفيذ: يتم ترتيب الجينات العلامة لنوع خلوي $c_i$ بناءً على تسلسل هرمي لـ "أنساب الخلايا" (من الأنواع الفرعية الأكثر تحديداً إلى السلالات الأوسع) باستخدام دالة $H(c_i)$. يتم ترميز هذه التسلسلات المرتبة وتحويلها إلى تمثيلات نماذج أولية ($z_m$).
   • الخسارة: تعمل خسارة التنظيم الموجهة بالنماذج الأولية ($L_{prototype}$) على تعظيم تشابه جيب التمام (cosine similarity) بين تمثيل الخلية ($z_c$) وتمثيل النموذج الأولي المقابل لها، مع تقليل التشابه مع النماذج الأولية الأخرى، مما يضفي بنية بيولوجية على التمثيل.

2. التنظيم المدرك للسلالة (Lineage-Aware Regularization):

   • المفهوم: يعالج مشكلة بقاء أنواع الخلايا المتقاربة (التي تشترك في سلالة أب واحدة في الهيكل التصنيفي) غير متميزة بشكل كافٍ في فضاء التمثيل.
   • التنفيذ: تعمل خسارة الفصل المدركة للسلالة ($L_{lineage}$) على معاقبة التشابه المفرط بين أزواج الخلايا التي تشترك في نفس سلالة الأب ونفس المستوى التصنيفي، مما يشجع النموذج على التمييز بين الهويات البيولوجية الدقيقة.

3. الترميز المتغير لمزيج غاوس (GMVE):

   • المفهوم: يعمل صراحةً على نمذجة الفضاء الكامن كبنية عنقودية لتحسين جودة التمثيل.
   • التنفيذ: يتم إلحاق مشفر متغير لمزيج غاوس (Gaussian Mixture Variational Encoder) بالنموذج. تعمل خسارة تباعد KL ($L_{GMVE}$) على تنظيم التوزيع اللاحق المتغير مقابل توزيع غاوسي مختلط متعلم، مما يفرض بنية عنقودية كامنة.

4. نمذجة اللغة المقنعة (MLM):

   • يتم الاحتفاظ بهدف ما قبل التدريب القياسي لضمان استمرار النموذج في تعلم أنماط التعبير الجيني العامة.

الدالة الإجمالية هي:
$$L_{Total} = L_{MLM} + \lambda_1 L_{prototype} + \lambda_2 L_{lineage} + \lambda_3 L_{GMVE}$$

المساهمات الرئيسية

• مرحلة جديدة لما بعد ما قبل التدريب: يقترح إطار عمل وسيط (CellRefine) لتنقية الفضاء الكامن للنماذج التأسيسية قبل الضبط الدقيق للمهام، بدلاً من الاعتماد فقط على ما قبل التدريب يليه الضبط الدقيق المباشر.
• دمج الأوليات البيولوجية: يدمج بشكل منهجي المعرفة الميكانيكية البيولوجية (برامج الجينات العلامة وهياكل الأنساب) مباشرة في عملية التحسين لتوجيه تعلم التمثيل.
• التعامل مع الذيل الطويل والانزياح المتغير: يثبت أن ترسيخ النموذج في الأوليات البيولوجية يخفف من الانحياز نحو أنواع الخلايا الوفيرة ويحسن المتانة تجاه التحولات التقنية.

النتائج التجريبية

قيم المؤلفون CellRefine عبر ثلاث مهام أساسية في البيولوجيا الحسابية على 11 مجموعة بيانات تغطي أنسجة مختلفة (الدم، البنكرياس، الكبد، الدماغ، الرئة، القلب، إل_خ):

1. تنبؤ هوية الخلية:

   • داخل النطاق (On-Domain): تفوق CellRefine باستمرار على النماذج المرجعية (بما في ذلك الضبط الدقيق الكامل، وLoRA، ومحاذاة MLM القياسية) في 10 مجموعات بيانات. حقق تحسينات في مقياس macro-F1 تصل إلى 15% مقارنة بأقوى نموذج مرجعي (MLM $\to$ FF) في مجموعات البيانات غير المتوازنة مثل الدم والبنكرياس.
   • خارج النطاق (Zero-Shot): في نقل النماذج عبر الوسائط (التدريب على scRNA-seq والاختبار على علم النسخ المكاني)، أظهر CellRefine أداءً متفوقاً في مقياس recall@k، مما يشير إلى تمثيلات أكثر متانة وقدرة على التعميم.

2. استكمال البيانات في النسخ المكاني (Spatial Transcriptomic Imputation):

   • حسن CellRefine التنبؤ بتعبيرات الجينات غير المقاسة، محققاً معاملات ارتباط بيرسون وتشابه جيب تمام أعلى مقارنة بالنماذج المرجعية في مجموعات بيانات الكبد المكانية.

3. التنبؤ باستجابة اضطراب الجينات:

   • في التنبؤ بتغيرات التعبير الجيني تحت تأثير الاضطراب، حقق CellRefine تحسينات ثابتة، وإن كانت أصغر، مقارنة بالنماذج المرجعية، محققاً أفضل أداء إجمالي بين جميع الطرق المختبرة.

دراسات الاستئصال (Ablation Studies):

• أدى إزالة أي من حدود التنظيم الثلاثة ($L_{prototype}$، $L_{lineage}$، $L_{GMVE}$) إلى تدهور الأداء، مما أكد أن النهج متعدد الأهداف يعمل بشكل تآزري.
• كفاءة العينات: في سيناريوهات التعلم بلقطات قليلة (5-50 لقطة)، أظهر CellRefine مكاسب في الأداء أكثر حدة بكثير عند عدد عينات منخفض مقارنة بالضبط الدقيق القياسي، مما يشير إلى أنه يستفيد من البيانات المسمات المحدودة بشكل أكثر فعالية.

التحليل النوعي:

• كشفت تصورات UMAP للفضاء الكامن أن CellRefine يعيد تنظيم فضاء التمثيل، مما يجعل جمهرات الخلايا النادرة في "الذيل" (مثل مجموعات فرعية معينة من الخلايا التائية، وأنواع خلايا الكبد النادرة) أكثر تميزاً وأقل تشابكاً مع العناقيد الخلوية الرئيسية مقارنة بالنماذج المدربة فقط باستخدام MLM.

الأهمية والادعاءات

يزعم البحث أن CellRefine يمثل اتجاهاً واعداً لتعلم التمثيلات أحادية الخلية من خلال إثبات أن الانحيازات الاستدلالية المستندة إلى البيولوجيا يمكن أن تحسن بشكل كبير الأداء النهائي للنماذج التأسيسية.

• الفائدة السريرية: من خلال التقاط أنواع الخلايا النادرة بشكل أفضل وتحسين المتانة تجاه الانزياحات المتغيرة، تعزز هذه الطريقة القدرة على تحديد الآليات المرضية والأهداف العلاجية في حالات الخلايا النادرة أو الانتقالية التي غالباً ما تُحجب في النماذج القياسية.
• التحول المنهجي: يجادل العمل ضد الاعتماد فقط على التدريب المسبق القائم على البيانات يليه الضبط الدقيق، ويدعو بدلاً من ذلك إلى مراحل وسيطة تدمج المعرفة المتخصصة (الجينات العلامة والأنساب) صراحةً لاستقرار عملية التعلم.
• القيود: يشير المؤلفون بتواضع إلى أن هذا النهج يعتمد على برامج جينية علامة منتقاة، والتي قد تكون غير كاملة أو مشوبة بالضجيج بالنسبة للأنواع الخلوية الجديدة. بالإضافة إلى ذلك، فإن مكاسب الأداء لا تعني بالضرورة تحسن كفاءة المعلمات (parameter efficiency).

باختصار، يقدم CellRefine إطار عمل لسد الفجوة بين التدريب المسبق واسع النطاق والواقع المحدد، وغير المتوازن غالباً، للبيانات البيولوجية أحادية الخلية، مما ينتج تمثيلات خلوية أكثر تمييزاً وقدرة على التعميم.