Species-specific small models for cell type classification approach the performance of large single cell foundation models

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "النماذج الصغيرة الخاصة بالأنواع لنهج تصنيف أنواع الخلايا تقترب من أداء نماذج التأسيس الضخمة أحادية الخلية."

1. بيان المشكلة

يعد التصنيف الدقيق لأنواع الخلايا مهمة أساسية في علم النسخيات أحادية الخلية (scRNA-seq)، وهو أمر ضروري للاكتشافات البيولوجية اللاحقة. وبينما تُظهر النماذج التأسيسية الحديثة (مثل scGPT وscFoundation وTranscriptFormer) المدربة على ملايين الخلايا أداءً عاليًا، إلا أنها تعاني من قيود كبيرة:

• التكلفة الحسابية: تتطلب موارد تدريب مسبق هائلة (ملايين المعلمات، وأيام من التدريب على وحدات معالجة الرسومات GPU).
• صعوبة الوصول: حجمها يجعل من الصعب نشرها لمهام محددة ومستهدفة.
• القابلية للتفسير: غالبًا ما تكون أوزانها الداخلية عبارة عن "صناديق سوداء" غامضة.
• المبالغة في القدرات (Overkill): بالنسبة لمهام محددة مثل تصنيف أنواع الخلايا ضمن نوع واحد أو نسيج معين، قد يكون تعقيد النماذج ذات المليارات من المعلمات غير ضروري.

يتساءل المؤلفون: هل يمكن للنماذج البسيطة والموفرة للمعلمات أن تستفيد من التضمينات البيولوجية المدربة مسبقًا لتضاهي أداء نماذج التأسيس الضخمة في تصنيف أنواع الخلايا؟

2. المنهجية

يقترح المؤلفون نموذجين خفيفين وقابلين للتفسير يستخدمان ESM-2 (نموذج اللغة البروتيني التطوري 2)، وهو نموذج لغوي بروتيني مدرب مسبقًا، لتوليد تضمينات (embeddings) للنسخ المشفرة للبروتين. ومن الأهمية بمكان أن هذه النماذج لا تستخدم معلومات عدد الجينات (مستويات التعبير) أثناء التدريب؛ بل تعتمد فقط على وجود/غياب النسخ وتضمينات تسلسل البروتين الخاص بها.

أ. المكونات الأساسية

• تمثيل المدخلات: لكل خلية، يتم اختيار أعلى 2,048 جينًا معبرًا عنها. يتم تضمين تسلسلات البروتين المقابلة لهذه الجينات باستخدام نموذج ESM-2 المدرب مسبقًا.
• استراتيجيات اختيار الجينات:
  1. Max (الأقصى): أعلى 2,048 جينًا من حيث التعبير العالي.
  2. HVG (الجينات عالية التباين): أعلى 2,048 جينًا عالية التباين.
  3. Random (العشوائي): جينات مختارة عشوائيًا (تُستخدم كخط أساس).

ب. بنيات النماذج

1. CytoType:

   • الآلية: نموذج خطي يتعلم أوزانًا خاصة بنوع الخلية فوق تضمينات جينات ESM-2.
   • المعادلة: يحسب درجة $s_c$ لنوع الخلية $c$ عن طريق الجمع الخطي لتضمينات الجينات المختارة ($e_g$) الموزونة بمصفوفة $W_{cg}$ (المقيدة بأن تكون غير سالبة) ومتجه وزن عالمي $v$.
   • المخرج: توزيع احتمالي (Softmax) عبر أنواع الخلايا.
   • الميزة الرئيسية: الأوزان المتعلمة ($W_{cg}$) قابلة للتفسير، مما يشير إلى أي الجينات مهمة لأنواع خلايا معينة.

2. ESM-Cell Embedding (ESM-CE):

   • الآلية: نسخة أبسط حتى. يقوم بمتوسط تضمينات ESM-2 لأعلى 2,048 جينًا معبرًا عنها لإنشاء متجه واحد على مستوى الخلية.
   • المصنف: يتم تدريب مصنف الانحدار اللوجستي (Logistic Regression) على هذه المتجهات المتوسطة.
   • الميزة الرئيسية: لا يتم تعلم أوزان خاصة بالجينات؛ حيث يفترض أن المتوسط يحتوي على إشارة كافية.

ج. الاختبار المرجعي

تم تقييم النماذج مقابل ثمانية نماذج تأسيسية واسعة النطاق (بما في ذلك متغيرات TranscriptFormer، وUCE، وscGPT، وGeneformer، وAIDO) عبر:

• 9 أنواع: الإنسان، الفأر، الغوريلا، الأبوسوم، خلد الماء، سمك الزيبرا، الضفدع، ليمور الفأر، المرجان، واللانبري.
• أكثر من 30 نسيجًا: بما في ذلك مجموعات بيانات Tabula Sapiens 2، وبيانات تكوين الحيوانات المنوية، ومجموعات بيانات أطلس الخلايا.
• المقياس: مقياس Macro F1-score. يُقاس الأداء من خلال الفرق ($\Delta$)، وهو الفرق بين F1 للنموذج الخفيف وأفضل نموذج تأسيسي لـ F1.

3. المساهمات الرئيسية

1. تكافؤ الأداء مع حد أدنى من المعلمات: أثبتت الدراسة أن النماذج الخفيفة (CytoType وESM-CE) تحقق درجات F1 قابلة للمقارنة، وفي بعض الحالات تتجاوز، النماذج التأسيسية التي تزيد في عدد المعلمات عنها بـ 4 إلى 5 مراتب عشرية.
2. تحديد فائدة ESM-2: أثبتت أن تضمينات ESM-2 المدربة مسبقًا حاسمة، حيث قللت الفجوة في الأداء مع النماذج التأسيسية بمقدار ثلاثة أضعاف مقارنة باستخدام التضمينات العشوائية.
3. التفسير البيولوجي: أظهرت أن أوزان الجينات التي تعلمها CytoType، رغم تدريبه بدون عدد التعبير، نجحت في تحديد العلامات البيولوجية ذات الصلة بنوع الخلية.
4. الكفاءة: أثبتت أنه بالنسبة لمهام تصنيف أنواع الخلايا الخاصة بالأنواع، فإن التدريب المسبق الضخم ليس مطلوبًا لتحقيق دقة تضاهي أفضل النتائج.

4. النتائج الرئيسية

مقارنة الأداء

• الأنسجة البشرية (Tabula Sapiens 2):
  • CytoType-ESM-Max: متوسط $\Delta = -0.053$ (متأخر بـ 5.3 نقطة مئوية فقط عن أفضل نموذج تأسيسي).
  • ESM-CE: متوسط $\Delta = -0.064$.
  • كفاءة المعلمات: يستخدم CytoType حوالي 15 ألف معلمة؛ بينما تستخدم النماذج التأسيسية 300 مليون إلى 650 مليون معلمة.
• عبر الأنواع (تكوين الحيوانات المنوية - الغوريلا، الأبوسوم، خلد الماء):
  • ESM-CE: متوسط $\Delta = -0.013$.
  • CytoType-ESM-Max: متوسط $\Delta = -0.019$.
  • الفجوة ضئيلة، مما يشير إلى أن إشارة تسلسل البروتين محفوظة للغاية ومعلوماتية عبر التباعدات التطورية العميقة.
• أطلس الخلايا (أنواع متنوعة):
  • يتراوح متوسط $\Delta$ بين -0.08 و -0.11. ورغم وجود فجوات أكبر قليلاً هنا، إلا أن النماذج الخفيفة لا تزال تنافسية نظرًا للفارق الهائل في عدد المعلمات.

تأثير تضمينات ESM-2

• أدى استبدال تضمينات ESM-2 بتضمينات عشوائية (CytoType-Random-Max) إلى أداء أسوأ بكثير ($\Delta \approx -0.217$).
• استخدام ESM-2 قلل الفجوة مع أفضل نموذج تأسيسي إلى $\Delta \approx -0.071$، أي تحسن بمقدار ثلاثة أضعاف.

تحليل التفسير

• تم استخدام الجينات المختارة بواسطة أوزان CytoType المتعلمة (أعلى 10 لكل نوع خلية) كميزات لمصنف k-NN.
• النتيجة: تفوقت الجينات المختارة بواسطة النموذج بشكل كبير على خطوط الأساس لـ "الجينات عالية التباين" (HVG) واختيار الجينات "العشوائي" (FDR < 0.05).
• على الرغم من أنها لم تتفوق على علامات التعبير التفاضلي القياسية (التي تستخدم بيانات العد)، إلا أنها حققت درجات F1 عالية (على سبيل المثال، 0.93 للأذن، و0.95 للقلب) باستخدام بيانات الوجود/الغياب الثنائية فقط، مما يثبت أن الأوزان تشفر الهوية البيولوجية.

5. الأهمية والآثار المترتبة

• إعادة تعريف ضرورة "النموذج التأسيسي": تتحدى الدراسة الافتراض بأن النماذج الأكبر هي دائمًا الأفضل. فبالنسبة لمهام محددة ومعرفة جيدًا مثل تصنيف أنواع الخلايا داخل نوع معين، فإن النماذج الخطية البسيطة مع التضمينات المدربة مسبقًا كافية.
• فعالية التكلفة: يمكن للباحثين تحقيق نتائج تقارب أفضل النتائج دون العبء الحسابي لتدريب أو ضبط النماذج ذات المليارات من المعلمات.
• القابلية للتفسير: على عكس النماذج التأسيسية، يوفر CytoType رؤية مباشرة حول الجينات التي تقود التصنيف، مما يسهل الاكتشاف البيولوجي دون الحاجة إلى أدوات تفسير معقدة لاحقة.
• القدرة على التعميم: يشير نجاح تضمينات ESM-2 عبر 9 أنواع إلى أن معلومات تسلسل البروتين هي "لغة" قوية وعالمية للهوية الخلوية، وربما تكون أكثر قابلية للنقل من مجرد أعداد النسخ الخام.

الخلاصة: تثبت الورقة أن CytoType وESM-CE هما بديلان قويان وفعالان للنماذج التأسيسية الضخمة لتصنيف أنواع الخلايا، حيث يقدمان توازنًا بين الدقة العالية، والتكلفة الحسابية المنخفضة، والتفسير البيولوجي.