Sparse Autoencoders Reveal Interpretable Features in Single-Cell Foundation Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "المشفّرات التلقائية المتناثرة تكشف عن سمات قابلة للتفسير في النماذج التأسيسية للخلية الواحدة".

1. بيان المشكلة

ظهرت النماذج التأسيسية للخلية الواحدة (scFMs) مثل scGPT وscFoundation وGeneformer كأدوات قوية لتحليل الحالات الخلوية، وتكامل البيانات، والتنبؤ بآثار الاضطرابات. ومع ذلك، فإنها تعمل إلى حد كبير كـ "صناديق سوداء"، مما يجعل آلياتها الداخلية وعمليات اتخاذ القرار فيها غامضة.

• الافتقار إلى القابلية للتفسير: من غير الواضح كيف تقوم هذه النماذج بترميز المفاهيم البيولوجية (مثل أنواع الخلايا، أو وظائف الجينات) مقابل الآثار التقنية (مثل تأثيرات الدفعة "batch effects"، أو بروتوكولات التسلسل).
• قيود الأداء: تشير الاختبارات المرجعية الأخيرة إلى أن النماذج التأسيسية للخلية الواحدة (scFMs) أحياناً ما يكون أداؤها أقل من النماذج الخطية البسيطة في إعدادات "التعلم الصفري" (zero-shot)، كما أن اعتمادها على بنيات موروثة من معالجة اللغات الطبيعية (NLP) دون تكييف بيولوجي كافٍ يثير تساؤلات حول متانتها.
• الحاجة إلى التحكم: هناك حاجة ماسة لفهم ما الذي يحرك تنبؤات النموذج لتمكين تصميم أفضل، واستراتيجيات تدريب فعالة، والقدرة على التدخل في سلوك النموذج (على سبيل المثال، إزالة تأثيرات الدفعة دون فقدان الإشارة البيولوجية).

2. المنهجية

طبق المؤلفون المشفّرات التلقائية المتناثرة (Sparse Autoencoders - SAEs) على التمثيلات المخفية لثلاثة نماذج أساسية من الـ scFMs لتفكيك مساحاتها الكامنة إلى سمات متناثرة وقابلة للتفسير.

• النماذج التي تم تحليلها:
  • scGPT: تم تحليله في كل من حالتي ما قبل التدريب (pre-trained) والضبط الدقيق (fine-tuned).
  • scFoundation: تم تحليله في حالة ما قبل التدريب (لعدم توفر كود الضبط الدقيق).
  • Geneformer: تم تحليله في حالة الضبط الدقيق (حيث أعطت نسخ ما قبل التدريب تعريفات ضعيفة للسمات).
• بنية SAE والتدريب:
  • المدخلات: تمثيلات الرموز الوسيطة (intermediate token representations) من طبقات الـ Transformer، بدلاً من تضمينات الخلايا النهائية.
    استخدمت BatchTopK SAEs، والتي تحتفظ فقط بأكبر $k$ من التنشيطات الكامنة لكل دفعة، وهي تتفوق على SAEs ذات التنظيم L1 أو الـ gated SAEs في الاختبارات الأولية.
  • التدريب: تم التدريب على مجموعات بيانات تشمل CellXGene Census (37 مليون خلية)، ومجموعة بيانات لمرضى كوفيد-19، ومعايير مرجعية لأنسجة محددة (البنكرياس، الرئة، الجهاز المناعي).
  • اختيار الطبقة: تم تدريب SAEs على جميع طبقات الـ 12 في الـ Transformer. تم اختيار الطبقة 6 لتجارب التوجيه (steering) (وهي المثالية لسمات الدفعة)، والطبقة 10 لتحليل القابلية للتفسير (وهي المثالية للتمثيلات البيولوجية المهيكلة).
• تقنيات تحليل السمات:
  • الارتباطات على مستوى الخلية: تجميع التنشيطات على مستوى الجين عبر عملية "max-pooling" لحساب المعلومات المتبادلة المعدلة (AMI) ودرجات F1 مقابل الملصقات الأرضية (أنواع الخلايا، حالات المرض، الدفعات).
  • الإثراء الوظيفي: استخدام Gene Ontology (GO) ومجموعات علامات PanglaoDB لتحديد العمليات البيولوجية وعلامات أنواع الخلايا المرتبطة بسمات معينة.
  • توجيه السمات (Feature Steering - التدخل): تحديد السمات المرتبطة بالآثار التقنية (الدفعات) و"تثبيت" (clamping) تنشيطاتها عند قيمة سالبة (-2) أثناء الاستدلال لقمعها، ثم قياس التأثير على التضمينات اللاحقة.
• مقاييس التقييم:
  • درجة استعادة التضمين (Embedding Recovery Score): مقياس مبتكر تم تطويره لقياس مدى قدرة إعادة بناء مستوى الرمز (token-level reconstruction) على الحفاظ على تضمينات الخلايا اللاحقة (بدلاً من مقاييس "الخسارة المستردة" القياسية التي فشلت بسبب ارتفاع خسارة تدريب scFM).
  • مقاييس تصحيح الدفعة (Batch Correction): تشمل Graph connectivity، وkBET، وiLISI، ودرجات الحفاظ البيولوجي (تبعاً لـ Luecken et al., 2022).

3. المساهمات الرئيسية

1. تفكيك تمثيلات scFM: أثبتت الدراسة أن نماذج scFMs تنظم المعلومات على محورين متميزين: السمات الخاصة بالجينات (ترميز مستويات التعبير، هوية الجين، والعائلات الجينية) والسمات الخاصة بالخلية (ترميز هوية الخلية عبر معلومات سياقية موزعة).
2. اكتشاف استراتيجيات الترميز المعقدة: كشفت الدراسة أن النماذج تستخدم استراتيجيات غير تقليدية، مثل الترميز السلبي (التنشط عند غياب علامات الخلايا غير المستهدفة) والترميز بالوكالة (استخدام الجينات الريبوسومية كمميزات للتمييز بين أنواع الخلايا) لبناء تمثيلات الخلايا.
3. توصيف الآثار التقنية: أظهرت النتائج أن النماذجة ما قبل التدريب تُرمز قدراً كبيراً من التباين التقني (بروتوكولات التسلسل، الانحيازات الخاصة بالدراسة) جنباً إلى جنب مع الإشارات البيولوجية، وغالباً ما تخصص سعة كبيرة لهذه الآثار.
4. توجيه السمات لتصحيح الدفعة: أثبتت الدراسة أن السمات المستمدة من SAE مرتبطة سببياً بسلوك النموذج. حيث أدى كبح "سمات الدفعة" (batch features) إلى تحسين مقاييس تكامل الدفعة مع الحفاظ على الحفاظ البيولوجي، متفوقة بذلك على النماذج الأصلية (zero-shot) وفي بعض الحالات، طابقت طرق تصحيح الدفعة المتخصصة مثل scVI.
5. إطار عمل مفتوح المصدر: إصدار كود برمجي لتدريب SAEs على نماذج scFMs، وهو قابل للتوسيع ليشمل بنيات ونماذج جديدة.

4. النتائج الرئيسية

• المفاهيم القابلة للتفسير: نجحت SAEs في تحديد سمات تتوافق مع:
  • خصائص الجينات: مستويات التعبير، العائلات الجينية (الريبوسومية، الميتوكوندريا، HLA)، والعمليات البيولوجية (دورة الخلية، الموت الخلوي المبرمج).
  • هوية الخلية: سمات متميزة لأنواع الخلايا الرئيسية (الخلاية التائية T cells، الخلايا البائية B cells، الخلايا الوحيدة Monocytes). ومن الملاحظ أن scGPT أنتج 3 إلى 8 سمات متنوعة لكل نوع خلية حتى قبل الضبط الدقيق، بينما كانت scFoundation وGeneformer أكثر تشتتاً أو احتاجتا للضبط الدقيق لتطوير تمثيلات واضحة.
  • حالات المرض: سمات تنشط خصيصاً لدى مرضى اضطرابات ما بعد كوفيد-19، حيث تلتقط الحالات الالتهابية غير الموجودة في بيانات التدريب الصحية.
  • الانحيازات التقنية: سمات مرتبطة بقوة بتقنيات التسلسل (مثل SMARTer مقابل Smart-Seq2) ودفعات دراسة محددة.
• الاختلافات بين النماذج:
  • scGPT: استخدم استراتيجيات التجميع (binning)، مما أدى إلى سمات ذات ارتباط تعبيري قوي عبر مستويات متعددة.
  • Geneformer: قام بترميز التعبير عبر موقع الرمز (token position)، مما أدى إلى سمات مرتبطة بالموقع.
  • scFoundation: استخدم أخذ عينات بايزي (Bayesian downsampling)، مما نتج عنه سمات أقل ارتباطاً بقيم التعبير العالية.
• فعالية التوجيه (Steering Efficacy):
  • في مجموعة بيانات البنكرياس، حقق توجيه نموذج scGPT المضبوط بدقة (عبر كبح أعلى 50 سمة مرتبطة بالدفعة) درجة تكامل إجمالية قدرها 0.62، متفوقاً على النموذج الأصني المضبط بدقة (0.45) وعلى النموذج المصحح بطريقة DAR (0.58).
  • نجح التوجيه في تقليل تأثيرات الدفعة (تحسين درجات تصحيح الدفعة) مع الحفاظ على مستويات عالية من الحفاظ البيولوجي، مما يثبت أن الآثار التقنية مشفرة في سمات محددة يمكن التحكم بها.
• حدود التعميم: غالباً ما أظهرت سمات أنواع الخلايا أنماط تنشيط خاصة بكل دراسة بدلاً من مفاهيم موحدة عبر جميع مجموعات البيانات، مما يشير إلى أن النماذج ما قبل التدريب قد تتعلم تمثيلات منفصلة لنفس نوع الخلية عبر دراسات مختلفة بسبب هيمنة الإشارات التقنية.

5. الأهمية والآثار المترتبة

• الفهم الميكانيكي: يوفر هذا العمل أول رؤية ميكانيكية عميقة لكيفية معالجة نماذج scFMs لبيانات الخلية الواحدة، متجاوزاً مقاييس الأداء "الصندوق الأسود" إلى فهم ما الذي تعلمته هذه النماذج بالفعل.
• القابلية للتحكم: توفر القدرة على "توجيه" النماذج عبر كبح سمات معينة نموذجاً جديداً للتحكم في مخرجات النموذج. يسمح هذا بإزالة التحيزات التقنية غير المرغوب فيها (تأثيرات الدفعة) دون الحاجة لإعادة تدريب النموذج بالكامل، بشكل مشابه لتعديل المفاهيم في النماذج اللغوية الكبيرة (LLMs).
• رؤى التدريب: تشير النتائج إلى أن الخيارات الهيكلية (مثل نسب القناع/masking ratios، وتجميع التعبير) وبروتوكولات التدريب تؤثر بشكل كبير على بنية التمثيلات المتعلمة. يجب تصميم النماذج المستقبلية لتقليل ترميز الآثار التقنية.
• الاتجاهات المستقبلية: تسلط الدراسة الضوء على أنه بينما تتعلم نماذج scFMs تمثيلات بيولوجية غنية، فإنها تواجه صعوبة في دمج هذه التمثلات عبر دراسات متنوعة دون ضبط دقيق. إن أدوات التفسير مثل SAEs ضرورية لتوجيه الجيل القادم من النماذج التأسيسية القوية والقابلة للتعميم في علم الأحياء الحسابي.