MoCoO: Momentum Contrast ODE-Regularized VAE for Single-Cell Trajectory Inference and Representation Learning

ملخص تقني لورقة بحثية: "MoCoO: التعلم التبايني بالزخم والمنظم عبر المعادلات التفاضلية العادية لنموذج VAE لتعلم التمثيلات واستنتاج المسارات في الخلايا المفردة"

1. بيان المشكلة

يتطلب تحليل تسلسل الحمض النووي الريبوزي وحيد الخلية (scRNA-seq) تمثيلات منخفضة الأبعاد تلتقط في آن واحد واقعين بيولوجيين متميزين:

1. هوية نوع الخلية المنفصلة: الحاجة إلى فصل مجموعات الخلايا المتميزة بوضوح (التجميع/Clustering).
2. الديناميكيات التنموية المستمرة: الحاجة إلى نمذجة مسارات سلسة ومستمرة لتمايز الخلايا (الزمن الزائف وسرعة الحمض النووي الريبوزي).

تفشل الطرق الحالية غالباً في تحقيق هذا التوازن. فنماذج VAE القياسية مثل scVI تتفوق في إعادة البناء، لكنها تميل إلى إنتاج فضاءات كامنة "مفرطة التنعيم" تدمج بين حالات خلوية متقاربة. وعلى العكس من ذلك، فإن الطرق التي تركز على استنتاج المسارات تفتقر غالباً إلى التعلم التبايني القوي لتعزيز حدود المجموعات. هناك نقص في إطار عمل موحد يدمج إعادة البناء الاحتمالي، والديناميكيات المستمرة زمنياً، وتعلم التمثيل التبايني.

2. المنهجية: إطار عمل MoCoO

يقترح المؤلفون MoCoO (التعلم التبايني بالزخم والمنظم عبر المعادلات التفاضلية العادية لنموذج VAE)، وهو بنية نموذجية تجمع بين ثلاثة نماذج أساسية: VAE، وNeural ODE، وMomentum Contrast (MoCo)، يليه تحسين باستخدام Flow Matching (FM) في مرحلة ما بعد التدريب.

المكونات الأساسية:

1. مشفر-فك تشفير VAE:

   • يعالج بيانات تعداد scRNA-seq المنسقة لوغاريتمياً.
   • يستخدم احتمالية مرنة قائمة على العد (Negative Binomial، ZINB، إلخ) للتعامل مع مشكلات التضخم الصفري (zero-inflation) والتشتت الزائد الشائعة في بيانات scRNA-seq.
   • ينتج تمثيلاً كامناً $z$.

2. تنظيم Neural ODE:

   • ينمذج الديناميكيات المستمرة زمنياً في الفضاء الكامن عبر $dz/dt = f_\psi(z, t)$.
   • يتنبأ المشفر بقيمة زمن زائف (pseudotime) قياسية $t \in [0, 1]$.
   • يقوم حلل ODE (باستخدام RK4 ثابت الخطوات) بتكامل المشتق الكامن لإنتاج تمثيل واعٍ بالمسار $z_{ode}$.
   • الدمج (Blending): التمثيل الكامن النهائي هو مزيج مرجح: $z_{blend} = \alpha_{vae} \cdot z + \alpha_{ode} \cdot z_{ode}$.
   • الخسائر: تشمل توافق ODE-VAE وخسائر اتساق السرعة لضمان مطابقة حقل السرعة المتعلم للإزاحات الخلوية التجريبية.

3. وحدة Momentum Contrast (MoCo):

   • تنفذ تمييزاً على مستوى الحالة (instance-level) باستخدام مشفر مفتاح يتم تحديثه بالزخم وطابور ذاكرة كبير ($K=4096$) لفصل أخذ العينات السلبية عن حجم الدفعة (batch size).
   • التعلم التبايني للنماذج الأولية (Prototype Contrastive Learning): تضيف ناقلات نماذج أولية قابلة للتعلم لمحاذاة التمثيلات مع مراكز المجموعات، مما يفرض هيكلاً عالمياً للمجموعات.
   • التعزيز (Augmentation): تستخدم تعزيزات عشوائية محافظة (قناع الجينات، الضجيج الغاوسي، تبديل الميزات) لمحاكاة التساقط (dropout) والضجيج التقني دون تشويه المعاني البيولوجية.

4. عنق الزجاجة المعلوماتي (Information Bottleneck - IB):

   • يضم زوجاً ثانوياً من المشفر-فك التشفير لضغط الفضاء الكامن إلى بُعد أدنى ($d_{ib}=4$) لاستخراج ميزات هرمية، وإن وجد أن هذا المكون كان له تأثير طفيف مقارنة بـ ODE وMoCo.

5. تحسين Phase-2 Flow Matching (FM):

   • خطوة مبتكرة لما بعد التدريب تُطبق على الفضاء الكامن "المجمد" لأي تكوين أساسي.
   • تتعلم تدفقاً طبيعياً مستمراً لنقل توزيع غاوسي معياري إلى التوزيع الكامن التجريبي.
   • تعمل هذه الخطوة كمنظم هندسي لاستعادة وتضخيم جودة التضمين وفصل المجموعات بعد التدريب الأولي.

هدف التدريب:
تجمع دالة الخسارة الإجمالية بين إعادة البناء، وتباعد KL، وتوافق/سرعة ODE، وخسارة MoCo التباينية، وخسارة النموذج الأولي، وخسارة التباين عبر المسارات (لمحاذاة مسارات ODE وVAE).

3. المساهمات الرئيسية

1. بنية موحدة: أول إطار عمل يدمج بشكل مشترك بين إعادة بناء VAE، وديناميكيات Neural ODE، وتعلم Momentum Contrast لبيانات الخلايا المفردة.
2. دراسة استئصال منهجية (Ablation Study): تقييم 6 تكوينات أساسية (مزيج من VAE، ODE، MoMo، Proto) عبر 20 مجموعة بيانات متنوعة من scRNA-seq (تشمل تكوين الدم، التكوين العصبي، البنكرياس، إلخ).
3. مجموعة تقييم مبتكرة: اقترح نظام تقييم مكون من خمسة مقاييس تغطي:
   • هندسة التجميع (Clustering Geometry): متوسط عرض السيلويت (ASW)، ديفيز-بولدين (DAV)، وكالينسكي-هاراباز (CAL).
   • جودة التضمين (Embedding Quality): مقاييس DRE (تقييم تقليل الأبعاد) وDREX (النسخة الموسعة من DRE)، والتي تقيس مدى دقة الإسقاطات ثنائية الأبعاد للفضاء الكامن عالي الأبعاد.
4. تعزيز Flow Matching: أثبت أن خطوة تحسين FM في مرحلة ما بعد التدريب تعمل بشكل منهجي على تحسين جميع متغيرات النموذج، مما يستعيد جودة التضمين التي قد تفقدها التنظيمات التباينية.
5. إطلاق مفتوح المصدر: إصدار حزمة mocoo بلغة بايثون ومجموعة اختبار مرجعية شاملة.

4. النتائج الرئيسية

تم تقييم 12 تكويناً (6 أساسية + 6 معززة بـ FM) على 20 مجموعة بيانات.

• التآزر الجوهري (ODE + MoCo):

  • حقق الجمع بين VAE + ODE + MoMo أفضل توازن عام، حيث حصل على 4 من أصل 5 مراكز أولى أو ثانية بين التكوينات الأساسية.
  • حقق أفضل ASW (0.225) وDAV (1.478) لهندسة التجميع، وثاني أفضل DRE (0.640) لجودة التضمين.
  • رؤية: يعمل ODE على تنعيم المتشعب (manifold) على طول المسارات، بينما يعمل MoCo على شحذ حدود المجموعات.

• تأثير Flow Matching (FM):

  • حسن تحسين FM المقاييس في غالبية الحالات: DREX (92%)، DRE (88%)، CAL (88%)، ASW (86%)، وDAV (80%).
  • حقق المسار الكامل (VAE+ODE+MoCo+Proto+FM) أفضل النتائج المطلقة لـ DRE (0.678)، وDREX (0.660)، وCAL.
  • المتغير الذي يفتقر للنماذج الأولية (VAE+ODE+MoCo+FM) حقق أفضل ASW (0.257) وDAV (1.359).

• التحقق البيولوجي:

  • ارتباط الزمن الزائف: أظهر الزمن الزائف المستمد من ODE ارتباطات ذات دلالة إحصائية عالية ($p < 10^{-5}$) مع الجينات العلامة (marker genes) التقليدية عبر الأنظمة التنموية الخمسة الأساسية (مثل Hbb-bs في تكوين الدم، وSlc1a3 في التكوين العصبي).
  • المقارنة المرجعية الخارجية: تفوق MoCoO على 18 نموذجاً مرجعياً خارجياً (بما في ذلك scVI، وHarmony، وPCA، ونماذج تعلم عميق أخرى) عبر جميع المقاييس الخمسة المقترحة.

• المنفعة في المهام اللاحقة:

  • تم التحقق من صلاحيته لنقل التوصيف (annotation transfer)، وتقدير عدم اليقين، والتعبير التفاضلي، وكشف التفرع.
  • أظهر قدرات قوية في دمج الدفعات (Batch Integration) مع الحفاظ على البنية البيولوجية.

5. الأهمية والخاتمة

يعالج MoCoO المقايضة الأساسية في تحليل الخلايا المفردة بين التقاط أنواع الخلايا المنفصلة والمسارات التنموية المستمرة. من خلال الجمع بين Neural ODEs (لتنعيم المسار) وMomentum Contrast (لشحذ المجموعات)، فإنه يخلق فضاءً كامناً دقيقاً هندسياً ومفسراً بيولوجياً.

يعد تقديم Phase-2 Flow Matching مساهمة منهجية حاسمة، حيث يوضح أن التحسين الهندسي اللاحق يمكن أن يحل المقايضات المتأصلة في التدريب متعدد الأهداف، مما يسمح للنموذج بتحقيق أداء فائق في كل من التجميع ودقة التضمين في آن واحد. يوصي المؤلفون باستخدام المسار الكامل (VAE+ODE+MoCo+Proto+FM) كإعداد افتراضي لتعلم التمثيلات القوي للخلايا المفردة.