ملخص تقني: التعلم شبه الموجه ذاتيًا المتسق مع عملية مارتينجال (Martingale-Consistent Self-Supervised Learning)

بيان المشكلة

يتم نشر التعلم شبه الموجه ذاتيًا (SSL) على نطاق واسع في السيناريوهات التي تكون فيها توافر المعلومات ديناميكيًا، كما هو الحال عند التعامل مع سجلات تاريخية أقصر، أو ميزات مفقودة، أو صور مرصودة جزئيًا. في هذه الإعدادات، يتم استعلام النموذج غالبًا تحت "مجموعات معلومات" متعددة (على سبيل المثال، رؤى أولية مقابل رؤى مفصلة). أحد المتطلبات الأساسية لهذه النماذج هو الاتساق (Coherence): إذ يجب أن يتطابق التنبؤ الذي يتم إجراؤه تحت مجموعة معلومات أولية مع التنبؤ المتوقع بعد عملية التفصيل (Refinement).

رياضيًا، إذا كانت $F_1 \subseteq F_2$ تمثل مجموعات معلومات متداخلة (حيث تحتوي $F_2$ على معلومات أكثر من $F_1$)، وكان $g_\phi(x_F)$ هو المتنبئ، فإن خاصية مارتينجال (Martingale Property) تقتضي:
$$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$$
وهذا يعني أنه قبل ملاحظة معلومات إضافية، لا ينبغي للنموذج أن يتوقع بشكل منهجي أن تنحرف تنبؤاته المستقبلية صعودًا أو هبوطًا. عادةً ما تدرب أهداف التعلم شبه الموجه ذاتيًا القياسية (مثل التعلم التبايني، أو إعادة البناء المقنع) المتنبئات للرؤى الفردية بشكل مستقل أو تفرض الثبات (Invariance) (مما يجعل الرؤى تبدو متشابهة). وهي لا تفرض هذا الاتساق الاتجاهي، مما قد يؤدي إلى نماذج تعمل جيدًا في رؤى محددة ولكنها تفتقر إلى الاتساق العالمي عبر مجموعات المعلومات المتداخلة.

المنهجية

يقترح المؤلفون إطار عمل للتعلم شبه الموجه ذاتيًا متسق مع مارتينجال يفرض خاصية مارتينجال كهدف للتدريب.

1. دالة الهدف (Objective Function)

تجمع دالة الخسارة الإجمالية بين خسارة تنبؤ قياسية وعقوبة اتساق مارتينجال:
$$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$$

• الحد التنبؤي ($\mathcal{L}_{pred}$): خسارة SSL قياسية (مثل التقاطع التقاطعي للتصنيف أو متوسط مربع الخطأ MSE) تُطبق على الرؤية المفصلة (الكاملة).
• حد مارتينجال ($\mathcal{L}_{mart}$): هذا الحد يعاقب الانحرافات عن هوية مارتينجال. ويتطلب أخذ عينات من مجموعات معلومات متداخلة $F_1 \subseteq F_2$. تُعرف الخسارة بـ:
  $$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$$
• خسارة الإكمال (Imputation Loss - $\mathcal{L}_{imp}$): خسارة مساعدة لتدريب شبكة الإكمال $q_\psi$ التي تقرب التوزيع الشرطي للمدخل الكامل نظرًا للرؤية الجزئية.

2. مُقدّر مونت كارلو ذو العينات الاثنين غير المنحاز (Unbiased Two-Sample Monte Carlo Estimator)

إن حساب التوقع الشرطي المباشر $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ أمر مستعصٍ حسابيًا. إن استخدام متوسط مونت كارلو الساذج يؤدي إلى انحياز بسبب التباين. لذا يقترح المؤلفون مُقدّر عينات اثنين غير منحاز:

1. بالنظر إلى رؤية أولية $x_{F_1}$، يتم أخذ عينتين من عمليات التفصيل المستقلة شرطيًا $x^{(a)}_{F_2}$ و $x^{(b)}_{F_2}$ باستخدام المُكمل المتعلم $q_\psi$.
2. يتم حساب التنبؤ الأولي $u = g_\phi(x_{F_1})$ والتنبؤات المفصلة $v_a = g_\phi(x^{(a)}_{F_2})$ و $v_b = g_\phi(x^{(b)}_{F_2})$.
3. المُقدّر هو:
   $$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$$
   يُثبت التحليل النظري (الملحق B.1) أن هذا المُقدّر غير منحاز لخطأ التربيع الخاص بهوية مارتينجال.

3. متغيرات التنفيذ (Implementation Variants)

يتم تجسيد إطار العمل في فضاءين أساسيين:

• فضاء التنبؤ (Prediction-Space): تُطبق عقوبة مارتينجال مباشرة على تنبؤات مخرجات النموذج.
• الفضاء الكامن (Latent-Space): تُطبق العقوبة على التمثيلات الكامنة للمشفر ($z_{F_1}$ مقابل $z_{F_2}$). وهذا مفيد بشكل خاص للبيانات عالية الأبعاد (الصور، التسلسلات الطويلة) حيث يكون فرض الاتساق في فضاء الملاحظة غير عملي.
• أهداف المتوسط المتحرك الأسي (EMA Targets): لتثبيت التدريب، يمكن حساب الأهداف المفصلة ($v_a, v_b$ أو $z_a, z_b$) باستخدام نسخة من الشبكة تعتمد على المتوسط المتحرك الأسي (EMA)، مما يمنع عدم استقرار الهدف المتحرك.

المساهمات الرئيسية

1. تحديد فجوة هيكلية: يحدد البحث أن الـ SSL القياسي يعامل المتنبئات كعائلة من التوقعات الشرطية المفهرسة بمجموعات المعلومات، لكنه يفشل في فرض علاقات الاتساق الضرورية (خاصية مارتينجال) بينها.
2. وصفة تدريب عملية: يقدم المؤلفون طريقة لفرض اتساق مارتينجال دون الحاجة لإعادة تصميم خاص بكل نمط (modality). ويتضمن ذلك عقوبات فضاء التنبؤ والفضاء الكامن، ومُقدّر مونت كارلو ذو العينات الاثنين غير المنحاز القائم على التفصيل العشوائي.
3. التحقق التجريبي: تم تقييم إطار العمل عبر اختبارات السلاسل الزمنية، والبيانات الجدولية، والصور في كل من الإعدادات شبه الموجهة ذاتيًا (مع تسميات) والكاملة التوجيه ذاتيًا (بدون تسميات).

النتائج التجريبية

تم اختبار إطار العمل على مجموعات بيانات اصطناعية وحقيقية بما في ذلك السلاسل الزمنية (UCI HAR, Traffic, Stock)، والبيانات الجدولية (Adult, Bank Marketing)، والصور (CIFAR-10, STL-10).

• المتانة تحت الملاحظة الجزئية: أدى فرض اتساق مارتينجال باستمرار إلى تحسين دقة الاختبار اللاحق (downstream probe accuracy) عندما يتم تقليل كمية المعلومات الملاحظة (مستويات اكتمال منخفضة $c \in \{0.05, 0.2, \dots, 0.8\}$).
  • السلاسل الزمنية: في الإعداد شبه الموجه ذاتيًا، حققت متغيرات مارتينجال أفضل متوسط دقة على جميع مجموعات البيانات السبعة، مع مكاسب نسبية كبيرة (مثل +155.6% على Character Trajectories، و +30.9% على T-SIM-RC).
  • البيانات الجدولية: تفوقت متغيرات مارتينجال على النماذج المرجعية في جميع مجموعات البيانات الجدولية الساكنة الخمس، بمكاسب تصل إلى +34.1% على البيانات الاصطناعية.
  • الصور: في مجموعة CIFAR-10، حسّن متغير مارتينجال الكامن متوسط الدقة من 0.311 إلى 0.383 (بزيادة قدرها +23.2%) مقارنة بالنموذج الأساسي.
• المعايرة (Calibration): أظهرت النماذج المدربة باتساق مارتينجال معايرة أفضل بكثير (خطأ معايرة متوقع أقل وندم في أي وقت "Anytime Regret") تحت الملاحظة الجزئية مقارنة بـ SSL القياسي.
• تقليل الانتهاكات: نجح هدف التدريب في تقليل انتهاكات مارتينجال (الفرق بين التنبؤات الأولية والتوقعات المتوقعة للرؤى المفصلة)، خاصة في أنظمة الاكتمال المنخفض.
• المقارنة مع الثبات (Invariance): على عكس أهداف الاتساق القياسية التي تجبر الرؤى على أن تكون متطابقة (الثبات)، يسمح اتساق مارتينجال للتنبؤات بالتحديث مع ظهور المعلومات مع منع الانحراف المنهجي.

الأهمية والادعاءات

يزعم البحث أن اتساق مارتينجال يوفر منظورًا احتماليًا لنماذج SSL التي يتم نشرها تحت أنماط قناع (masking patterns) أو أطوال سياق متغيرة. ومن خلال فرض الاتفاق في التوقع تحت عملية تفصيل المعلومات، تسمح الطريقة للتنبؤات بالتحديث بشكل طبيعي مع وصول بيانات جديدة مع منع الانحراف المنهجي.

يضع المؤلفون هذا كتحيز استقرائي هيكلي يلتقط المعلومات التي تظل غير مقيدة بواسطة الأهداف القياسية مثل SimCLR أو BYOL. ويشيرون إلى أن هذا مهم بشكل خاص للنماذج التأسيسية (Foundation Models)، التي يتم استعلامها بشكل روتيني تحت أطوال سياق متغيرة وملاحظات غير مكتملة، ومع ذلك لا تفرض الأهداف الحالية صراحةً الاتساق المطلوب لهذا النشر الديناميكي. يوضح العمل أن سد هذه الفجوة يحسن المتانة، والمعايرة، واستقرار التمثيل، مما يوفر طريقة منهجية للتعامل مع أنظمة المعلومات الجزئية في التعلم شبه الموجه ذاتيًا.