ملخص تقني: مفارقة الـ JEPA في اللغة

1. بيان المشكلة

حققت بنيات التنبؤ بالتمثيلات المشتركة (J-EPAs) نجاحاً كبيراً في الأنماط المستمرة مثل الصور والفيديو والصوت من خلال تعلم التنبؤ بالتمثيلات المستهدفة في فضاء كامن (latent space) من سياق مقنع. ومع ذلك، لم يصبح هذا النموذج الحتمي للتنبؤ بالتمثيل الكامن معياراً أساسياً لمشفرات النصوص، حيث لا تزال الأهداف التوزيعية (مثل نمذجة اللغة المقنعة - MLM) هي المهيمنة.

تجادل الورقة بأن هذه الفجوة تنبع من عدم تطابق إحصائي جوهري بين التنبؤ بالتمثيل الكامن باستخدام الخطأ التربيعي وبين البنية الشرطية للغة.

• التركيز الشرطي (Conditional Concentration): يعتمد نموذج JEPA على افتراض أن التمثيل المستهدف، في ظل سياق وموقع مستهدف معينين، يقع بالقرب من نقطة واحدة ذات معنى هندسي. وهذا ينطبق على الصور بسبب الاستمرارية المكانية والارتباطات المحلية.
• عدم التطابق مع النص: في اللغة، غالباً ما يسمح سياق واحد بتعدد التكملات المعجمية أو الدلالية الصحيحة. وبناءً عليه، يكون التوزيع الشرطي للرمز (token) المقنع متعدد الأنماط (multimodal). وبالتالي، فإن المتنبئ الذي يستخدم الخطأ التربيعي، والذي يجب أن يخرج متجهاً واحداً، يُجبر على الانحدار نحو مركز الثقل (centroid) لهذه البدائل المتباينة بدلاً من هدف متماسك. وهذا يجبر النموذج إما على مسح الفروق ذات المعنى (مما يؤدي إلى تمثيلات ضعيفة) أو الانهيار في فضاء التمثيل لتقليل الخسارة.

2. المنهجية

صاغ المؤلفون عدم التطابق هذا من خلال ثلاثة شروط ضرورية لتعلم JEPA المفيد، وقاموا بالتحقق من ذلك عبر بناء T-JEPA، وهو نظير نصي لنموذج I-JEPA القائم على الصور (Assran et al., 2023).

الإطار النظري

تفترض الورقة ضرورة استيفاء ثلاثة شروط لكي يعمل التنبؤ الحتمي بالتمثيل الكامن:

1. القابلية للتنبؤ (Predictability): يجب أن يكون للمستهدف إنتروبيا شرطية منخفضة بالنسبة للسياق. (يتحقق هذا عبر السلاسة المكانية في الصور؛ بينما يحده الغموض المعجمي في النصوص).
2. عدم الانهيار (Non-Collapse): يجب أن يجبر الهدف المدخلات المتميزة على احتلال مناطق متميزة في فضاء التمثيل. (يوفر التنوع البصري هذا الضغط؛ بينما تسمح النصوص بانهيار منخفض الرتبة دون عقوبة هندسية).
3. التباين الشرطي المنخفض (Low Conditional Variance): يجب أن يهيمن مكون الخسارة القابل للاختزال على المكون غير القابل للاختزال. (في الصور، يكون عدم اليقين المتبقي هو نسيج محلي؛ أما في النصوص، فتسود التكملات الصحيحة المتعددة في عملية الخسارة).

الإعداد التجريبي

• I-JEPA (خط الأساس): تم تدريبه على 100 ألف صورة من ImageNet-1K باستخدام عمود فقري من نوع ViT-H/16.
• T-JEPA (المقترح): نظير نصي مباشر تم تدريبه على 100 ألف جملة من مجموعة بيانات C4 الإنجليزية باستخدام عمود فقري من نوع BERT-Large.
  • البنية: مشفر السياق (BERT-Large)، مشفر الهدف (BERT-Large يتم تحديثه عبر EMA)، ومتنبئ ترانسفورمر (Transformer predictor).
  • الهدف: تقليل الخطأ التربيعي بين تمثيل السياق المتنبأ به وتمثيل الهدف لمدى (span) مقنع.
  • البروتوكول: جداول تدريب متطابقة (15 حقبة، AdamW، مع تحديد فترة الإحماء والاضمحلال) لضمان قابلية المقارنة. كُررت التجارب عبر خمس بذور بيانات مستقلة لاستبعاد آثار أخذ العينات.

التشخيص

تتتبع الدراسة خمسة مقاييس محددة لتشخيص نمط الفشل:

1. تقريب المعلومات المتبادلة (MI) عبر (InfoNCE).
2. الرتبة الفعلية (Effective rank) لمغايرة التمثيل.
3. تشابه جيب التمام الزوجي (وتشتته).
4. تباعد خسارة التدريب والتحقق.
5. التباين المستهدف الشرطي غير القابل للاختزال (يُقدر عبر K=16 من التكملات المرشحة).

3. النتـائج الرئيسية

تكشف الأدلة التجريبية عن "بصمة فشل زمني" لنموذج T-JEPA لا تظهر في I-JEPA:

1. تشبع القابلية للتنبؤ يسبق الانهيار: يصل تقريب المعلومات المتبادلة (MI) في T-JEPA إلى التشبع مبكراً (يبقى تحت 0.35 نات)، مما يشير إلى أن الهدف المقنع يمكن التنبؤ به بشكل ضعيف من السياق. يحدث هذا بينما لا تزال الرتبة الفعلية غير ضئيلة. في المقابل، يظهر I-JEPA زيادة مطردة في MI.
2. تباعد الخسارة وعدم الاستقرار: تنخفض خسائر التدريب والتحقق في T-JEPA معاً في البداية، ثم تتباعد بشكل كارثي حول الخطوة 9,340. ترتفع خسارة التحقق بينما تصبح خسارة التدريب مضطربة، مما يشير إلى أن المحسن يحفظ الضجيج الخاص بالدفعات (batch-specific noise) بدلاً من تعلم البنية القابلة للتعميم.
3. تدهور الرتبة الفعلية: بعد نقطة عدم الاستقرار، تنهار الرتبة الفعلية للتحقق في T-JEPA (تنخفض إلى ~1.57)، بينما تتضخم رتبة التدريب بشكل اصطناعي. هذا يؤكد أن النموذج يدمج التمايزات بين الأهداف المحتملة لتقليل الخسارة.
4. التباين غير القابل للاختزال: يحافظ T-JEPA على تباين عالٍ غير قابل للاختزال طوال المرحلة المستقرة (مما يعكس الغموض المعجمي). لا ينخفض التباين بشكل حاد إلا بعد الانهيار التمثيلي، ليس بسبب حل الغموض، بل لأن المشفر يضغط جميع التمثيلات في منطقة ضيقة.
5. الفشل في المهام اللاحقة: تعمل تمثيلات T-JEPA بمستوى الصدفة في مهام التصنيف (IMDB, SNLI) وتحقق أداءً صفرياً في مهام الاسترجاع (FEVER, MSMARCO). وهذا يتناقض بشدة مع BERT (MLM) والنماذج المرجعية الأخرى للتعلم الذاتي (Barlow Twins, VICReg, BYOL)، والتي تحتفظ ببنية مفيدة.

4. المساهمات الرئيسية

1. التركيز الشرطي (Conditional Concentration): تقدم الورقة "التركيز الشرطي" كشرط ضروري لكي يؤدي التنبؤ الحتمي بالتمثيل الكامن إلى تمثيلات مفيدة. وتجادل بأن اللغة غالباً ما تفشل في استيفاء هذا الشرط بسبب تعدد الأنماط المتأصل.
2. تدهور مركز الثقل (Centroid Degeneracy): تحدد الورقة "تدهور مركز الثقل" كنمط فشل محدد حيث يجبر التنبؤ بالخطأ التربيعي النموذج على الانحدار نحو مركز ثقل بدائل غير متوافقة، مما يؤدي إلى انهيار التمثيل.
3. التشخيص التجريبي: توفر الدراسة إطاراً تشخيصياً شاملاً (MI، الرتبة، تشابه جيب التمام، التباين) يوضح أن تشبع المعلومات يسبق انهيار التمثيل في نماذج JEPA القائمة على النصوص. وهذا يؤسس لسلسلة سببية حيث تؤدي قلة التركيز الشرطي إلى إضعاف إشارة التنبؤ، مما يخلق ضغطاً نحو الانهيار.

5. الأهمية والادعاءات

تدعي الورقة أن نتائجها لا تستبعد التعلم التمثيلي التنبؤي للغة تماماً، بل تحدد انحيازاً استقرائياً (inductive bias) مفقوداً: يجب أن تحافظ أهداف التنبؤ اللغوي على البنية متعددة الأنماط للتكملات الصحيحة بدلاً من ضغطها في مركز كامن واحد.

يقترح المؤلفون أن التعلم التنبئي الناجح القائم على النصوص يتطلب على الأرجح أهدافاً توزيعية، أو تباينية، أو قائمة على المزيج (mixture-based)، أو دلالية، يمكنها التعامل مع استمرارات متعددة محتملة، بدلاً من الانحدار الحتمي بالخطأ التربيعي المستخدم في JEPA القياسي. يعمل هذا العمل كشرح نظري وتجريبي لسبب عدم تحول JEPA إلى وصفة قياسية لمشفرات النصوص، مقارناً القيود الهندسية للرؤية مع الطبيعة التوليفية (combinatorial) للغة.