ملخص تقني: متى تتعلم LeJEPA نموذج عالم؟

بيان المشكلة

تتناول الورقة فجوة جوهرية في التعلم الخاضع للإشراف الذاتي (SSL): بينما أظهرت بنى التضمين المشترك التنبؤية (JEPAs) نجاحاً تجريبياً في تعلم التمثيلات للرؤية، والفيديو، والتخطيط، إلا أنه لا يوجد ضمان نظري بأن هذه التمثيلات تشكل "نموذج عالم" (World Model). وتحديداً، يظل من غير الواضح تحت أي ظروف يمكن للتمثيل المتعلم أن يستعيد بصدق البنية الكامنة للعالم (مثل الموقع، السرعة، اللون) بدلاً من تشابك هذه العوامل مع بعضها البعض.

إن التمثيل الذي يخلط درجات الحرية الحقيقية (على سبيل المثال، خلط موقع كائن ما بلونه) قد يؤدي أداءً جيداً في مهام ضيقة، ولكنه يفشل عندما يتغير العالم أو عند استخدامه في التعميم التركيبي. السؤال الجوهري هو: متى يستعيد التمثيل المتعلم المتغيرات الكامنة خطياً؟ يعرّف المؤلفون هذه الخاصية بأنها القابلية للتعرف الخطي (linear identifiability)، وهي شرط ضرما لعملية السبر الخطي الموثوقة والتخطيط الأمثل في الفضاء الكامن.

المنهجية والإطار النظري

نموذج العالم

يصيغ المؤلفون "العالم" كنظام ذي متغيرات كامنة $z \in \mathbb{R}^n$ غير مرصودة. يتم توليد البيانات المرصودة $x$ بواسطة دالة خلط $g$ مجهولة، وربما تكون غير خطية للغاية، بحيث $x = g(z)$. تتضمن عملية التعلم أزواجاً إيجابية $(z, z')$ ناتجة عن عملية مستقرة ذات ضوضاء مضافة ومستقلة.

تركز الورقة على فئة محددة من العوالم حيث:

1. الاستقلال: المتغيرات الكامنة وانتقالاتها مستقلة عبر الأبعاد.
2. الاستقرار: يظل التوزيع الهامشي للمتغيرات الكامنة ثابتاً بين المشاهدات.
3. الضوضاء المضافة: تتبع الانتقالات الصيغة $z' = m(z) + \eta$، حيث $\eta$ هي ضوضاء مستقلة.

من الضروري ملاحظة أن المؤلفين يخصصون هذه الفئة لتكون العالم الغاوسي (Gaussian World)، حيث $z \sim \mathcal{N}(0, I_n)$. وتحت هذه الافتراضات، تقابل ديناميكيات الانتقال عملية أورنشتين-أولينبك (OU): $z' = \rho z + \sqrt{1-\rho^2}\eta$.

المتعلم: LeJEPA

بنية التعلم هي LeJEPA (LeCun's JEPA)، والتي تدرب مشفراً $f$ لإنتاج تضمينات $h(z) = f(g(z))$ عن طريق تقليل دالة خسارة تتكون من حدين:

1. خسارة المحاذاة (Alignment Loss): تقلل المسافة بين تضمينات الأزواج الإيجابية، $E[\|h(z') - h(z)\|^2]$. وهذا يشجع التمثيل على التقاط الميزات البطيئة والقابلة للتنبؤ.
2. التنظيم المتماثل الغاوسي المخطط (SIGReg): يعمل صراحة على تنظيم توزيع التضمين ليكون توزيعاً غاوسياً متماثلاً، $h(z) \sim \mathcal{N}(0, I_n)$، مما يمنع انهيار التمثيل.

مشكلة التحسين هي:
$$\min_h E[\|h(z') - h(z)\|^2] \quad \text{s.t.} \quad h(z) \sim \mathcal{N}(0, I_n)$$

النهج النظري

يستخدم المؤلفون التحليل الطيفي لمؤثر الانتقال $T$، المعرف بـ $(Th)(z) = E[h(z')|z]$.

• توسيع هيرميت (Hermite Expansion): بالنسبة للكمونات الغاوسية، فإن الدوال الذاتية لمؤثر الانتقال هي متعددات حدود هيرميت. تتلاشى القيم الذاتية هندسياً كـ $\rho^d$، حيث $d$ هي درجة متعدد الحدود.
• العقوبة الطيفية: تعاقب خسارة المحاذاة المكونات ذات الدرجة الأعلى (غير الخطية) بشكل أكبر من المكونات الخطية لأنها تفقد الارتباط بشكل أسرع تحت تأثير الانتقال.
• نظرية ستورم-ليوفيل (Sturm-Liouville Theory): بالنسبة للتوزيعات العامة (غير الغاوسية)، يتم توصيف الدوال الذاتية بواسطة نظرية ستورم-ليوفيل. أول دالة ذاتية غير ثابتة هي دائماً رتيبة، ولكن الخطية مضمونة فقط إذا كان التوزيع غاوسياً.

المساهمات الرئيسية

1. الاتجاه الأمامي: القابلية للتعرف الخطي للعوالم الغاوسية

يثبت النظرية 1 أنه إذا كانت المتغيرات الكامنة غاوسية وكان الانتقال عبارة عن عملية OU، فإن أي مُقلل لدالة LeJEPA (مع مراعاة القيود الغاوسية) يجب أن يكون تحويلاً خطياً متعامداً للمتغيرات الكامنة الحقيقية: $h(z) = Qz$ حيث $Q$ مصفوفة متعامدة.

• الآلية: يعتمد الإثبات على التفكيك الطيفي حيث يقلل أي عنصر غير خطي الارتباط بين الأزواج الإيجابية بشكل صارم. وبما أن خسارة المحاذاة تسعى لتعظيم هذا الارتباط، فإن الحل الأمثل العالمي يفرض أن يكون التمثيل خطياً بحتًا (متعددات حدود هيرميت من الدرجة الأولى).
• النتيجة: يستعيد التمثيل المتعلم المتغيرات الكامنة حتى دوران عالمي، ويتم استعادة ديناميكيات الانتقال بدقة في الفضاء الكامن.

2. الاتجاه العكسي: تفرد التوزيع الغاوسي

تثبت النظرية 2 أن التوزيع الغاوسي هو التوزيع الكامن الوحيد الذي تتحقق فيه القابلية للتعرف الخطي في هذه الفئة من العوالم.

• الآلية: باستخدام نظرية ستورم-ليوفيل، يوضح المؤلفون أن اشتراط أن تكون أول دالة ذاتية لمؤثر الانتقال خطية (affine) يفرض أن تكون دالة "الدرجة" (score function) للتوزيع الكامن خطية. هذا الشرط يميز التوزيع الغاوسي بشكل فريد.
• الاستنتاج: إذا كانت المتغيرات الكامنة غير غاوسية، فلا يمكن لـ LeJEPA ضمان القابلية للتعرف الخطي؛ وسيكون التمثيل المتعلم بالضرورة تحويلاً غير خطي للمتغيرات الكامنة.

3. القابلية التقريبية للتعرف

تقدم النظرية 3 حداً كمياً لخطأ الاستعادة عندما تكون الأهداف محققة بشكل تقريبي فقط (أي محاذاة غير كاملة وتبييض غير كامل).

• يتناسب الخطأ بسلاسة مع فجوة المحاذاة $\delta$ وخطأ التبييض $\epsilon$.
• يوضح الحد أن فجوة المحاذاة هي العامل المهيمن في خطأ الاستعادة، بينما يعتبر التبييض التقريبي "مجاني" التحقيق نسبياً.

4. التخطيط الكامن الأمثل

تربط النظرية 4 القابلية للتعرف الخطي بنظرية التحكم. وتثبت أنه إذا كان المشفر قابلاً للتعرف خطياً ($h(z) = Qz$)، فإن أي مسألة تحكم أمثل ذات تكاليف ثابتة تحت التحويلات المتعامدة (مثل المسافة الإقليدية إلى هدف ما) يمكن حلها بشكل أمثل في الفضاء الكامن المتعلم. وتتحول الإجراءات المثلى ودوال القيمة في الفضاء الكامن مباشرة إلى العالم الحقيقي، دون الحاجة لتعديل دالة التكلفة.

النتائج التجريبية

يتحقق المؤلفون من نظريتهم عبر عدة إعدادات تجريبية:

1. محاكاة ثنائية الأبعاد: باستخدام وظائف خلط غير خطية متنوعة (spiral, shear, RealNVP)، نجحت LeJEPA في استعادة المتغيرات الكامنة حتى الدوران عندما كانت المتغيرات غاوسية، مما أكد النظرية 1.
2. القياس عالي الأبعاد: أظهرت التجارب حتى $N=1024$ بُعداً أن المنظمات الإحصائية للدفعة (SIGReg, VICReg) تحافظ على قابلية تعرف خطي شبه مثالية ($R^2 > 0.999$)، بينما تتدهور الطرق التباينية (InfoNCE) عند التوسع بسبب عدم تطابق عرض النواة (kernel width).
3. الاستبعاد التوزيعي: أظهر مسح شكل التوزيع الكامن (من التوزيع ذي الذيول الثقيلة إلى التوزيع المنتظم) أن الاستعادة الخطية تصل لذروتها بحدة عند التوزيع الغاوسي ($\alpha=2$) وتتدهور للتوزيعات غير الغاوسية، مما يؤكد النظرية 2.
4. التحكم الروبوتي القائم على البكسل: يستخدم المؤلفون مجموعة DeepMind Control Suite Reacher، حيث يقارنون التدريب على انتقالات غاوسية اصطناعية (OU) مقابل مسارات RL الحقيقية.
   • شرط OU: يحقق قابلية تعرف خطي عالية ($R^2 \approx 0.95$).
   • شرط المسار (Trajectory): تؤدي سياسات العالم الحقيقي إلى توزيعات هامشية غير غاوسية وغير متماثلة، مما يؤدي إلى قابلية تعرف أقل بكثير ($R^2 < 0.5$).
5. التحقق من التخطيط: في مهمة Reacher، يؤدي الاستكمال الخطي في الفضاء الكامن لـ المشفر المدرب على OU إلى مسارات تقترب من الخط المستقيم في فضاء المفاصل (تخطيط أمثل). في المقابل، ينتج المشفر المدرب على المسارات (trajectory) مسارات منحنية وغير مثالية، مما يؤكد النظرية 4.

الأهمية والادعاءات

تدعي الورقة تقديم أول نتيجة للقابلية للتعرف (identifiability) لنماذج JEPA، محولةً وصفة ناجحة تجريبياً إلى ضمان رياضي.

• ضمان تأسيسي: يثبت هذا العمل أن LeJEPA تستعيد بوضوح بنية العالم (المتغيرات الكامنة والديناميكيات) تحت شروط محددة بدقة (متغيرات كامنة غاوسية، ضوضاء مضافة مستقرة).
• دور الغاوسية: تقلب الورقة سردية ICA التقليدية. في ICA الخطي، التوزيع الغاوسي هو التوزيع الذي يفشل فيه فصل المصادر. في هذا السياق غير الخطي والخاضع للإشراف الذاتي، التوزيع الغاوسي هو التوزيع الوحيد الذي يتيح القابلية للتعرف الخطي.
• الآثار العملية: توضح النظرية لماذا تعتبر استراتيجيات الاستكشاف التي تقرب من السير العشوائي المتماثل (Isotropic Random Walks) - والتي تبقي البيانات في النطاق الغاوسي - حاسمة لتعلم نماذج عالم مفيدة، بينما قد تكسر السياسات الموجهة نحو الهدف (Goal-directed policies) - التي تضغط البيانات في مناطق منخفضة الإنتروبي - القابلية للتعرف.
• أساس التخطيط: من خلال إثبات أن القابلية للتعرف الخطي تمكن من التخطيط الأمثل مع تكاليف ثابتة تحت الدوران، توفر الورقة تبريراً نظرياً لاستخدام الفضاءات الكامنة المتعلمة للتحكم دون الحاجة للعودة إلى الإحداثيات الفيزيائية الحقيقية.

يشير المؤلفون إلى القيود: تفترض النظرية أن بُعد المشفر يطابق بُعد المتغيرات الكامنة وتعتمد على المثالية على مستوى المجتمع (population-level). ومع ذلك، يظهرون أن الضمانات تتدهور بسلاسة مع العينات المحدودة وأخطاء التحسين، كما قاموا بالتحقق رسمياً من جميع النظريات الرئيسية باستخدام مثبت النظريات Lean 4.