Sub-JEPA: Subspace Gaussian Regularization for Stable End-to-End World Models

الصورة الكبيرة: تعليم الروبوت تخيل المستقبل

تخيل أنك تعلم روبوتاً كيفية التنقل في متاهة. بدلاً من إظهار كل طوبة في الجدار وكل ذرة غبار على الأرض للروبوت (وهو ما يمثل كمية هائلة من البيانات)، تريد منه أن يتعلم "خريطة ذهنية". هذه الخريطة هي ملخص مبسط لمكانه وإلى أين يتجه.

في عالم الذكاء الاصطناعي، تسمى هذه الخريطة الذهنية نموذج العالم (World Model). ويحظى نوع معين من النماذج يسمى JEPA بشعبية كبيرة لأنه فعال: فهو يتنبأ بشكل الخريطة الذهنية التالية بناءً على الخريطة الحالية وفعل معين (مثل "انعطف يساراً").

المشكلة: المعلم "شديد الصرامة"

تحدد الورقة البحثية مشكلة رئيسية في كيفية تدريب هذه النماذج حالياً.

تخيل الخريطة الذهنية للروبوت كطالب يؤدي اختباراً. لضمان عدم غش الطالب أو استسلامه (وهي مشكلة تسمى "الانهيار" أو collapse، حيث يكتب الطالب نفس الإجابة لكل الأسئلة)، يفرض المعلم قاعدة: "يجب أن تكون إجاباتك موزعة بالتساوي وبشكل مثالي، مثل دائرة من النقاط المثالية."

هذا ما فعله الأسلوب السابق، LeWorldModel (LeWM). فقد أجبر الخريطة الذهنية للروبوت على أن تبدو كـسحابة بيانات منتظمة ومثالية في مساحة ضخمة وعالية الأبعاد.

العيب:
يرى المؤلفون أن هذه القاعدة صارمة للغاية بالنسبة للعديد من المهام الواقعية.

• التشبيه: تخيل لاعب السير على الحبال. حركته معقدة، لكنها تحدث غالباً على طول خط واحد رفيع (الحبل). إذا أجبرت لاعب السير على التحرك في كرة ثلاثية الأبعاد مثالية حول الحبل، فأنت تقيد حركته الطبيعية؛ أنت تجبره على التحرك في اتجاهات لا يحتاج لاستخدامها.
• من الناحية التقنية، تقول الورقة إن المهام الواقعية غالباً ما تعيش على "متشعبات منخفضة الأبعاد" (مسارات بسيطة) داخل "مساحة عالية الأبعاد" (غرفة ضخمة وفارغة). إجبار البيانات على ملء الغرفة بأكملة بالتساوي يخلق انحيازاً سيئاً يضر بالأداء.

الحل: Sub-JEPA (نهج "الفضاء الفرعي")

يقترح المؤلفون Sub-JEPA. فبدلاً من إجبار الخريطة الذهنية للروبوت على أن تكون كرة مثالية في الغرفة الضخمة بأكملها، يقومون بتقسيم الغرفة إلى العديد من "الغرف الفرعية" الأصغر والعشوائية (فضاءات فرعية).

كيف يعمل:

1. تقطيع البيانات: تخيل أنك تأخذ الخريطة الذهنية للروبوت وتقطعها إلى العديد من المشاهد العشوائية ثنائية أو ثلاثية الأبعاد (مثل النظر إلى منحوتة من زوايا مختلفة).
2. فحص الشرائح: في كل من هذه الشرائح الصغيرة، يتحقق النموذج مما إذا كانت البيانات تبدو كمنحنى جرس (توزيع غاوسي) جميل ومنتظم.
3. النتيجة: لا يتعين على النموذج أن يكون كرة مثالية في الغرفة الكبيرة، بل يكفي أن يبدو "جيداً ومنتظماً" في هذه الشرائح العشوائية الصغيرة.

الفائدة:
هذا يشبه قولك للاعب السير على الحبال: "ليس عليك ملء الغرفة ثلاثية الأبعاد بأكملها. فقط تأكد من أنك تبدو متوازناً إذا نظرنا إليك من الجانب، وتبدو متوازناً إذا نظرنا إليك من الأمام".

• هذا يحافظ على شبكة الأمان (منع الروبوت من الانهيار في إجابة مملة ومتكررة).
• لكنه يمنح الروبوت الحرية للتحرك بشكل طبيعي على طول المسار الفعلي للمهمة، بدلاً من محاربة قاعدة اصطناعية مفرطة الصرامة.

ما أظهرته التجارب

اختبر الباحثون هذا النهج في أربع مهام تحكم تشبه ألعاب الفيديو (مثل ذراع روبوت تدفع كتلة أو طائرة بدون طيار تطير عبر غرف).

1. أداء أفضل: تفوق Sub-JEPA باستمرار على الأسلوب القديم (LeWM). لقد تعلم الروبوت التخطيط والتحرك بشكل أفضل.
2. الارتباط بـ "الرتبة" (Rank): قاموا بقياس مدى "تعقيد" الخريطة الذهنية للروبوت. ووجدوا أنه عندما سمح النهج الجديد للخريطة بأن تصبح أبسط (أكثر إحكاماً، وتناسب المهمة الفعلية بشكل أفضل)، أصبح الروبوت أكثر ذكاءً. الأسلوب القديم أجبر الخريطة على أن تكون معقدة دون داعٍ.
3. مسارات أكثر سلاسة: عندما رسموا الرحلة الذهنية للروبوت، أنتج النهج الجديد خطوطاً أكثر استقامة وسلاسة. أما الأسلوب القديم فجعل أفكار الروبوت تتذبذب وتنجرف بمرور الوقت.
4. الاستقرار طويل الأمد: عند طلب تخيل تسلسل طويل من الحركات المستقبلية دون النظر إلى العالم الحقيقي، ظل النهج الجديد دقيقاً لفترة أطول. أما الأسلوب القديم فقد بدأ في الهلوسة والانحراف عن المسار.

الملخص

Sub-JEPA هو إصلاح بسيط لمشكلة معقدة. فهو يدرك أن إجبار نماذج الذكاء الاصطناعي على أن تكون "منتظمة تماماً" في مساحة مجردة ضخمة هو أمر مقيد للغاية في كثير من الأحيان. ومن خلال التحقق من النظام في العديد من الشرائح العشوائية الأصغر من تلك المساحة، فإنه يسمح للذكاء الاصطناعي بتعلم فهم للعالم أكثر طبيعية وكفاءة واستقراراً.

إنه الفرق بين إجبار سمكة على السباحة في مكعب مثالي (الأسلوب القديم) مقابل تركها تسبح بشكل طبيعي في الماء، طالما أنها تبدو متوازنة عند النظر إليها من أي زاوية (الأسلوب الجديد).