SJEPA: Learning Elegant Latent Dynamics with Hybrid Symbolic-Neural Predictors

=== ملخص تقني: SJEPA – تعلم الديناميكيات الكامنة الأنيقة باستخدام المتنبئات الرمزية-العصبية الهجينة

1. صياغة المشكلة

تتعلم بنيات التنبؤ بالتمثيل المشترك (JEPAs) حالات مجردة من خلال التنبؤ بالتمثيلات المستهدفة من التمثيلات السياقية، مما يفصل الدلالات التنبؤية عن التباين على مستوى البكسل. ومع ذلك، تستخدم نماذج JEPA القياسية عادةً نماذج انتقال عصبية غامضة؛ ورغم دقتها، إلا أنها لا تكشف عن المتغيرات التي تتفاعل، أو كيف تغير الأفعال المستقبل، أو ما إذا كانت الإحداثيات المتعلمة تدعم وصفًا ديناميكيًا موجزًا.

تعالج الورقة فجوة محددة: هل يمكن لـ JEPA أن يتعلم ليس فقط الحالات التنبؤية، بل أيضًا ديناميكيات "أنيقة" فوق تلك الحالات؟ هنا، يتم تعريف "الأنيقة" إجرائيًا بأنها قانون مدمج ومقتصد يظل كافيًا للتنبؤ. التحدي يكمثل في إيجاد أبسط قانون حاكم كافٍ لوصف حالة تنبؤية معلوماتية دون تقليص التمثيل (مسح المعلومات لجعل الانتقال تافهًا) أو عدم ملاءمة الديناميكيات.

2. المنهجية: إطار عمل SJEPA

يقدم المؤلف الـ JEPA الرمزي (SJEPA)، وهو إطار عمل خالٍ من إعادة البناء يقوم بتفكيك عامل الانتقال الكامن إلى مزيج من قانون حاكم رمزي وتصحيح عصبي مُنظم.

2.1 بنية المتنبئ الهجين

بإعطاء تمثيل سياقي $Z_C$ ومعلومات جانبية $\epsilon$ (مثل الفعل، أو إزاحة زمنية)، يتم التنبؤ بالتمثيل المستهدف $\hat{Z}_T$ بواسطة:
$$\hat{Z}_T = F_{E,\alpha}(Z_C, \epsilon) + c_\phi(Z_C, \epsilon)$$

• القانون الرمزي ($F_{E,\alpha}$): تعبير مدمج ببنيه $E$ (من قواعد حسابية، أو متعددة الحدود، أو متسامية، أو بدائيات خاصة بالمجال) ومعاملات $\alpha$. هذا يلتقط الديناميكيات المهيمنة والقابلة لإعادة الاستخدام.
• التصحيح العصبي ($c_\phi$): شبكة عصبية تصحح الآثار التي لا يستطيع القواعد الرمزية المختارة التعبير عنها بشكل كافٍ (مثل الاحتكاك، التفاعلات غير المحلولة، أو أخطاء التقريب).

2.2 ضغط العامل المقيد

المبدأ الأساسي هو ضغط العامل المقيد. الهدف هو تقليل تعقيد عامل الانتقال مع ضمان بقاء التمثيل معلوماتيًا وغير منهار.

تتم صياغة مشكلة التحسين كالتالي:
$$\min_{\theta, \bar{\theta}, E, \alpha, \phi} \Omega(E) + \lambda_c R_{corr}(\phi)$$
$$\text{subject to } L_{pred}(\theta, \bar{\theta}, E, \alpha, \phi) \le \delta_{pred}, \quad (\theta, \bar{\theta}) \in \Theta_{repr}$$

• الهدف: تقليل التعقيد الرمزي $\Omega(E)$ والاعتماد على التصحيح $R_{corr}(\phi)$.
• قيد التنبؤ ($L_{pred} \le \delta_{pred}$): يمنع عدم ملاءمة النموذج؛ يجب أن يكون النموذج دقيقًا بما يكفي.
• قيد التمثيل ($\Theta_{repr}$): يمنع المشفر من تقليص الحالة إلى متجه ثابت لجعل الانتقال تافهًا. يتم فرض ذلك عبر منظمات (مثل تنظيم حفظ التباين بأسلوب VICReg) لضمان بقاء الحالة معلوماتية وغير منهارة.

2.3 استراتيجيات التعلم

يدعم إطار العمل نمطين:

1. التعلم التناوبي من النهاية إلى النهاية: يحسن المشفر (التمثيل) والديناميكيات الرمزية/العصبية بشكل مشترك. العملية تتناوب بين:
   • البحث عن الديناميكيات: تثبيت المشفرات لإيجاد أبسط قانون رمزي للإحداثيات الحالية.
   • البحث عن الفضاء: تثبيت البنية الرمزية لتحديث المشفرات بحيث يدعم التمثيل انتقالًا أبسط.
2. تعلم المشفر المجمد: يستخدم مشفرًا مدربًا مسبقًا (مثل ViT، DINO، I-JEPA) ويتعلم فقط القانون الرمي والتصحيح، مما يعمل كتشخيص لما إذا كانت التمثيلات الموجودة تكشف عن ديناميكيات مدمجة.

2.4 الامتداد البايزي

تقترح الورقة صياغة بايزية حيث يتم وضع عدم اليقين على البنية الرمزية، والمعاملات، وتصحيح العملية الغاوسية (GP). يسمما النموذج على الاحتفاظ بتفسيرات متعددة متنافسة عندما تكون البيانات غير كافية لتحديد قانون واحد بشكل حاسم.

3. الرؤى النظرية الرئيسية

• عدم تحديد الإحداثيات التنبؤية: الإحداثيات التنبؤية ليست فريدة؛ أي تحويل قابل للعكس للفضاء الكامن يحافظ على دقة التنبؤ. ومع ذلك، فإن التعقيد الرمزي لقانون الانتقال يتفاوت عبر أنظمة الإحداثيات. يعمل ضغط العامل كتحيز استقرائي لاختيار الإحداثيات حيث يكون الانتقال أبسط.
• اختصار الانهيار: بدون قيود التمثيل الصريحة، يؤدي تقليل تعقيد العامل إلى اختصار مباشر نحو انهيار التمثيل. يمكن للمشفر رسم جميع الملاحظات إلى متجه ثابت $z_0$، مما يسمح لمحدد (predictor) الهوية بتحقيق خطأ صفري مع تعقيد صفري. قيود التمثيل ضرورية لمنع هذا الانهيار.
• التحكم في التخصيص: التفكيك بين المكونات الرمزية والعصبية ليس محددًا بواسطة خسارة التنبؤ وحدها. يلزم وجود تنظيم على حد التصحيح ($R_{corr}$) لمنع المكون العصبي من امتصاص الديناميكيات التي يمكن للقواعد الرمزية تمثيلها، مما يضمن احتفاظ القانون الرمزي بالآلية المهيمنة.

4. النتائج التجريبية

يتحقق المؤلف من إطار العمل باستخدام تجارب البندول المتحكم بها.

التجربة 1: تعلم الإحداثيات والمعادلة المشترك

• الإعداد: نظام بندول ذو ملاحظات عالية الأبعاد وضوضائية. تمت مقارنة Neural JEPA، والانحدار الرمزي البعدي (الملاءمة للرموز لإحداثيات Neural JEPA المجمدة)، وSJEPA (التعلم المشترك).
• النتائج:
  • البساطة: قلل SJEPA المشترك متوسط التعقيد الرمزي بمعامل ~5.6 مقارنة بالملاءمة البعدية (من 26.0 إلى 4.67).
  • الدقة: حقق SJEPA خطأ أقل بكثير في محاكاة الحالة الفيزيائية وتباعد خارج التوزيع (OOD) مقارنة بالانحدار الرمزي البعدي، رغم أن Neural JEPA المرن ظل الأكثر دقة في التنبؤ الخام.
  • التحقق من الانهيار: أدت عملية تشخيصية غير مقيدة بخطوة واحدة (إزالة قيود التمثيل) إلى تمثيلات شبه ثابتة وحقل متجه صفري، مما أكد اختصار الانهيار النظري.

التجربة 2: الديناميكيات الهجينة تحت سوء توصيف القواعد

• الإعداد: تضمنت الديناميكيات الحقيقية سحبًا تربيعيًا ($p|p|$)، لكن القواعد الرمزية تم تقييدها عمدًا لاستبعاد هذا الحد.
• النتائج:
  • أثر التنظيم: مع تنظيم التصحيح، احتفظ المكون الرمزي بالحدود القابلة للتمثيل (مثل $\sin(q)$)، وركز التصحيح العصبي على السحب المتبقي. كانت نسبة طاقة التصحيح المعيارية منخفضة (0.06).
  • بدون تنظيم: سمح النموذج الهجين غير المنظم للتصحيح العصبي بامتصاص الديناميكيات القابلة للتمثيل، مما أدى إلى تقليص المعاملات الرمزية وزيادة نسبة طاقة التصحيح إلى 0.55.
  • الاستنتاج: نجح التنظيم في التحكم في التخصيص، مما حافظ على الآلية الرمزية للديناميكيات القابلة للتمثيل بينما استخدم المكون العصبي للمتبقيات.

5. الأهمية والادعاءات

تدعي الورقة أن SJEPA يوفر اتجاهًا مكملاً ضمن عائلة JEPA، متميزًا عن المتنبئات العصبية المرنة أو الملاءمة الرمزية البعدية.

• مقايضة قابلة للتحكم: لا يدعي SJEPA التفوق العالمي في دقة التنبؤ الخام على الشبكات العصبية المرنة. بدلاً من ذلك، يقدم مقايضة قابلة للتحكم بين دقة التنبؤ، وجودة التمثيل، والتبسيط الرمزي، والتخصيص الرمزي-العصبي.
• الديناميكيات الأنيقة: يوضح أن ضغط العامل يمكن أن يختار إحداثيات تنبؤية تكون ديناميكياتها المستحثة بسيطة ولكنها كافية، بشرط أن تمنع قيود التمثيل الانهيار.
• القابلية للتفسير: تقدم النماذج الناتجة قوانين حاكمة مدمجة وقابلة للفحص (مثل الاقتران المتبادل الشبيه بالمذبذب) والتي يمكن تفريقها، وخطيتها، واستخدامها للتخطيط، على عكس المتنبئات العصبية الغامضة.
• النمطية: إطار العمل نمطي، يدعم التعلم التناوبي، والمشفرات المجمدة، واليقين البايزي، والتحكم المشروط بالأفعال.

يبقى المؤلف متواضعًا، مشيرًا إلى أن التجارب هي تشخيصات محكومة لنظام محدد (البندول)، وأن التعميم على البيانات البصرية عالية الأبعاد، ومجموعات البيانات العلمية من الواقع، ومهام التحكم المعقدة يظل عملاً مستقبليًا. المساهمة الأساسية هي صياغة "تعلم أبسط الديناميكيات الكافية" كمسألة تحسين مقيدة توازن بين ضغط العامل وسلامة التمثيل.