💻 computer science

A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures

تقدم هذه الورقة البحثية EB-JEPA، وهي مكتبة مفتوحة المصدر وخفيفة الوزن تتيح تدريبًا فعالًا باستخدام وحدة معالجة رسومية واحدة لبنى التنبؤ بالتمثيل المشترك القائمة على الطاقة (energy-based Joint-Embedding Predictive Architectures) لتعلم تمثيلات ذات معنى دلالي عبر الصور، والفيديوهات، ونماذج العالم المشروطة بالأفعال، كما يتضح من خلال الأداء العالي في مهام CIFAR-10، وMoving MNIST، ومهام الملاحة.

المؤلفون الأصليون: Basile Terver, Randall Balestriero, Megi Dervishi, David Fan, Quentin Garrido, Tushar Nagarajan, Koustuv Sinha, Wancong Zhang, Mike Rabbat, Yann LeCun, Amir Bar

نُشر 2026-04-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Basile Terver, Randall Balestriero, Megi Dervishi, David Fan, Quentin Garrido, Tushar Nagarajan, Koustuv Sinha, Wancong Zhang, Mike Rabbat, Yann LeCun, Amir Bar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة. لديك طريقتان رئيستان للقيام بذلك:

١. نهج "المصور": تخبر الروبوت: "احفظ كل بكسل في المتاهة. إذا رأيت جداراً أحمر، تذكر الدرجة الدقيقة للون الأحمر وملمس الطوب". هذا يشبه محاولة تعلم لغة عبر حفظ شكل كل حرف بدقة. إنه أمر صعب للغاية، ويتطلب دماغاً (كمبيوتراً) ضخماً، وغالباً ما يعلق الروبوت في تفاصيل صغيرة لا تهم (مثل بقعة على الجدار).

٢. نهج "الحكواتي": تخبر الروبوت: "لا تقلق بشأن البكسلات. فقط افهم القصة. إذا كنت في ممر ثم انعطفت يساراً، سأنتهي في غرفة. إذا ضغطت على زر، سيفتح الباب". هذا يتعلق بفهم معنى وقواعد العالم، وليس البيانات الخام.

تقدم هذه الورقة البحثية مجموعة أدوات جديدة وسهلة الاستخدام تسمى EB-JEPA، وهي تُعلم الروبوتات باستخدام نهج "الحكواتي".

إليك تفصيل لما تدور حوله الورقة، باستخدام تشبيهات بسيطة:

١. الفكرة الجوهرية: التنبؤ بـ "الفكرة"، وليس "الصورة"

معظم نماذج الذكاء الاصطناعي الحالية تشبه المصورين. فهي تحاول إعادة إنشاء صورة بكسل ببكسل. إذا أريتها قطة، ستحاول رسم كل شعرة ونمط فراء. هذا مكلف حاسوبياً وغالباً ما يفتقد الجوهر.

EB-JEPA يشبه الحكواتي. فبدلاً من رسم القطة، يتعلم "تمثيلاً ذهنياً" (مفهوماً) للقطة.

كيف يعمل: ينظر إلى صورة قطة، ويحولها إلى مفهوم ذهني (لنسمه "مفهوم-القطة")، ثم يحاول التنبؤ بما سيكون عليه "مفهوم-القطة" في اللحظة التالية.
لماذا هو أفضل: إنه يتجاهل التفاصيل المملة (مثل لون الخلفية) ويركز على الأشياء المهمة (القطة تتحرك لليسار). هذا يوفر الطاقة ويجعل الروبوت أكثر ذكاءً في التخطيط.

٢. المستويات الثلاثة لمجموعة الأدوات

بنى المؤلفون مكتبة تحتوي على ثلاثة مستويات من الصعوبة، صُممت بحيث يمكن لأي شخص يمتلك جهاز كمبيوتر واحداً تشغيلها في غضون ساعات قليلة (دون الحاجة إلى حواسيب فائقة).

المستوى ١: لعبة المرآة (الصور)
تخيل أنك تري الروبوت صورة لكوب، ثم تريه نفس الكوب من زاوية مختلفة قليلاً أو بإضاءة مختلفة. يتعلم الروبوت أن "هذا لا يزال كوباً" رغم التغييرات. إنه يتعلم رؤية جوهر الشيء، وليس مجرد بكسلات محددة.
- النتيجة: يصبح الروبوت جيداً جداً في التعرف على الأشياء (دقة ٩١٪ في اختبار قياسي).
المستوى ٢: متنبئ الأفلام (الفيديو)
الآن، تخيل أن الروبوت يشاهد فيديو لكرة ترتد. هو لا يشاهد فحسب؛ بل يحاول تخمين كيف ستبدو الكرة في الإطار التالي قبل أن يراها.
- الخدعة: توضح الورقة أنه إذا تدرب الروبوت على التنبؤ بـ ٤ أو ٨ خطوات في المستقبل أثناء التدريب، فإنه يصبح أفضل بكثير في فهم كيفية تحرك الأشياء بمرور الوقت، بدلاً من مجرد التخمين للثانية التالية مباشرة.
المستوى ٣: لاعب الشطرنج (الفعل والتخطيط)
هذا هو الجزء الأكبر. الآن الروبوت لا يشاهد فحسب؛ بل يلعب. تخيل روبوتاً في متاهة مع جدران. عليه أن يفكر: "إذا انعطفت يساراً، سأصطدم بجدار. إذا انعطفت يميناً، سأقترب من المخرج".
- يستخدم الروبوت "نموذجه الذهني" لمحاكاة مسارات مختلفة في رأسه. يسأل نفسه: "إذا قمت بهذا الفعل، فماذا سيحدث بعد ذلك؟"
- النتيجة: نجح الروبوت في التنقل في متاهة معقدة بنسبة ٩٧٪ من المرات، حتى عندما كانت الجدران في أماكن عشوائية.

٣. السر الخفي: منع "تجمد الدماغ"

أحد أكبر المشاات التي تواجه تعليم الذكاء الاصطناعي بهذه الطريقة هو "الانهيار" (Collapse). تخيل طالباً، بدلاً من تعلم الإجابات، يكتب "٤٢" في كل أسئلة الاختبار لأنها الإجابة الأسهل. يفعل الذكاء الاصطناعي الشيء نفسه: يتعلم إخراج نفس "المفهوم" الممل وغير المفيد لكل صورة لأن ذلك هو المسار الأقل جهداً.

تقدم الورقة المنظمات (Regularizers) (فكر فيها كـ "مدربي انضباط" أو "مدربي جيم").

مدرب التباين (Variance Trainer): يجبر الذكاء الاصطناعي على استخدام أجزاء مختلفة من دماغه لأشياء مختلفة. يقول له: "لا تكتفِ بإخراج '٤٢'! يجب أن تستخدم كامل حصيلتك اللغوية".
مدرب الديناميكا العكسية (Inverse Dynamics Trainer): يسأل الروبوت: "أرى الكرة تتحرك من هنا إلى هناك. ما هو الفعل الذي قمت به لتجعل ذلك يحدث؟" هذا يجبر الذكاء الاصطناعي على فهم السبب والنتيجة، وليس مجرد المصادفة.

بدون هؤلاء المدربين، يصاب دماغ الروبوت بـ "الانهيار" ويفشل. ومعهم، يتعلم فهماً غنياً ومفيداً للعالم.

٤. لماذا يهم هذا؟

سهولة الوصول: قبل هذا، كان بناء هذه "نماذج العالم" يتطلب فرقاً ضخمة وحواسيب فائقة. تقول هذه الورقة: "إليكم مجموعة قطع ليغو. يمكنك بناء نموذج عالم يعمل على جهاز الكمبيوتر المحمول الخاص بك في فترة ما بعد الظهيرة".
التعليم: يساعد الطلاب والباحثين على فهم كيف تعمل هذه الأنظمة، بدلاً من مجرد معاملتها كصناديق سوداء سحرية.
الكفاءة: من خلال التركيز على "المفاهيم" بدلاً من "البكسلات"، تستهلك هذه الأنظمة طاقة أقل وتكون أفضل في التخطيط للمستقبل.

الخلاصة

EB-JEPA هو دليل إرشادي ومجموعة أدوات سهلة الاستخدام تُعلم الذكاء الاصطناعي التوقف عن كونه "مصوراً" (يحفظ البكسلات) والبدء في كونه "حكواتياً" (يفهم كيف يعمل العالم). إنها تثبت أنك لست بحاجة إلى حاسوب فائق لبناء روبوت يمكنه التخطيط والتنبؤ والتنقل؛ أنت فقط بحاجة إلى الطريقة الصحيحة للتفكير في المشكلة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مكتبة خفيفة الوزن لبنى التنبؤ بالتمثيل المشترك القائمة على الطاقة (EB-JEPA)" المقدمة في مؤتمر ICLR 2026.

1. بيان المشكلة

تعتمد النهج الحالية لبناء الأنظمة الذكية غالبًا على النماذج التوليدية التي تعيد بناء الملاحظات في فضاء البكسل (مثل VideoMAE وMAE). ورغم فعاليتها، تواجه هذه الأساليب تحديات جوهرية:

عدم الكفاءة الحسابية: يجب عليها نمذجة جميع البكسلات، بما في ذلك التفاصيل غير ذات الصلة بالمهمة، مما يتطلب موارد حسابية هائلة.
جودة الميزات: يمكن أن يؤدي التعلم القائم على إعادة البناء إلى إنتاج ميزات غير مفيدة للإدراك والتخطيط.
فجوة الوصول: بينما توفر بنى التنبؤ بالتمثيل المشترك (JEPAs) بديلًا متفوقًا من خلال التنبؤ في فضاء التمثيل بدلاً من فضاء البكسل، فإن التنفيذات الحالية غالبًا ما تكون ضخمة النطاق، موجهة للإنتاج، ويصعب على الباحثين تصفحها أو التجربة بها أو فهمها نظريًا.

هناك نقص في قواعد الأكواد البرمجية سهلة الوصول، والنمطية، والتعليمية التي تسد الفجوة بين المبادئ النظرية لـ JEPA والتطبيق العملي للمهام التي تتراوح من تمثيل الصور إلى نمذجة العالم المشروط بالأفعال.

2. المنهجية: إطار عمل EB-JEPA

قدم المؤلفون EB-JEPA، وهي مكتبة مفتوحة المصدر مبنية على نموذج النموذج القائم على الطاقة (EBM). الهدف الأساسي هو تعلم فضاء تمثيل دلالي كامن حيث يتم تقليل "الطاقة" (الخسارة) للأزواج المتوافقة من المدخلات والمخرجات.

صياغة الطاقة الموحدة

تعرف المكتبة هدف تدريب عام:
$L = L_{pred}(g_\phi(f_\theta(x), q_\omega(a)), z') + \lambda R(z)$
حيث أن:

$f_\theta$ : المشفر (Encoder) الذي يربط المدخلات $x$ بالتمثيلات $z$ .
$g_\phi$ : المتنبئ (Predictor) الذي يربط السياق بالتمثيل المستقبلي.
$q_\omega$ : مشفر أفعال اختياري للشرطية.
$R(z)$ : حد التنظيم (Regularization) لمنع انهيار التمثيل.
$\lambda$ : معامل التوازن.

ينفذ الإطار ثلاثة نماذج تتدرج في التعقيد:

Image-JEPA (ثبات الرؤية): يتنبأ بتمثيل رؤية محولة ( $x'$ ) من الأصل ( $x$ ). الطاقة هي المسافة بين $z$ و $z'$ .
Video-JEPA (التنبؤ الزمني): يتنبأ بتمثيل إطار مستقبلي ( $z_{t+1}$ ) بناءً على سياق من الإطارات الماضية ( $z_{t-v:t}$ ).
Action-Conditioned Video-JEPA (نمذجة العالم): يتنبأ بحالة التمثيل التالية مشروطة بكل من الملاحظات الماضية ومدخلات التحكم (الأفعال). وهذا يتيح التخطيط الموجه نحو الهدف.

استراتيجيات التنظيم

يعد انهيار التمثيل (حيث ينتج النموذج تمثيلات ثابتة وتافهة) تحديًا حرجًا في JEPAs. تنفذ EB-JEPA عائلتين رئيسيتين من التنظيم:

VICReg: يستخدم حدود التباين (لضمان انتشار الميزات) والتباين المشترك (لإزالة الارتباط بين الميزات).
SIGReg: بديل مستند إلى الأسس النظرية يفرض توزيعًا غاوسيًا متماثل المناحي (Isotropic Gaussian) على التضمينات عبر إسقاطات أحادية البعد عشوائية. وجدت الورقة أن SIGReg أكثر استقرارًا وأسهل في الضبط مقارنة بـ VICReg.

آليات التدريب والتخطيط

التنبؤات متعددة الخطوات (Multistep Rollouts): لتقليل "انحياز التعرض" (الفرق بين التدريب القائم على فرض المعلم والاستدلال التكراري)، تستخدم المكتبة خسائر تنبؤ تكرارية مكونة من $k$ خطوة أثناء التدريب.
منظمات إضافية لنماذج العالم: للتعامل مع البيئات العشوائية، تتضمن المكتبة التشابه الزمني (مسارات سلسة) وخسائر نموذج الديناميكا العكسية (IDM) (التنبؤ بالأفعال من انتقالات الحالة) لمنع الارتباطات الزائفة.
التخطيط: تستخدم المكتبة تحسين مسار التكامل لمتوسط المسافة المماسية (MPPI). يتم تأطير التخطيط كالبحث عن تسلسل أفعال يقلل من الطاقة المتراكمة (المسافة بين المسار المتوقع وتمثيل الهدف) عبر أفق زمني.

3. المساهمات الرئيسية

تنفيذ متاح: ثلاثة أمثلة قائمة بذاتها (صور، فيديو، فيديو مشروط بالأفعال) يمكن تدريبها على وحدة معالجة رسومات (GPU) واحدة خلال ساعات قليلة، مما يخفض حاجز الدخول لأبحاث JEPA.
بنية نمطية: مكونات قابلة لإعادة الاستخدام (مشفرات، متنبئات، منظمات، مخططات) تسمح بإعادة التركيب بسهًا لتطبيقات جديدة.
اختبارات استبعاد شاملة: تجارب منهجية توضح ضرورة مكونات محددة، لا سيما دور التنظيم في منع الانهيار.
مورد تعليمي: توثيق وهيكل كود واضح مصمم لتعليم مبادئ التعلم الذاتي القائم على الطاقة ونمذجة العالم.

4. النتائج التجريبية

تم تقييم المكتبة على ثلاث معايير:

تمثيل الصور (CIFAR-10):
- باستخدام هيكل ResNet-18، حقق النموذج دقة 91.02% (الاختبار الخطي) باستخدام SIGReg و 90.12% باستخدام VICReg.
- أظهرت اختبارات الاستبعاد أن استخدام مسقط (Projector) متعلم حسن الدقة بنسبة ~3% مقارنة بالتنظيم المباشر.
- أظهر SIGReg استقرارًا أكبر عبر المعلمات الفائقة مقارنة بـ VICReg.
التنبؤ بالفيديو (Moving MNIST):
- النماذج المدربة باستخدام التنبؤات متعددة الخطوات ( $k=4$ ) تفوقت بشكل كبير على التنبؤات أحادية الخطوة في مهام الكشف اللاحقة (متوسط الدقة).
- أكدت التصورات أن النموذج يحافظ على مسارات حركة متماسكة عبر آفاق زمنية ممتدة.
التخطيط المشروط بالأفعال (بيئة الغرفتين - Two Rooms):
- حقق النموذج نسبة نجاح 97% في مهمة ملاحة غير رتيبة (تتطلب الابتعاد عن الهدف للوصول إليه).
- نتائج الاستبعاد:
  - إزالة IDM أدت إلى انهيار نسبة النجاح إلى 1% (بسبب الارتباطات الزائفة).
  - إزالة حدود التباين أو التباين المشترك قللت النجاح إلى ~46-47%.
  - إزالة التشابه الزمني قللت النجاح إلى ~61%.
  - استخدام التكلفة التراكمية عبر أفق التخطيط تفوق على تكلفة الحالة النهائية بنسبة 8%.

5. الأهمية والتوجهات المستقبلية

الربط بين النظرية والتطبيق: توفر EB-JEPA أول مجموعة أدوات خفيفة ونمطية لاستكشاف الانتقال من تعلم التمثيل الساكن إلى نمذجة العالم الديناميكية دون الحاجة إلى مجموعات حوسبة ضخمة.
التحقق من مبادئ JEPA: تثبت النتائج تجريبيًا أن التنبؤ في فضاء التمثيل مع التنظيم المناسب هو مسار فعال وقابل للتطبيق لتعلم نماذج العالم المناسبة للتخطيط.
الأبحاث المستقبلية: تمهد المكتبة الطريق لاستكشاف:
- نماذج العالم الهرمية: التعلم عند مستويات زمنية متعددة.
- دوال التكلفة المتعلمة: الانتقال من التكاليف القائمة على المسافة إلى دوال القيمة المتعلمة.
- القابلية للتوسع: العمل كأداة للنماذج الأولية السريعة قبل الانتقال إلى أطر التدريب الموزع واسعة النطاق.

في الختنتا، تعمل EB-JEPA على دمقرطة الوصول إلى تقنيات نمذجة العالم المتطورة، وتثبت أن بنى التنبؤ القائمة على الطاقة المعقدة يمكن تدريبها وتحليلها وتطبيقها بفعالية على الأجهزة القياسية.