🤖 AI

Policy-Guided World Model Planning for Language-Conditioned Visual Navigation

تقدم الورقة البحثية PiJEPA، وهو إطار عمل ثنائي المراحل يعزز الملاحة البصرية المشروطة باللغة عبر استخدام سياسة مضبوطة بدقة لبدء التخطيط بنموذج MPPI فوق نموذج عالم JEPA، مما يحقق دقة فائقة في الوصول إلى الهدف وإخلاصاً أعلى في اتباع التعليمات مقارنة بالطرق الحالية.

المؤلفون الأصليون: Amirhosein Chahe, Lifeng Zhou

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amirhosein Chahe, Lifeng Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يسير عبر منزل للعثور على شيء محدد، مثل "الكوب الأحمر الموجود على طاولة المطبخ"، بناءً على أمر صوتي. هذه مهمة صعبة لأن الروبوت يجب أن يرى ما أمامه، ويفهم الكلمات، ويحدد أفضل مسار للمضي قدماً دون الاصطدام بالجدران أو الضياع.

تقدم هذه الورقة البحثية نظاماً جديداً يسمى PiJEPA (التخطيط القائم على سياسة توجيه JEPA) والذي يحل هذه المشكلة من خلال العمل كأنه فريق من خبيرين يعملان معاً: سائق غريزي سريع وملاح استراتيجي.

إليك كيف يعمل هذا النظام، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: نهجان معيبان

قبل PiJEPA، كانت الروبوتات تحاول عادةً اتباع إحدى طريقتين، وكلتاهما تعانيان من نقاط ضعف كبيرة:

"السائق الغريزي السريع" (السياسة التفاعلية):
فكر في الأمر كأنك تتحدث عن سائق تاكسي بارع في الانعطافات السريعة والاستجابة لإشارات المرور في اللحظة الحالية. إذا قلت له "انعطف يساراً"، سيفعل ذلك فوراً. ومع ذلك، إذا طلبت منه القيادة لمسافة 20 ميلاً إلى عنوان محدد، فقد يضيع لأنه لا يفكر في الرحلة بأكملها، بل يفكر فقط في الثانية القادمة. إنه يفتقر إلى "الرؤية بعيدة المدى".
"الملاح الاستراتيجي" (نموذج العالم للتخطيط):
هذا يشبه نظام GPS يقوم بمحاكاة آلاف المسارات الممكنة في ذهنه قبل أن تبدأ الحركة حتى. هو بارع في التخطيط للرحلة الطويلة. لكن لديه عيب رئيسي: فهو لا يعرف أين يبدأ بالبحث. تخيل أنك تطلب من نظام GPS العثور على مقهى، لكنه يبدأ بالتخمين العشوائي لكل شارع في المدينة. إنه يضيع الكثير من الوقت في تخمين مسارات خاطئة لدرجة أنه قد لا يجد المقهى قبل أن تنفد البطارية.

2. الحل: PiJEPA (التعاون المثالي)

يجمع PiJEPA بين هذين الأسلوبين في فريق خارق. فهو يستخدم السائق السريع ليعطي الملاح الاستراتيجي "بداية قوية".

إليك العملية خطوة بخطوة باستخدام التشبيه:

الخطوة 1: "البداية الدافئة" (السائق الغريزي)

أولاً، يستمع الروبوت إلى أمرك ("اذهب إلى الدرج") وينظر إلى الغرفة. ثم يسأل سائقه الغريزي السريع (ذكاء اصطناعي مدرب مسبقاً يسمى Octo) عن نصيحته.

السائق لا يختار مجرد حركة عشوائية واحدة؛ بل يقول: "بناءً على ما أراه، هناك احتمال بنسبة 90% أن تكون أفضل حركة أولى هي التحرك للأمام وإلى اليسار قليلاً".
إنه يعطي الملاح "قائمة قصيرة" من الاتجاهات الواعدة.

الخطوة 2: "المحاكاة الاستراتيجية" (الملاح)

الآن، يأخذ الملاح الاستراتيجي (نموذج العالم) تلك القائمة القصيرة. بدلاً من إضاعة الوقت في تخمين اتجاهات عشوائية (مثل "الرجوع للخلف نحو الجدار")، فإنه يحاكي فقط المسارات التي تبدأ باقتراحات السائق.

يقوم بإجراء محاكاة ذهنية: "إذا ذهبت للأمام واليسار، كيف ستبدو الغرفة بعد 5 ثوانٍ؟ هل سأصطدم بالدرج؟"
ولأنه بدأ بتخمين جيد، يمكنه بسرعة تحسين المسار ليكون مثالياً، بدلاً من البحث في كامل الكون من الاحتمالات.

الخطوة 3: التنفيذ

يتخذ الروبوت الخطوة الأولى من هذا المسار المحسن والمثالي، ثم يتحرك للأمام، ويعيد العملية برمتها للخطوة التالية.

3. السر الخفي: "العيون المجمدة"

تذكر الورقة البحثية أيضاً استخدام "عيون" خاصة (مشفرات رؤية) للروبوت. لقد اختبروا نوعين:

DINOv2: مثل كاميرا عالية الدقة مذهلة في رصد الأشكال والأشياء في صورة واحدة.
V-JEPA-2: مثل كاميرا فيديو تفهم كيف تتحرك الأشياء بمرور الوقت.

وجد الباحثون أنه بينما كانت الكاميرا التي تفهم الحركة (V-JEPA-2) أفضل في فهم تدفق الحركة، إلا أن الفريق عمل بشكل أفضل عندما يستخدم "السائق" و"الملاح" نفس نوع العيون. هذا يضمن أنهما يتحدثان نفس اللغة حول ما يريانه.

4. لماذا يهم هذا؟

أظهرت النتائج أن نهج العمل الجماعي هذا كان أفضل بكماً من استخدام أي من الخبيرين بمفرده.

الدقة: وصل الروبوت إلى هدفه في كثير من الأحيان أكثر.
السرعة: لم يضع وقته في تخمين مسارات خاطئة.
الموثوقية: حتى عندما كانت التعليمات غامضة (مثل "اتبع المبنى" في حين توجد ثلاثة مبانٍ)، ساعد تخمين "السائق" الأولي "الملاح" على تجنب التعثر تماماً.

الخلا الخلاصة

PiJEPA يشبه توظيف دليل محلي (السياسة) يعرف الحي جيداً ليوجهك في الاتجاه الصحيح، ثم توظيف مخطط رحلات (نموذج العالم) لرسم المسار المثالي والخالي من العوائق من تلك النقطة. ومن خلال السماح للدليل المحلي بإعطاء المخطط "بداية دافئة"، يتنقل الروبوت بشكل أسرع، وأذكى، وبأخطاء أقل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التخطيط الموجه بالسياسة لنموذج العالم القائم على اللغة للملاحة البصرية" (PiJEPA).

1. بيان المشكلة

تتناول الورقة تحدي الملاحة البصرية المتجسدة حيث يجب على العميل التنقل للوصول إلى هدف محدد بواسطة صورة وتعليمة باللغة الطبيعية (مثل "تحرك نحو السلالم").

القيود الحالية:
- السياسات التفاعلية (مثل Octo، NoMaD): تتفوق هذه النماذج من نوع (Vision-Language-Action - VLA) في التحكم قصير المدى واتباع التعليمات، لكنها تفتقر إلى التفكير طويل المدى. فهي تتنبأ بالأفعال بشكل جشع (greedy) في تمريرة أمامية واحدة، مما يؤدي غالباً إلى الفشل في مراعاة العواقب طويلة المدى أو تجنب النهايات الصغرى المحلية (local minima) في البيئات المعقدة.
- التخطيط بنموذج العالم (مثل JEPA-WM): تتنبأ هذه النماذج بالحالات المستقبلية في فضاء كامن (latent space) لتمكين التخطيط الصريح. ومع ذلك، فإن المحسنات القائمة على أخذ العينات (مثل MPPI أو CEM) المستخدمة مع هذه النماذج غالباً ما تعاني من بطء التقارب والوقوع في النهايات الصغرى المحلية لأنها تبدأ عملية البحث من توزيع غاوسي غير مدرك (uninformed Gaussian prior) فوق فضاءات أفعال عالية الأبعاد.

2. المنهجية: إطار عمل PiJEPA

يقترح المؤلفون PiJEPA، وهو إطار عمل ثنائي المراحل يربط بين السياسات التفاعلية والتخطيط بنموذج العالم الكامن. الرؤية الجوهرية هي استخدام سياسة (VLA) مضبوطة بدقة لتوفين أولوية أفعال مدركة (informed action prior) تعمل على "بدء دافئ" (warm-start) لمخطط نموذج العالم، بدلاً من البحث في فضاء الأفعال بأكره من الصفر.

يتكون خط الإنتاج من ثلاثة مكونات رئيسية:

أ. مشفر الرؤية المشترك

يعمل كل من السياسة ونموذج العالم بناءً على مشفر رؤية مدرب مسبقاً ومجمد ( $E_\phi$ ). تقيم الورقة خلفيتين (backbones):

DINOv2: مشفر صور ذاتي الإشراف (ViT-S) قوي في التجزئة المكانية وتجزئة الأشياء.
V-JEPA-2: مشفر فيديو ذاتي الإشراف (ViT-L) يلتقط الديناميكيات الزمنية.
ملاحظة: تظل أوزان المشفر مجمدة لضمان وجود فضاء تمثيل كامن متسق لكلا المكونين.

ب. المرحلة الأولى: توليد أولوية السياسة

تأخذ سياسة مبنية على Octo ومضبوطة بدقة ( $\pi_\theta$ ) المدخلات المتمثلة في الملاحظة الحالية ( $o_t$ ) والتعليمات اللغوية ( $\ell$ ).

تقوم بتوليد $N_\pi$ من عينات كتل الأفعال (action chunks) عبر رأس الانتشار (diffusion head) الخاص بها.
يتم تحويل هذه الأفعال من الإطار العالمي للسياسة إلى إطار الجسم المحلي لنموذج العالم.
يقوم النظام بحساب المتوسط التجريبي ( $\mu_\pi$ ) والانحراف المعياري ( $\sigma_\pi$ ) لهذه العينات. يعمل هذا التوزيع بمثابة بدء دافئ (warm-start initialization) للمخطط.

ج. المرحلة الثانية: التخطيط بـ MPPI الموجه بالسياسة

يتنبأ نموذج العالم JEPA ( $P_\psi$ ) بالحالات الكامنة المستقبلية ( $\hat{z}_{t+1}$ ) بناءً على الحالة الكامنة الحالية والأفعال المرشحة.

هدف التخطيط: تقليل المسافة الإقليدية في الفضاء الكامن بين الحالة المستقبلية المتوقعة ( $\hat{z}_{t+H}$ ) وصورة الهدف المشفرة ( $z_g$ ).
خوارزمية MPPI: يتم تهيئة محسن (Model Predictive Path-Integral - MPPI) بالتوزيع المستمد من السياسة $(\mu_\pi, \sigma_\pi)$ $(μ_{π}, σ_{π})$ بدلاً من توزيع غاوسي عام.
- يقوم الخوارزمي بشكل تكراري بأخذ عينات من تسلسلات الأفعال، ويقوم بتشغيلها عبر نموذج العالم، ويحدث توزيع أخذ العينات بناءً على المسارات "النخبوية" (تلك التي تمتلك أقل تكلفة).
- تؤثر التعليمات اللغوية فقط على العملية عبر أولوية السياسة الأولية؛ حيث يظل نموذج العالم نفسه مستقلاً عن اللغة، ويركز بحت على الديناميكيات البصرية-الحركية.

3. المساهمات الرئيسية

إطار عمل موحد: يقدم PiJEPA، الذي يجمع بفعالية بين الفهم الدلالي لسياسة (VLA) مضبوطة بدقة وبين التفكير طويل المدى لنموذج عالم JEPA.
تحليل منهجي للمشفرات: يوفر مقارنة شاملة بين التمثيلات المعتمدة على الصور (DINOv2) والمعتمدة على الفيديو (V-JEPA-2) لكل من تعلم السياسة ونمذجة العالم، مع تحليل كيفية تأثير الميزات الزمنية على الملاحة.
التحقق من الأداء: يثبت أن التخطيط الموجه بالسياسة يتفوق بشكل كبير على السياسات التفاعلية المستقلة وتخطيط نموذج العالم غير المدرك في مهام الملاحة الواقعية، وتحديداً في تحسين دقة الوصول إلى الهدف ودقة اتباع التعليمات.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات CAST (مجموعة بيانات ملاحة بصرية واسعة النطاق مع تعليمات مضادة للواقع).

المقاييس: خطأ المسار المطلق (ATE) وخطأ الوضع النسبي (RPE) للموقع (XY) والاتجاه.
النتائج الرئيسية:
- PiJEza مقابل النماذج المرجعية: حقق PiJEPA أفضل دقة في الموقع عبر كلا تكويني المشفر.
  - مع V-JEPA-2، حقق PiJEPA أدنى قيمة لـ ATE XY RMSE (1.65 متر) والخطأ النهائي (2.88 متر)، متفوقاً على سياسة Octo التفاعلية (3.02 متر للخطأ النهائي) وMPPI غير المدرك (3.29 متر للخطأ النهائي).
- دور المكونات:
  - السياسة التفاعلية: تتفوق في التحكم المحلي وتوقع الاتجاه (RPE منخفض).
  - تقييم نموذج العالم (Octo-WM): إن تصفية مقترحات السياسة عبر نموذج العالم دون تحسين تكراري يلتقط جزءاً كبيراً من الفائدة، لكن عملية صقل MPPI الكاملة تعطي أفضل اتساق للمسار.
  - MPPI غير المدرك: يعاني في تحديد الموقع (ATE مرتفع) ولكنه يؤدي بشكل جيد بشكل مفاجئ في تحديد الاتجاه، مما يشير إلى أن هدف التضمين (embedding) ينظم التوجه ضمنياً حتى عندما يفشل الانتقال.
- مقارنة المشفرات: قدم V-JEPA-2 (مشفر الفيديو) عموماً أداءً أقوى من DINOv2، ويرجع ذلك على الأرجال إلى الديناميكيات الزمنية الأكثر ثراءً. ومع ذلك، عانى MPPI غير المدرك أكثر مع V-JEPA-2، مما يسلط الض الضوء على الحاجة الماسة لأولوية السياسة عندما يكون الفضاء الكامن معقداً.
- الكفاءة: تضيف مرحلة تخطيط MPPI تأخيراً ضئيلاً (~~0.35 ثانية) مقارنة بأخذ عينات الانتشار للسياسة (~~2.13 ثانية)، مما يجعل النهج عملياً للنشر في الوقت الفعلي.

5. الأهمية والعمل المستقبلي

الأهمية: يحل PiJEPA مشكلة "البدء البارد" في تخطيط نموذج العالم. من خلال الاستفادة من السياسة لتضييق فضاء البحث إلى المناطق الواعدة، فإنه يمكّن التخطيط طويل المدى بكفاءة دون الحاجة إلى جعل نموذج العالم مشروطاً باللغة (وهو أمر يصعب تدريبه). إنه يفصل بفعالية بين التأسيس الدلالي (السياسة) ومحاكاة الديناميكيات (نموذج العالم).
القيود والتوجهات المستقبلية:
- الركود: في حالات الفشل مع التعليمات الغامضة (مثل "اتبع المبنى")، يمكن لنموذج العالم أن يعلق في التنبؤ بحالات كامنة ثابتة بغض النظر عن الأفعال، مما يؤدي لفشل المخطط.
- العمل المستقبلي: يقترح المؤلفون تحسين بنيات الديناميكيات لمنع الركود، وإدخال تكاليف نقاط المسار الوسيطة، واستكشاف فضاءات أفعال أغنى، وتنفيذ آليات إعادة التخطيط في الحلقة المغلقة.

باختصار، يمثل PiJEPA خطوة مهمة للأمام في الذكاء الاصطناعي المتجسد من خلال إثبات أن البنى الهجينة — التي تجمع بين سرعة السياسات التفاعلية وبعد نظر نماذج العالم الكامنة — تتفوق على أي من النهجين عند استخدامهما بشكل منفصل.