🤖 AI

Grounded World Model for Semantically Generalizable Planning

تقترح هذه الورقة نموذج عالم مُرتبط (GWM) يدمج المحاذاة بين الرؤية واللغة في التحكم التنبئي بالنماذج، مما يتيح تعميماً دلالياً متفوقاً بشكل كبير في التخطيط البصري الحركي مقارنة بنماذج الرؤية واللغة والعمل التقليدية، كما يتضح من خلال معدل نجاح بنسبة 87% في اختبار WISER الذي يتضمن إشارات بصرية وتعبيرات مرجعية غير مسبوقة.

المؤلفون الأصليون: Quanyi Li, Lan Feng, Haonan Zhang, Wuyang Li, Letian Wang, Alexandre Alahi, Harold Soh

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Quanyi Li, Lan Feng, Haonan Zhang, Wuyang Li, Letian Wang, Alexandre Alahi, Harold Soh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف ينظف غرفتك. تريد منه أن يلتقط جورباً أحمر معيناً ويضعه في سلة الغسيل.

الطريقة القديمة: المعلم "المعتمد على الصور فقط"

تعمل معظم مخططات الروبوتات الحالية مثل معلم يتحدث بالصور فقط.

الهدف: عليك أن تري الروبوت صورة لـ "الغرفة النظيفة تماماً" (صورة الهدف) قبل أن يبدأ.
المشكلة: ماذا لو بدا شكل الغرفة مختلفاً اليوم؟ ماذا لو كان الجورب أزرق بدلاً من الأحمر؟ أو ماذا لو أردت من الروبوت أن يضع الجورب في سلة مختلفة عن المعتاد؟ سيصاب الروبوت بالارتباك لأنه يعرف فقط كيف يطابق الصورة الدقيقة التي أعطيتها له. الأمر يشبه محاولة التنقل في مدينة باستخدام خريطة لمدينة أخرى؛ إذا بدت الشوارع مختلفة قليلاً، ستضيع.
النتيجة: هذه الروبوتات بارعة في حفظ مهام محددة رأتها من قبل، لكنها تفشل فشلاً ذريعاً عندما تطلب منها القيام بشيء جديد، حتى لو كانت الحركات الأساسية هي نفسها.

الطة الجديدة: "نموذج العالم المرتكز" (GWM)

يقدم هذا البحث نظاماً جديداً يسمى GWM-MPC. فكر في هذا كترقية لمعلم الروبوت من "معلم يعتمد على الصور فقط" إلى "راوٍ ثنائي اللغة" يفهم كل من الصور واللغة الطبيعية.

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

1. "الكرة البلورية" بلغة مشتركة

بدلاً من التنبؤ بالمستقبل عبر بكسلات خام (مثل فيديو ضبابي)، يتنبأ هذا الروبوت بالمستقبل في مساحة لغة مشتركة.

تخيل أن الروبوت لديه "كرة بلورية" لا تريك فيديو، بل تريك وصفاً لما سيحدث بعد ذلك.
إنه يستخدم ذكاءً اصطناعياً فائق الذكاء (Qwen3-VL) يفهم أن الكلمات "التقط الجورب الأحمر" وصورة يد تمسك جورباً أحمر تعيشان في نفس "الحي" داخل دماغه.

2. استراتيجية "جرب لترى" (MPC)

عندما يحتاج الروبوت إلى التحرك، فإنه لا يخمن مساراً واحداً فحسب. بل يلعب لعبة "ماذا لو؟" 12 مرة في عقله:

السيناريو أ: "ماذا لو أمسكت بالكوب الأزرق؟" -> تقول الكرة البلورية: "هذا لا يطابق تعليماتك 'التقط الجورب الأحمر'".
السيناريو ب: "ماذا لو أمسكت بالجورب الأحمر؟" -> تقول الكرة البلورية: "مثالي! هذا يطابق تعليماتك".
السينظر ج: "ماذا لو أسقطت الجورب على الأرض؟" -> تقول الكرة البلورية: "لا، هذا لا يطابق 'ضعه في السلة'".

ثم يختار الروبوت السيناريو الذي يبدو أكثر تشابهاً مع التعليمات التي أعطيتها له باللغة الإنجليزية.

3. "المترجم العالمي" للأفعال

أحد أروع الميزات هو "ترميز الأفعال القائم على التصوير" (RAT).

عادةً، تتحدث ذراع الروبوت (مثل Franka Panda) وذراع روبوت أخرى (مثل xArm6) "لغات" مختلفة من الحركة. لديهما مفاصل وأشكال مختلفة.
يعمل هذا النظام الجديد كـ مترجم عالمي. فهو يأخذ حركات الروبوت ويحولها إلى "صور" (تصويرات) يمكن للذكاء الاصطناعي فهمها.
السحر: لأنه يترجم الحركات إلى صور، يمكنه التعلم على روبوت واحد والعمل فوراً على روبوت مختلف تماماً دون الحاجة لإعادة التعلم. الأمر يشبه تعلم قيادة سيارة سيدان ثم معرفة كيفية قيادة شاحنة فوراً لأنك تفهم مفهوم التوجيه، وليس مجرد الأزرار المحددة.

لماذا يهم هذا (النتائج)

أنشأ الباحثون اختباراً صعباً يسمى WISER (الاستدلال المجسد ذو المعرفة العالمية - World-knowledge Integrated Semantic Embodied Reasoning).

الاختبار: علموا الروبوتات 288 مهمة (مثل "ضع التفاحة على خريطة فرنسا"). ثم اختبروها في 288 مهمة جديدة حيث كانت الأشياء والتعليمات مختلفة تماماً (على سبيل المثال، "ضع الموزة على خريطة إيطاليا")، ولكن الحركة كانت هي نفسها.
الروبوتات القديمة (VLAs): فشلت فشلاً ذريعاً. لقد أنجزت حوالي 22% فقط من المهام الجديدة. لقد حفظت بيانات التدريب لكنها لم تستطع فهم معنى التعليمات الجديدة.
الروبوت الجديد (GWM-MPC): نجح بنسبة 87% من المرات! لقد فهم أن "وضع موزة على خريطة" هو نفس نوع الفعل الخاص بـ "وضع تفاحة على خريطة"، رغم أنه لم يرَ موزة أو إيطاليا من قبل.

الخلاصة

يحل هذا البحث مشكلة رئيسية في الروبوتات وهي: القدرة على التعميم.
الروبوتات الحالية تشبه الببغاوات؛ تكرر ما تسمعه. أما هذا النظام الجديد فهو مثل متدرب ذكي يفهم القصد من وراء كلماتك. يمكنه النظر إلى موقف جديد، وتخيل المستقبل، واختيار أفضل فعل بناءً على ما قلته، وليس فقط ما أريته إياه. إنها قفزة هائلة نحو روبوتات يمكنها حقاً مساعدتنا في منازلنا الفوضوية وغير المتوقعة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Grounded World Model for Semantically Generalizable Planning" (نموذج عالمي مُرتكز للتخطيط القابل للتعميم دلالياً).

1. بيان المشكلة

تتناول الورقة قصوراً حرجاً في نماذج الرؤية واللغة والعمل (VLA) الحالية وأنظمة التحكم التنبئي بالنماذج (MPC) المستخدمة في الروبوتات: وهو الافتقار إلى التعميم الدلالي (Semantic Generalization).

قصور نماذج VLA الحالية: تُبنى معظم نماذج VLA المتطورة حالياً عن طريق الضبط الدقيق لنماذج الرؤية واللغة (VLMs) سابقة التدريب. وبينما تؤدي هذه النماذج بشكل جيد على بيانات التدريب، إلا أنها غالباً ما تفشل في التعميم على مهام تتضمن إشارات بصرية جديدة (مثل ألوان كائنات جديدة) أو تعبيرات مرجعية معقدة. فهي تميل إلى الإفراط في التخصيص (Overfitting) لأنماط جمل محددة أو اختصارات بصرية بدلاً من الفهم الحقيقي لدلالات المهمة.
قصور نماذج العالم الحالية: تتنبأ نماذج العالم التقليدية المستخدمة في MPC (مثل DINO-WM و JEPA-WM) بالحالات المستقبلية في مساحة البكسل أو المساحة الكامنة (Latent Space)، لكنها تعتمد على صور الأهداف (Goal Images) لتقييم المسارات المرشحة.
- الحصول على صورة هدف مسبقاً أمر صعب للمهام الجديدة.
- تعد اللغة الطبيعية واجهة أكثر مرونة وسهولة للبشر من الصور، لكن دمج اللغة مباشرة في آلية التقييم (Scoring) لنماذج العالم الكامنة لم يتم استكشافه بعد.
التحدي الجوهري: كيف يمكن بناء نظام تخطيط يمكنه تنفيذ المهام بناءً على تعليمات باللغة الطبيعية في بيئات غير مرئية، بشرط أن تكون الحركات المطلوبة لحل المهمة قد تم استعراضها سابقاً، دون مطالبة النموذج بإعادة تعلم الفيزياء أو الديناميكيات من الصفر.

2. المنهجية: النموذج العالمي المرتكز (Grounded World Model - GWM)

تقترح المؤلفة GWM، وهو نظام يعمل ضمن مساحة كامنة متوافقة بين الرؤية واللغة لتمكين التعميم الدلالي.

البنية الأساسية

محاذاة النموذج التأسيسي: يستخدم GWM المساحة الكامنة لنموذج استرجاع متعدد الوسائط مدرب مسبقاً، وهو Qwen3-VL-Embedding. يقوم هذا النموذج بتشفير الصور والفيديوهات والنصوص في مساحة تضمين مشتركة حيث يمكن حساب تشابه جيب التمام (Cosine Similarity).
التنبؤ بالمساحة الكامنة: بدلاً من التنبؤ بصور البكسل المستقبلية (وهو أمر مكلف حاسوبياً ومكرر)، يتعلم GWM دالة انتقال $P_\theta$ $P_{θ}$ تتنبأ بـ التضمين الكامن للحالة المستقبلية ( $z_t$ $z_{t}$ ) بناءً على الملاحظة الحالية وتسلسل من الأفعال.
- تظل أوزان النموذج التأسيسي ثابتة (Frozen)، مما يحافظ على معرفته بالعالم وفهمه الدلالي المدرب مسبقاً.
- يتم تدريب دالة الانتقال فقط (وهي Transformer قياسي).
ترميز الفعل القائم على التصيير (Rendering-based Action Tokenization - RAT): لتغذية المحرك (Encoder) الخاص بالرؤية بالأفعال، يقوم النظام بتصيير (Render) مواضع المفاصل المستقبلية للروبوت في صور باستخدام نموذج URDF الخاص بالروبوت ومعاملات الكاميرا. هذا يخلق تمثيلاً موحداً لكل من الملاحظات والأفعال، مما يجعل النظام غير مرتبط بهيكل جسم معين (Embodiment-agnostic) (أي لا توجد معاملات قابلة للتعلم في مشفر الفعل).

سير عمل التخطيط (GWM-MPC)

يتبع النظام حلقة MPC:

اقتراح المسار: يتم استرجاع المسارات المرشحة من مجموعة بيانات التدريب باستخدام نهج أقرب جار (K-Nearest Neighbors) بناءً على مواضع المفاصل الحالية. وهذا يغني عن الحاجة لنموذج منفصل لتوليد الأفعال.
التنبؤ بالمستقبل: لكل مسار مرشح، يتنبأ GWM بالتضمين الكامن للحالة المستقبلية ( $z_t$ ) في المساحة الكامنة.
التقييم الدلالي: يقوم النظام بتشفير تعليمات اللغة الطبيعية ( $\ell$ ) إلى تضمين هدف ( $z_g$ ) باستخدام نفس النموذج التأسيسي.
الاختيار: يتم اختيار المسار الأمثل عن طريق تعظيم تشابه جيب التمام بين التضمين المستقبى المتوقع وتضمين التعليمات:
$a^* = \arg \max_{n} \frac{z_n \cdot z_g}{\|z_n\| \|z_g\|}$
هذا يحول مشكلة التخطيط إلى مهمة استرجاع دلالي: "أي تسلسل من الأفعال يؤدي إلى مستقبل يتوافق بشكل أفضل مع التعليمات النصية؟"

3. المساهمات الرئيسية

النموذج العالمي المرتكز (GWM): بنية مبتكرة تربط تنبؤات نموذج العالم مباشرة بدلالات اللغة الطبيعية في مساحة كامنة ثابتة، متجاوزة الحاجة لصور الأهداف ومتجنبة النسيان الكارثي المرتبط بالضبط الدقيق لنماذج VLM.
ترميز الفعل القائم على التصيير (RAT): طريقة غير مرتبطة بالتدريب وغير مرتبطة بهيكل الجسم لتشفير أفعال الروبوت كصور، مما يسمح بالتعميم الصفري (Zero-shot) عبر هياكل روبوتية مختلفة (مثل الانتقال من Franka Panda إلى xArm6).
معيار WISER: قدم المؤلفون معيار WISER (World-knowledge Integrated Semantic Embodied Reasoning).
- يتكون من 288 مهمة (24 فئة $\times$ 12 مهمة) تتضمن عمليات الالتقاط والوضع.
- التصميم الحاسم: تستخدم مجموعة الاختبار إشارات بصرية غير مرئية (ألوان المكعبات) وتعبيرات مرجعية غير مرئية (أوصاف مكانية) مقارنة بمجموعة التدريب، بينما تظل الحركات المطلوبة متطابقة. هذا يختبر بدقة التعميم الدلالي بدلاً من تعلم الحركة.
الأدلة التجريبية على قصور VLAs: تثبت الورقة أن نماذج VLA المتطورة (مثل $\pi_0$ و InstructVLA و GR00T) تفشل في التعميم على WISER، حيث تحقق نسبة نجاح ~22% فقط في مهام الاختبار رغم تحقيقها 90% في مهام التدريب، مما يثبت اعتمادها على الحفظ بدلاً من الفهم الدلالي.

4. النتائج التجريبية

أُجريت التجارب على معيار WISER باستخدام روبوت Franka Panda (واختبارات عبر الهياكل على xArm6).

المقياس	نماذج VLA التقليدية (المتوسط)	GWM-MPC
نجاح مجموعة التدريب	~90%	92%
نجاح مجموعة الاختبار	22%	87%
التعميم الصفري عبر الهياكل	غير متاح	83% (على xArm6)

التعميم الدلالي: حقق GWM-MPC نسبة نجاح 87% في مجموعة الاختبار مع إشارات بصرية وتعبيرات مرجعية جديدة. في المقابل، انخفض أداء أفضل نموذج VLA (وهو InstructVLA) إلى 47%، وانخفضت نماذج أخرى مثل $\pi_0$ إلى 8%.
التعميم عبر الهياكل: باستخدام RAT، نجح GWM-MPC المدرب على بيانات Panda في التحكم في روبوت xArm6 بهيكل ومساحة أفعال مختلفة، محققاً نسبة نجاح 83% في مهام الاختبار دون إعادة تدريب.
الكفاءة: تطلب تدريب GWM حوالي 20 ساعة من وحدة معالجة الرسومات فقط (مقارنة بمئات الساعات لنماذج VLA). وبينما يكون الاستدلال أبطأ بسبب عمليات التمرير المتعددة لـ GWM (N=12)، إلا أن النظام يتميز بكفاءة عالية في استخدام البيانات.
دراسات الاستئصال (Ablation Studies):
- إزالة نموذج العالم (MPC بدون GWM) خفض الأداء إلى الاختيار العشوائي (~8% نجاح).
- استخدام مشفر فعل قابل للتعلم (GWM-MPC-AC) بدلاً من RAT أدى إلى انخفاض كبير في التعميم، مما أكد فائدة RAT.
- أداء النظام محدود بالنموذج التأسسي (Qwen3-VL-Embedding)، مما يشير إلى أن التحسينات المستقبلية تكمن في تطوير نماذج تأسيسية أفضل.

5. الأهمية والخاتمة

يحدث هذا العمل تحولاً جذرياً في نموذج بناء المخططات الروبوتية:

الفصل بين الدلالات والديناميكيات: بدلاً من إجبار نموذج VLM على تعلم كل من ديناميكيات العالم وفهم اللغة في آن واحد (مما يؤدي للنسيان)، يقوم GWM بفصل هذه المهام. فهو يستفيد من المعرفة الدلالية القوية والثابتة للنموذج التأسسي ويتعلم فقط ديناميكيات الانتقال المحددة المطلوبة للروبوت.
اللغة كهدف: يثبت العمل أن اللغة الطبيعية يمكن أن تحل محل صور الأهداف بفعالية في تخطيط نماذج العالم، مما يتيح تحكماً أكثر مرونة وتفاعلية في الروبوتات.
القوة أمام الحداثة: تثبت النتائج أنه بالنسبة للمهام التي تكون فيها الحركة معروفة ولكن السياق (الأشياء، الأوصاف) جديداً، فإن النهج القائم على الاسترجام والمستند إلى نموذج تأسيسي قوي يتفوق على نماذج VLA التي تم ضبطها بدقة (End-to-end).

تخلص الورقة إلى أن G-GWM-MPC يقدم بديلاً واعداً وفعالاً من حيث البيانات للنهج الحالي لنماذج VLA، لا سيما في مهام المناولة الروبوتية ذات العالم المفتوح.