💻 computer science

Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning

تقدم هذه الورقة إطار عمل للتعلم التعزيزي لما بعد التدريب يعمل على تثبيت عمليات التوليد الذاتي متعددة الخطوات في نماذج العالم الروبوتية المشروطة بالأفعال، وذلك عبر تكييف أهداف التباين، وتوظيف مقارنات للمرشحين ذات أطوال متغيرة، واستخدام مكافآت الدقة البصرية متعددة المنظور، مما يحقق جودة تنبؤ رائدة في مجموعة بيانات DROID.

المؤلفون الأصليون: Jai Bardhan, Patrik Drozdik, Josef Sivic, Vladimir Petrik

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jai Bardhan, Patrik Drozdik, Josef Sivic, Vladimir Petrik

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "نماذج عالم الروبوت المستمرة: تثبيت عمليات التنبؤ متعددة الخطوات عبر التعلم المعزز" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: لعبة "الهمس" للروبوتات

تخيل أنك تلعب لعبة "الهاتف المكسور" (أو الهمس). شخص يهمس برسالة للآخر، الذي يهمس بها لمن يليه، وهكذا. وبحلول الوقت الذي تصل فيه الرسالة إلى النهاية، تكون عادةً مجرد كلام غير مفهوم.

الآن، تخيل روبوتاً يحاول أن "يحلم" بالمستقبل. هو يرى وعاءً على طاولة ويحاول التنبؤ بما سيحدث إذا قام بدفعه.

الخطوة 1: يتنبأ الروبوت بأن الوعاء سيتحرك قليلاً. (جيد!)
الخطوة 2: للتنبؤ بالثانية التالية، يجب على الروبوت استخدام تنبؤه الخاص من الخطوة 1 كنقطة انطلاق.
الخطوة 3: يتنبأ بالثانية التالية بناءً على الخطوة 1 غير المثالية قليلاً.

في نماذج الروبوت التقليدية، هذا يعتبر كارثة. لأن الروبوت يبني مستقبله فوق أخطائه الصغيرة، وتتراكم هذه الأخطاء مثل كرة ثلج تتدحرج من فوق تلة. في غض_ن ثوانٍ معدودة، يصبح "حلم" الروبوت بالمستقبل عبارة عن هلوسة: الوعاء يتحول إلى كتلة ذائبة، أو ذراع الروبوت تختفي، أو الطاولة تتحول إلى مستنقع.

يُسمى هذا "انحياز التعرض" (Exposure Bias). لقد تم تدريب الروبوت على فيديوهات حقيقية مثالية (المعلم)، ولكن عندما يتعين عليه العمل بمفرده (الطالب)، فإنه يفشل لأنه لم يسبق له رؤية أخطائه الخاصة من قبل.

الحل: "PersistWorld" (التصحيح الذاتي للروبوت)

ابتكر المؤلفون طريقة جديدة تسمى PersistWorld. بدلاً من مجرد تعليم الروبوت نسخ الفيديوهات المثالية، علموه كيفية إصلاح أحلامه السيئة. فعلوا ذلك باستخدام التعلم المعزز (RL)، وهو يشبه تدريب كلب باستخدام المكافآت.

إليك كيف فعلوا ذلك، مقسماً إلى أربع خطوات بسيطة:

1. لعبة "ماذا لو؟" (التعلم المعزز التبايني)

تخيل أنك فنان تحاول رسم مشهد لغروب الشمس.

الطريقة القديمة: تنظر إلى صورة لغروب الشمس وتحاول تقليدها بدقة.
الطالطريقة الجديدة (PersistWorld): ترسم مشهد الغروب بنفسك. ثم ترسمه مرة أخرى، ولكن هذه المرة تحاول جعله مختلفاً قليلاً. تعرض اللوحتين على حكم.
- إذا كانت اللوحة (أ) تبدو أفضل من اللوحة (ب)، فإن الحكم يعطيك "مكافأة" على اللوحة (أ) ويقول لك: "لا تفعل ذلك في اللوحة (ب)".
- يقوم الروبوت بهذا آلاف المرات. هو يولد احتمالات مستقبلية متعددة، ويقارن بينها، ويتعلم: "عندما أرتكب خطأً، أحتاج إلى التوجيه نحو النسخة التي تبدو أكثر واقعية".

2. بروتوكول "المسارات المتفرعة"

في ألعاب الفيديو، أحياناً تصل إلى مفترق طرق. يمكنك الذهما لليسار أو لليمين.

يبدأ الروبوت بمقطع فيديو حقيقي (المسار المشترك).
ثم يوقف الزمن ويخلق 16 نسخة مختلفة لما سيحدث بعد ذلك (الأفرع).
يتحقق من جميع الأفرع الـ 16 مقابل العالم الحقيقي. بعض الأفرع قد تظهر الروبوت وهو يسقط الكوب؛ وأخرى تظهره وهو يمسكه.
يتعلم الروبوت تفضيل الأفرع التي تبدو حقيقية ومعاقبة تلك التي تبدو غريبة. هذا يعلمه أن يكون متسقاً، حتى عندما يبني تنبؤاته بناءً على تخميناته السابقة.

3. بطاقة تقييم "متعددة العيون"

كيف تعرف ما إذا كان حلم الروبوت جيداً؟ لا يمكنك النظر إلى صورة واحدة فقط؛ بل تحتاج لرؤية المشهد بأكمله.

يمتلك الروبوت ثلاث "عيون" (كاميرات): اثنتان تنظران من الجانب وواحدة على معصم الروبوت.
يعمل نظام التدريب كناقد فني صارم. يتحقق من حلم الروبوت مقابل الواقع باستخدام ثلاث قواعد:
1. هل يبدو كصورة حقيقية؟ (دقة البكسل)
2. هل الهيكل متماسك؟ (هل لا يزال الوعاء وعاءً، أم أصبح كتلة غريبة؟)
3. هل يبدو منطقياً؟ (التشابه الإدراكي)
إذا نجح الروبوت في ضبط رؤية المعصم لكنه أخطأ في الرؤية الجانبية، فإنه لا يزال يتلقى عقوبة. هذا يجبر الروبوت على أن يكون متسقاً من جميع الزوايا.

4. النتيجة: روبوت لا ينسى

النتيجة هي روبوت يمكنه "الحلم" لفترة طويلة دون أن يفقد عقله.

قبل PersistWorld: إذا طلبت من الروبوت التنبؤ بـ 10 ثوانٍ من عملية صب الماء، فإن الكوب سيتحول إلى بركة سائلة من البكسلات بعد ثانيتين.
بعد PersistWorld: يتنبأ الروبوت بـ 10 ثوانٍ، ويظل الكوب كوباً، والماء يبقى سائلاً، وذراع الروبوت تظل متصلة بجسمه.

لماذا هذا مهم؟

فكر في نموذج عالم الروبوت كأنه محاكي طيران.

إذا كان المحاكي مليئاً بالأخطاء التقنية بحيث تتحول الطائرة إلى مكعب بعد 5 ثوانٍ، فلن يتمكن الطيارون (أو أنظمة الذكاء الاصطناي) من تعلم الطيران.
PersistWorld يصلح المحاكي. إنه يجعل العالم الافتراضي مستقراً وموثوقاً. وهذا يسمح للمهندسين بتدريب الروبوتات في الكمبيوتر أولاً، مع اليقين بأن ما يتعلمونه هناك سيعمل بالفعل في العالم الحقيقي.

باختأختصار

تعلم الورقة البحثية الروبوتات التوقف عن نسخ الفيديوهات المثالية والبدء في التدرب على أخطائها الخاصة. من خلال استخدام طريقة "المقارنة والاختيار"، يتعلم الروبوت الحفاظ على استقرار تنبؤاته، مما يمنع "الهلوسات" التي تحدث عادةً عندما تحاول الروبوتات التنبؤ بالمستقبل. إنها تحول الروبوت من كائن ينسى الواقع بعد ثوانٍ قليلة إلى كائن يمكنه "الاستمرار" في خياله لفترات أطول بكثير.

إليك ملخص تقني مفصل لورقة البحث "Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning" (التي تقدم نموذج PersistWorld).

1. بيان المشكلة: فجوة الحلقة المغلقة (The Closed-Loop Gap)

تتفوق نماذج العالم الروبوتية (World Models) المشروطة بالأفعال، والتي تعتمد عادةً على نماذج الانتشار بالفيديو (Video Diffusion)، في توليد مقاطع فيديو عالية الدقة وقصيرة المدى بناءً على تاريخ من الإطارات والأفعال الروبوتية. ومع ذلك، فإنها تعاني من نمط فشل حرج عند استخدامها في عمليات التوليد التكراري طويل المدى (Long-horizon autoregressive rollouts) (محاكاة المهام عبر ثوانٍ أو دقائق).

انحياز التعرض (Exposure Bias): أثناء التدريب، يتم استخدام "التلقين بالمعلم" (Teacher-forcing)، حيث تتنبأ النماذج بالإطارات المستقبلية بناءً على تاريخ "حقيقي" (Ground-truth). أما أثناء الاستدلال (التشغيل)، فيتعين عليها التكيّف مع مخرجاتها السابقة (غير المثالية) التي تم توليدها ذاتياً.
تراكم الأخطاء (Error Compounding): تؤدي الأخطاء المكانية أو الزمنية الصغيرة في المقطع المولد مبكراً إلى إفساد ذاكرة التاريخ الكامنة (Latent history buffer). وتؤدي هذه الذاكرة الفاسدة إلى تكييف خطوة التوليد التالية بأخطاء متزايدة، مما يؤدي إلى حلقة تغذية راجعة سريعة.
العواقب: في غضون ثوانٍ، ينهار الفيديو المولد؛ حيث تفقد الأشياء هويتها الهيكلية (على سبيل المثال، يتحول وعاء إلى كتلة غير محددة المعالم)، وتنزاح أطراف الروبوت عن مساراتها المأمورة، وتنهار تكوينات المشهد. وهذا يجعل نماذج العالم الحالية غير موثوقة لمحاكاة المهام المعقدة طويلة المدى.

2. المنهجية: التدريب اللاحق بالتعلم التعزيزي لنماذج الانتشار

يقترح المؤلفون PersistWorld، وهو إطار عمل للتدريب اللاحق باستخدام التعلم التعزيزي (RL post-training) يعمل على تحسين نموذج العالم مباشرة على عمليات التوليد التكراري الخاصة به، مما يسد فعلياً الفجوة بين توزيع التدريب والتوزيع عند الاختبار.

أ. هدف التعلم التعزيزي التبايني (المكيف لـ $x_0$ -Prediction)

يعد التعلم التعزيزي القياسي لنماذج الانتشار أمراً صعباً لأن نماذج الانتشار لا توفر احتمالات (Likelihoods)، كما أن الانتشار العكسي (Backpropagation) عبر عملية إزالة الضجيج الكاملة مكلف للغاية. قام المؤلفون بتكييف نهج DiffusionNFT (التدريب الدقيق القائم على التباين السلبي)، المصمم أصلاً لنماذج مطابقة التدفق (Flow-matching) التي تتنبأ بالسرعة، ليتناسب مع معلمة التنبؤ بـ $x_0$ ( $x_0$ -prediction parameterization) المستخدمة في نموذجهم الأساسي (Ctrl-World/SVD).

الآلية: بدلاً من تقدير الاحتمالات، تقوم الطريقة بتوليد مجموعة من المخرات المرشحة، وتقييمها، وتحديث النموذج عبر خسارة تباينية (Contrastive loss).
دالة الخسارة (The Loss Function):
لتكن $\hat{x}_{0,\theta}$ $\overset{x}{^}_{0, θ}$ هي تنبؤ النموذج الحالي و $\hat{x}_{0}^{old}$ $\overset{x}{^}_{0}^{o l d}$ هي نسخة مرجعية مجمدة (نسخة EMA). لكل مرشح بوزن مكافأة طبيعي $r \in [0,1]$ $r \in [0, 1]$ :
1. الفرع الإيجابي: $\hat{x}_{0}^+ = (1-\beta)\hat{x}_{0}^{old} + \beta\hat{x}_{0,\theta}$ (يتجه نحو النموذج الحالي).
2. الفرع السلبي: $\hat{x}_{0}^- = (1+\beta)\hat{x}_{0}^{old} - \beta\hat{x}_{0,\theta}$ (يتجه بعيداً عن النموذج الحالي).
3. الهدف: تقليل $L = \mathbb{E}[r \|\hat{x}_{0}^+ - x_0\|^2 + (1-r) \|\hat{x}_{0}^- - x_0\|^2]$ .
- إذا كانت $r$ عالية (جودة عالية)، يتم تعزيز النموذج للتحرك في اتجاهه الحالي.
- إذا كانت $r$ منخفضة (جودة سيئة)، يتم معاقبة النموذج ودفع التنبؤ بعيداً عن اتجاهه الحالي.
الضمان النظري: يثبت المؤلفون أنه بالنسبة لشبكات التنبؤ بـ $x_0$ ، فإن الخريطة الأفينية (Affine mapping) تضمن بقاء ضمانات التقارب لنظرية التعلم التعزيزي التبايني الأصلية قائمة تماماً، دون الحاجة إلى مصطلحات تصحيح تعتمد على $\sigma$ .

ب. بروتوكول التدريب: التفرع متغير الطول (Variable-Length Branching)

بما أن الفيديو التكراري يفتقر إلى "أمر نصي" ثابت (على عكس تحويل النص إلى صورة)، صمم المؤلفون بروتوكولاً خاصاً لإنشاء مجموعات مرشحة قابلة للمقارنة:

البادئة المشتركة (S1): توليد بادئة تاريخ مشتركة بطول عشوائي $P$ (يتم أخذ عينة من $0 $إلى$ 9$ خطوات) بشكل تكراري من بداية حقيقية. هذا يحاكي درجات تراكم الخطأ المتفاوتة الموجودة في وقت الاختبار.
التفرع (S2): من الحالة "المجمدة" لهذه البادئة، يتم توليد $K=16$ استمرارية مستقلة ومرشحة.
التقييم والتصنيف (S3): تقييم المرشحين مقابل الحقيقة الأرضية (Ground Truth) باستخدام مكافآت متعددة الرؤى. يتم تطبيع المكافآت داخل المجموعة (Z-score) للتركيز على الجودة النسبية بدلاً من المقياس المطلق.
التحديث (S4): تطبيق الخسارة التباينية باستخدام المكافآت المطبعة. يتم تحديث محولات LoRA ومشفر الأفعال فقط؛ بينما يظل الهيكل الأساسي (Backbone) مجمداً.

ج. مكافآت الرؤية متعددة المشاهد (Multi-View Visual Rewards)

لتوفير إشارات تدريب كثيفة ومنخفضة التباين، تجمع دالة المكافأة المقاييس الإدراكية المتكاملة عبر ثلاث كاميرات (كاميرتان خارجيتان وكاميرا واحدة مثبتة على المعصم):

المقاييس: LPIPS (التشابه الإدراكي)، SSIM (التشابه الهيكلي)، و PSNR (دقة البكسل).
التجميع: يتم حساب متوسط المقاييس زمنياً عبر المقطع ومكانياً عبر المشاهد.
القناع (Masking): تُجرى تقييمات إضافية على الأقنعة المتمحورة حول الأشياء والمتمحورة حول الروبوت لضمان تحسن النموذج في الديناميكيات ذات الصلة بالمهمة بدلاً من مجرد الحفاظ على الخلفيات الثابتة.

3. المساهمات الرئيسية

التدريب اللاحق بالتعلم التعزيزي لنماذج العالم الروبوتية: مخطط مبتكر لتدريب نماذج العالم على عمليات التوليد التكراري الخاصة بها، مما يعالج مباشرة انحياز التعرض.
التكيف النظري: توسيع نظرية التعلم التعزيزي التبايني من التنبؤ بالسرعة إلى نماذج الانتشار القائمة على التنبؤ بـ $x_0$ ، مع إثبات ضمانات التقارب الدقيقة.
بروتوكول التفرع متغير الطول: آلية تدريب تولد استمراريات مرشحة من تاريخ مشترك وفاسد، مما يسمح بتحسين نسبي ذي معنى في البيئات التكرارية.
مكافآت الرؤية متعددة المشاهد: تصميم مكافأة قوي يجمع بين LPIPS و SSIM و PSNR عبر رؤى متعددة، مطبعة للتعامل مع أنظمة الخطأ المتنوعة.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات DROID (التحكم الروبوتي واسع النطاق مع كاميرات متعددة الرؤى).

الأداء المتفوق (State-of-the-Art): يتفوق PersistWorld على النماذج المرجعية القوية (مثل Ctrl-World، WPE، IRASim) في جميع المقاييس.
- الكاميرات الخارجية: انخفاض في LPIP بنسبة 14.0%، وتحسن في PSNR بمقدار 1.40 dB.
- كاميرا المعصم: تحسن في SSIM بنسبة 9.1%، وتحسن في PSNR بمقدار 1.59 dB.
التفضيل البشري: في دراسة عمياء، فضل المقيمون البشر عمليات توليد PersistWorld على النماذج المرجعية بنسبة 80% من الوقت.
الاستقرار: بينما تتدهور النماذج المرجعية بسرعة (تتحلل الأشياء خلال ثوانٍ)، يحافظ PersistWorld على السلامة الهيكلية والاتساق المكاني لفترات ممتدة (تصل إلى 11 ثانية/70 إطاراً).
تقييم السياسة: يُظهر النموذج ارتباطاً أعلى بمعدلات تقدم المهام في العالم الحقيقي مقارنة بالنموذج المرجعي، مما يؤكد فائدته كمحاكي لتقييم السياسات.

5. الأهمية

يغير هذا العمل بشكل جذري نموذج نماذج العالم الروبوتية من التنبؤ قصير المدى إلى المحاكاة المستمرة طويلة المدى.

الموثوقية: من خلال تثبيت عمليات التوليد متعددة الخطوات، فإنه يتيح استخدام نماذج العالم كبيئات افتراضية عالية الدقة وقابلة للتوسع لتدريب وتقييم سياسات الرؤية واللغة والأفعال (VLA).
القدرة على التعميم: إطار عمل التعلم التعزيزي التبايني هو "محايد للمكافأة" (Reward-agnostic)، مما يعني أنه يمكن تكييفه لتحسين القيود الفيزيائية أو أهداف محددة للمهمة بما يتجاك مجرد الدقة البصرية.
سد الفجوة: إنه يحل "فجوة الحلقة المغلقة" التي حدت تاريخياً من نشر نماذج العالم التوليدية في مجال الروبوتات، مما يقربها من الفائدة العملية لمهام المناولة المعقدة.