🤖 AI

ResWM: Residual-Action World Model for Visual RL

يُعدُّ Willm (Willm) إطار عمل جديد للتعلم التعزيزي البصري يعمل على تحسين كفاءة العينات، واستقرار التخطيط، وسلاسة التحكم من خلال إعادة صياغة متغير التحكم من الأفعال المطلقة إلى الأفعال المتبقية واستخدام مشفر فرق الملاحظة لنمذجة الديناميكيات من إطار إلى آخر.

المؤلفون الأصليون: Jseen Zhang, Gabriel Adineera, Jinzhou Tan, Jinoh Kim

نُشر 2026-03-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jseen Zhang, Gabriel Adineera, Jinzhou Tan, Jinoh Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يمشي عبر غرفة.

في الطريقة القديمة للقيام بذلك (طريقة "الفعل المطلق")، كنت ستخبر الروبوت: "في هذه اللحظة تحديداً، ارفع قدمك اليسرى بالضبط 15 سنتيمتراً للأعلى وحركها 30 سنتيمتراً للأمام."

المشكلة هي أن الروبوت ليس لديه أدنى فكرة عما فعله قبل أجزاء من الثانية. إذا حاول تخمين الموضع المثالي للقدم من الصفر في كل ميلي ثانية، سينتهي به الأمر بالارتجاف والاهتزاز وهدر الكثير من الطاقة. الأمر يشبه محاولة قيادة سيارة عبر الصراخ باستمرار: "لف المقود بزاوية 45 درجة! الآن 46 درجة! الآن 44 درجة!" بدلاً من التوجيه بلطف.

تقدم هذه الورقة البحثية طريقة جديدة للتفكير تسمى ResWM (نموذج العالم ذو الفعل المتبقي). وإليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:

1. "الدفعة اللطيفة" مقابل "الأمر العظيم"

بدلاً من إخبار الروبوت بمكان وضع قدمه بالضبط، يخبره ResWM: "خذ موضع قدمك الحالي و*ادفعه قليلاً للأمام."*

هذا هو الفعل المتبقي (Residual Action).

الطريقة القديمة: "اذهب إلى الإحداثي X." (صعب التخمين، وسهل الخطأ).
طريقة ResWM: "تحرك قليلاً مما أنت عليه الآن." (سهل التخمين، وأكثر سلاسة).

التشبيه: فكر في الأمر كأنك تقوم بتعديل صورة.

الفعل المطلق: أنت تحذف الصورة بالكامل وتحاول رسم صورة مثالية من الصفر في كل مرة ترمش فيها.
الفعل المتبقي: أنت تقوم فقط بإجراء تعديلات صغيرة على الصورة الموجودة بالفعل (تفتيح السماء، أو زيادة حدة العينين). هذا أسرع بكثير، وأكثر سلاسة، وأقل عرضة للكوارث.

2. "محقق الحركة" (مشفر فرق الملاحظة)

عادة ما تنظر الروبات إلى العالم مثل كاميرا تلتقط سلسلة من الصور الثابتة. ولكن إذا كانت الخلفية شارعاً مزدحماً، فسيصاب الروبوت بالارتباك بسبب جميع السيارات والأشخاص المتحركين الذين لا علاقت لهم بالمهمة.

يضيف ResWM وحدة خاصة تسمى "محقق الحركة". فبدلاً من النظر إلى الصورة بأكملها، ينظر فقط إلى ما تغير بين الصورة الأخيرة والصورة الحالية.

إذا كانت شجرة تتمايل في الريح، يتجاهلها المحقق (فهي مجرد ضجيج خلفية).
إذا تحركت ذراع الروبوت، يقوم المحقق بالتركيز عليها فوراً.

التشبيه: تخيل أنك تحاول العثور على صديق في ملعب مزدحم.

الطريقة القديمة: تقوم بمسح الجمهور بأك entirety، والبحث في كل وجه. هذا أمر مرهق وبطيء.
طريقة ResWM: أنت تبحث فقط عن الشخص الذي تحرك للتو. تتجاهل الجميع الواقفين بلا حراك. ستكتشف صديقك فوراً لأنه الشيء الوحيد الذي يتغير.

3. "الحالم" الذي يخطط بشكل أفضل

يستخدم الروبوت "نموذج عالم"، وهو في الأساس "حالم". إنه يحاكي المستقبل في عقله ليعرف أفضل حركة قبل القيام بها فعلياً.

بسبب استخدام ResWM لـ "الدفعات اللطيفة" (الأفعال المتبقية) و"كشف الحركة" (ODL)، تصبح أحلامه أكثر واقعية.

الحالم القديم: "سأقفز 10 أقدام عالياً، ثم أسقط، ثم أدور حول نفسي." (غير مستقر، وغالباً ما يؤدي إلى الانهيار في المحاكاة).
حالم ResWM: "سآخذ خطوة صغيرة، ثم خطوة صغيرة أخرى." (سلس، مستقر، وموفر للطاقة).

هذا يسمح للروبوت بالتخطيط لاستراتيجيات طويلة المدى دون أن يرتبك أو يتذبذب بجنون.

لماذا يهم هذا؟

اختبر المؤلفون هذا على مجموعة من مهام الروبوت الصعبة (مثل المشي، والجري، والتوازن) وحتى على ألعاب الفيديو (Atari).

يتعلم بشكل أسرع: يحتاج الروبوت إلى محاولات أقل ليصبح جيداً في المهمة.
يتحرك بسلاسة أكبر: لا مزيد من الحركات المرتعشة والمهتزة. إنه يتحرك مثل راقص رشيق وانسيابي بدلاً من آلة عصبية متشنجة.
يوفر الطاقة: لأن الحركات سلسة، لا يهدر الروبوت طاقة البطارية في محاربة حركاته المتشنجة.

الخلاصة

ResWM يشبه تعليم الروبوت القيادة من خلال إخباره بأن يوجه بلطف بدلاً من الصراخ بالإحداثيات. من خلال التركيز على التغييرات الصغيرة وتجاهل ضجيج الخلفية الثابت، يتعلم الروبوت التحرك بسلاسة، وكفاءة، وأمان—تماماً كما يفعل البشر. إنه يسد الفجوة بين خوارزميات الكمبيوتر المعقدة والحاجة الواقعية لروبوتات لا تكسر الأشياء عندما تتحرك.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ResWM: Residual-Action World Model for Visual RL".

1. بيان المشكلة

تواجه وكلاء التعلم المعزز (RL) الذين يعملون في بيئات بصرية عالية الأبعاد (مثل الروبوتات) تحديات كبيرة في تعلم نماذج عالم تنبؤية. عادةً ما تقوم أطر العمل التقليدية للتعلم المعزز القائم على النموذج (MBRL)، مثل Dreamer وTD-MPC، بتكييف تنبؤات الحالة المستقبلية بناءً على الأفعال المطلقة ( $a_t$ ). ويؤدي هذا النهج إلى عدة مشكلات حرجة:

عدم استقرار التحسين: توزيع الأفعال المطلقة المثلى يعتمد على المهمة وغير مستقر زمنياً، مما يجعل من الصعب على النموذج تعلم سياسة متسقة.
التباين العالي والتذبذب: غالباً ما يؤدي التنبؤ المباشر بالأفعال المطلقة إلى إشارات تحكم غير منتظمة وعالية التردد ("الارتجاج/chattering")، وهي إشارات غير واقعية فيزيائياً وغير آمنة للأنظمة الروبوتية في العالم الحقيقي.
مساحة بحث غير فعالة: يجب على الوكيل البحث في كامل مساحة الفعل العالمية عند كل خطوة، متجاهلاً السلاسة الزمنية المتأصلة في الديناميكيات الفيزيائية.
الإدراك الفائض عن الحاجة: غالباً ما تعالج المشفرات القياسية الإطارات الثابتة بشكل مستقل، فتفشل في التقاط التغيرات الزمنية (deltas) التي تقود التغييرات الفيزيائية بشكل صريح.

2. المنهجية: نموذج العالم ذو الفعل المتبقي (ResWM)

يقترح المؤلفون ResWM، وهو إطار عمل يعيد صياغة متغير التحكم من الأفعال المطلقة إلى الأفعال المتبقية (التعديلات التدريجية) ويربط ذلك بمشفر ملاحظات مدرك للديناميكيات.

أ. سياسة الفعل المتبقي (أولوية السلاسة)

بدلاً من التنبؤ بالفعل المطلق $a_t$ ، تتنبأ السياسة بتعديل تدريجي $\delta a_t$ بالنسبة للفعل السابق $a_{t-1}$ .

الصيغة: $a_t = \tanh(a_{t-1} + \delta a_t)$ ، حيث $\delta a_t \sim \pi_\theta(\cdot | z_t, a_{t-1})$ .
الفائدة: يدمج هذا نموذج أولوية السلاسة الزمنية في مساحة الفعل. فهو يحول مشكلة التحسين من بحث عالمي فوضوي إلى صقل محلي حول الحالة السابقة، مما يقلل بشكل كبير من مساحة البحث الفعالة ويستقر عملية التخطيط طويل المدى.

ب. مشفر فرق الملاحظة (ODL)

للمواءمة بين وحدة الإدراك ونموذج الفعل المتبقي، قدم المؤلفون مشفر فرق الملاحظة.

الآلية: بدلاً من تشفير الإطارات الثابتة، يقوم ODL بنمذجة الفرق بين الملاحظات المتتالية ( $o_t$ و $o_{t-1}$ ) بشكل صريح.
البنية: $z_t = \text{LN}(\text{FC}(f(o_t) - f'(o_{t-1})))$ ، حيث $f$ و $f'$ هما مشفران من نوع CNN.
الفائدة: يعمل هذا كمرشح زمني، حيث يقمع ضوضاء الخلفية الثابتة ويستخرج فقط التغييرات الديناميكية ذات الصلة بالمهمة (مثل المفاصل المتحركة). وهذا يخلق تمثيلاً كامناً $z_t$ مرتبطاً سببياً بالفعل المتبقي $\delta a_t$ .

ج. الديناميكيات الكامنة والتدريب

يدمج ResWM هذه المكونات في نموذج فضاء الحالة المتكرر (RSSM) (مشابه لـ Dreamer):

نموذج الانتقال: $s_{t+1} \sim g_\phi(s_t, \delta a_t)$ . يتم تكييف الديناميكيات مع الفعل المتبقي، مما يضمن الاتساق بين عمليات المحاكة المتخيلة وسلوك السياسة.
الهدف: يتم تدريب النموذج من البداية إلى النهاية باستخدام دالة خسارة مشتركة تتكون من:
1. خسارة النموذج: VAE ELBO (إعادة بناء الصورة، التنبؤ بالمكافأة، وتشتت KL).
2. خسارة السياسة: تحسين الممثل-الناقد (Actor-Critic) على عمليات المحاكاة المتخيلة داخل المساحة المتبقية.
3. التنظيم: تعمل عقوبة KL على تشجيع $\delta a_t$ للبقاء بالقرب من توزيع غاوسي بمتوسط صفري (لمنع القفزات العشوائية)، وتعمل عقوبة طاقة اختيارية على تقليل جهد التحكم ( $\|\delta a_t\|^2$ ).

3. المساهمات الرئيسية

نموذج العالم ذو الفعل المتبقي (ResWM): إطار عمل جديد للتعلم المعزز القائم على النموذج يعيد تمثيل مساحة الفعل لفرض السلاسة الزمنية، مما يخفف بشكل كبير من تعقيد التعلم ويحسن الاستقرار.
مشفر فرق الملاحظة (ODL): بنية تشفر صراحة الفروقات الزمنية بين الإطارات، مما يخلق مساحة كامنة مدمجة ومدركة للديناميكيات تتوافق طبيعياً مع التنبؤ بالفعل المتبقي.
تكامل جاهز للاستخدام (Plug-and-Play): يتطلب الإطار تعديلات طفيفة على بنيات Dreamer الموجودة ولا يقدم أي معاملات فائقة (hyperparameters) جديدة، مما يجعله قابلاً للتكيف بشكل كبير.
التحقق التجريبي: أدلة شاملة تظهر تفوق ResWM على النماذج المرجعية المتطورة في كفاءة العينات، والأداء النهائي، وسلاسة التحكم.

4. النتائج التجريبية

قيم المؤلفون ResWM على مجموعات اختبار DeepMind Control Suite (DMControl) و Atari.

DMControl (المهام القياسية):
- عند 100 ألف خطوة، حقق ResWM متوسط درجة بلغ 828.7، متفوقاً على النموذج المرجعي القوي DeepRAD (695.1) و ResAct (822.1).
- عند 500 ألف خطوة، ارتفع متوسط الدرجة إلى 925.0، متجاوزاً جميع المنافسين (على سبيل المثال، DeepRAD عند 890.8).
- حقق ResWM أداءً يقترب من التشبع في مهام مثل Reacher, Easy (986) و Ball in cup, Catch (978).
DMControl (المهام الصعبة):
- في المهام المعقدة (مثل Quadruped, Walk)، حافظ ResWM على صدارته عند مليون خطوة بمتوسط درجة 644.8، متفوقاً بشكل كبير على ResAct (630.2) و TACO (333.8).
اختبار Atari:
- حقق ResWM متوسط درجة معيارية قدرها 0.96، متفوقاً على ResAct (0.86) و TACO (0.76)، مما أظهر قدرة قوية على التعميم في بيئات البكسل المنفصلة وعالية الأبعاد.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة السياسة المتبقية (V1) إلى فشل كارثي في المهام الصعبة (مثل Hopper, Hop)، مما يثبت أنها المكون الأكثر أهمية.
- أدى إزالة ODL (V2) إلى ثاني أكبر انخفاض في الأداء، مما يسلط الض الضوء على أهمية الإدراك المدرك للديناميكيات.
- التحليل النوعي: أظهرت خرائط الانتباه أن ResWM يركز بحدة على المفاصل والمؤثرات الحرجة، بينما أظهرت النماذج المرجعية (مثل DeepRAD) انتباهاً مشتتاً عبر كامل حدود الأطراف.

5. الأهمية

جسر بين النظرية والتطبيق: يعالج ResWM الفجوة بين خوارزميات التعلم المعزز والمتطلبات الفيزيائية للروبوتات (السلاسة، كفاءة الطاقة، السلامة).
الاستقرار والسلامة: من خلال تقليل تباين الفعل والارتجاج، ينتج ResWM مسارات مناسبة للنشر في العالم الحقيقي حيث تكون تآكل الآلات واستهلاك الطاقة قيوداً حاسمة.
الكفاءة: يحقق الإطار كفاءة أعلى في العينات، مما يعني أن الوكلاء يمكنهم تعلم مهام معقدة بتفاعلات أقل، وهو عامل حاسم للروبوتات في العالم الحقيقي حيث يكون جمع البيانات مكلفاً.
مبدأ عام: تشير الورقة إلى أن نمذجة التغييرات المتبقية بدلاً من الحالات المطلقة هو مبدأ أساسي لتحسين التحكم المستمر في التعلم المعزز البصري، وهو قابل للتطبيق بما يتجاى البنيات المحددة التي تم اختبارها.

القيود: يشير المؤلفون إلى أن الأولوية المتبقية قد تقيد قليلاً قدرة الوكيل على الاستجابة الفورية للصدمات المفاجئة عالية التردد (مثل الاصطدامات المفاجئة) وتتسبب في عبء حسابي طفيف أثناء مرحلة الترميز بسبب معالجة الإطارات المتتالية.