ملخص تقني: NoiseGate – تعلم جداول الخطوات الزمنية لكل زمن كامن كبوابة للمعلومات في نماذج أفعال العالم (World Action Models)

1. صياغة المشكلة

تمثل نماذج أفعال العالم (WAMs) نموذجاً حيث يتم ربط توليد حركة الروبوت بنمذجة الملاحظات المستقبلية، مما يؤدي لتوليد مشترك لكتلة من إطارات الفيديو الكامنة المستقبلية ($v$) وكتلة فعل ($a$) بناءً على ملاحظة حالية ($v_0$) وتعليمة لغوية ($l$). تستخدم الأنظمة البارزة، مثل Motus وFast-WAM، هيكلية أساسية مشتركة لإزالة الضجيج من الفيديو والحركة تعتمد على بنية Mixture-of-Transformers (MoT). في هذه الأنظمة، تتفاعل توكنات (tokens) الفيديو وتوكنات الفعل عبر طبقات انتباه ذاتي مشتركة.

ثمة قصور حرج في نماذج WAM الحالية يتعلق بالتعامل مع الخطوة الزمنية للانتشار (diffusion timestep). فبينما تسمح الهيكلية نظرياً لكل إطار كامن متوقع بامتلاك خطوة زمنية مستقلة ($t_f$)، تقوم الأنظمة الحالية بدمج هذه الدرجة من الحرية في خطوة زمنية قياسية واحدة مشتركة ($t$) لجميع الإطارات المتوقعة عند كل خطوة إزالة ضجيج. وتحت تفسير "الضجيج كقناع" (noise-as-masking) الخاص بـ Diffusion Forcing، يفرض هذا الجدول المشترك مسلّمة (prior) غير مبررة: فهو يفترض أن كل إطار كامن متوقع يتمتع بنفس القدر من الموثوقية و"الوضوح" لعملية توليد الفعل عند أي خطوة معينة.

ومع ذلك، فإن تأثير الإطارات المستقبلية على التنبؤ بالفعل هو أمر غير متجانس ويعتمد على المهمة. فعلى سبيل المثال، قد يستفيد النموذج أثناء الأحداث الحرجة مثل الإمساك بجسم ما من إبقاء الإطارات الكامنة المقابلة أكثر "ضبابية" (ضجيج أعلى) لتجنب الاعتماد المفرط على التنبؤات غير المؤكدة. أما الجداول المصممة يدوياً (مثل اضمحلال الضجيج الرتيب) فهي لا تفعل سوى استبدال مسلّمة ثابتة بأخرى، مما يفشل في التكيف مع كثافة المعلومات المطلوبة للمهام المختلفة.

2. المنهجية: NoiseGate

يقترح المؤلفون إطار عمل NoiseGate، الذي يعيد صياغة جدول الخطوة الزمنية لكل زمن كامن كـ سياسة بوابة معلومات قابلة للتعلم. بدلاً من الجدول الثابت، يتعلم NoiseGate تعديل موثوقية مساهمة (Key/Value) لكل إطار كامن في توكنات الفعل عن طريق ضبط مستوى الضجيج ديناميكياً.

يتكون الأسلوب من ثلاثة مكونات مترابطة:

أ. هيكلية MoT المشتركة للفيديو والحركة

يستخدم النظام هيكلية Mixture-of-Transformers تدمج Diffusion Transformer (DiT) ثنائي الاتجاه لكتلة الفيديو مع Action-Expert DiT.

• الانتباه الذاتي المشترك: تتشارك توكنات الفيديو والحركة في كتل الانتباه الذاتي، مما يسمح لتوكنات الفعل بالانتباه إلى الكوامن الفيديوية.
  ً* خبراء متخصصون لكل نمط: يحتفظ كل نمط بطبقات التغذية الأمامية الخاصة به.
• آلية البوابة: تعمل مستوى الضجيج $t_f$ على الكامن الفيديوي مباشرة على تعديل موثوقية مساهمته في التمثيلات الخفية لتوكنات الفعل.

ب. أخذ عينات الخطوة الزمنية المستقلة لكل زمن كامن (ركيزة التدريب)

لتمكين الهيكلية من التعميم على جداول زمنية مختلفة لكل إطار أثناء الاستدلال، يتبنى المؤلفون استراتيجية تدريب مستوحاة من Diffusion Forcing.

• أثناء التدريب، يتم أخذ عينات مستقلة للخطوات الزمنية $t_v = (t_1, \dots, t_F)$ لكل إطار كامن، بدلاً من قيمة قياسية مشتركة.
• يخلق هذا مدخلاً "مشوباً بالضجيج بشكل غير متجانس"، مما يعلم الهيكلية كيفية "القراءة" بفعالية عبر مستويات متفاوتة من عدم اليقين عبر كتلة الفيديو.

ج. شبكة سياسة البوابة (GPN) وتحسين GRPO

الابتكار الجوهري هو شبكة سياسة البوابة ($\pi_\phi$)، وهي شبكة خفيفة الوزن تتعلم الجدول الزمني الأمثل للخطوات الزمنية.

• المدخلات: في كل خطوة إزالة ضجيج $k$، تراقب شبكة GPN كتلة الفيديو الحالية المشوبة بالضجيج بشكل غير متجانس ($v_t^{(k)}$)، والملاحظة الصافية ($v_0$)، والخطوات الزمنية الحالية ($t_v^{(k)}$).
• المخرجات: تتنبأ بزيادات النسبة النسبية ($r_f$) لتحديد مقدار انخفاض الخطوة الزمنية لكل إطار ($\Delta t_f$). تظل إطار الملاحظة مثبتاً عند $t_0=0$، بينما تتبع خطوة الفعل جدولاً عالمياً ثابتاً.
• التدريب: يتم تدريب GPN باستخدام تحسين السياسة النسبي للمجموعات (GRPO). يتم تجميد الهيكلية الأساسية، ويتم تحسين السياسة مقابل مكافأة نجاح المهمة الثنائية المتفرقة ($r \in \{0, 1\}$). وهذا يربط سياسة البوابة بفائدة المهمة الفعلية دون الحاجة إلى مسلّمات شكلية مصممة يدوياً.

3. المساهمات الرئيسية

1. إعادة صياغة الجدول الزمني: حدد المؤلفون أن الخطوة الزمنية القياسية المشتركة في نماذج WAM المشتركة فيديو-حركة هي مسلّمة ضمنية قوية تحد من مرونة النموذج. واقترحوا النظر إلى جدولة الخطوات الزمنية لكل زمن كامن كسياسة بوابة معلومات قابلة للتعلم عبر الانتباه الذاتي المشترك.
2. هيكلية NoiseGate: قدموا NoiseGate، الذي يجمع بين أخذ عينات الخطوة الزمنية المستقلة لكل زمن كامن أثناء تدريب الهيكلية، وشبكة GPN خفيفة الوزن لإصدار زيادات الخطوة الزمنية لكل زمن كامن، وتحسين GRPO المدفوع بمكافآت المهام.
3. التحقق التجريبي: في اختبار RoboTwin تحت ظروف المشاهد العشوائية، أظهر NoiseGate تحسينات متسقة مقارنة بكل من نماذج الـ shared-scalar والنسخ ذات الجداول المصممة يدوياً، مما يؤكد أن تعلم سياسة البوابة أمر ضروري لاستغلال درجة الحرية لكل زمن كامن.

4. النتائج التجريبية

أُجري التقييم على اختبار RoboTwin، وتحديداً تحت ظروف المشاهد العشوائية حيث يتم تغيير أوضاع الأشياء وألوانها وخلفياتها عشوائياً.

• المقارنة الرئيسية: تمت مقارنة NoiseGate مع نماذج مرجعية قوية (Fast-WAM, LingBot-VA, $\pi_{0.5}$, Motus) وأيضاً مع نموذج Stage-1 WAM (الهيكلية المدربة بالضجيج المستقل ولكن مع استدلال بخطوة زمنية مشتركة).
  • حقق NoiseGate متوسط معدل نجاح قدره 94.28%، متفوقاً على Stage-1 WAM (92.58%) وعلى جميع النماذج المرجعية الأخرى.
  • لوحظت مكاسب كبيرة في المهام التي تتطلب توقيتاً دقيقاً أو التعامل مع عدم اليقين (مثل Hanging Mug بنسبة +9%، و Blocks Ranking Size بنسبة +7%، و Put Object Cabinet بنسبة +7%).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة GPN والعودة إلى الخطوة الزمنية المشتركة ($Shared\text{-}t$) إلى أكبر انخفاض في الأداء (67.5% $\to$ 57.5% في إعداد الاستئصال المحكوم).
  • استخدام جدول رتيب مصمم يدوياً حسن الأداء مقارنة بالخطوة الزمنية المشتركة، لكنه ظل أدنى من GPN المتعلم (63.4% مقابل 67.5%)، مما يشير إلى أن التحكم المتكيف مع المهمة أمر ضروري.
• التحليل النوعي:
  • الضجيج كقناع: أكدت خرائط الانتباه وجود اضمحلال رتيب في انتباه الحركة تجاه الفيديو مع زيادة مستويات الضجيج، مما يؤكد صحة آلية البوابة.
  • الجداول المتكيفة مع المهمة: أظهرت عمليات التصور أن GPN تتعلم مسارات زمنية متميزة وغير موحدة للمهام المختلفة. على سبيل المثال، في مهام الإمساك، أبقت GPN إطار الإمساك الحرج عند مستوى ضجيج أعلى (أكثر عدم يقين) لفترة أطول من الإطارات الأخرى، مما منع الالتزام المبكر بالحركة.

5. الأهمية والادعاءات

يدعي البحث أن NoiseGate يثبت بنجاح أن جدول الخطوة الزمنية لكل زمن كامن في نموذج WAM هو كائن تصميم من الدرجة الأولى وليس مجرد معلمة فائقة (hyperparameter) ثابتة أو مسلّمة ضمنية.

• الآلية: من خلال معاملة الخطوة الزمنية كبوابة قابلة للتعلم، يمكن للنموذج اختيار كشف المعلومات المستقبلية لسياسة الفعل. يتيح ذلك للنظام الحفاظ على عدم يقين أعلى (ضبابية) للأحداث المستقبلية الحرجة والصعبة التنبؤ، مع توضيح المعلومات الأقل أهمية، مما يحسن المتانة في مهام المناولة المعقدة.
• الكفاءة: يقوم النهج بتحسين الجدول الزمني باستخدام شبكة سياسة خفيفة الوزن ومكافآت متفرقة، مما يتجنب الحاجة إلى مسلّمات معقدة مصممة يدوياً أو إعادة تدريب الهيكلية التوليدية الضخمة.
• القدرة على التعميم: رغم التركيز على الروبوتات، يشير المؤلفون إلى أن رؤية الضجيج لكل زمن كامن كبوابة معلومات قابلة للتعلم يمكن أن تنطبق على تطبيقات توليدية أخرى حيث يقرأ المستهلكون في الأسفل توكنات تم إزالة الضجيج منها بشكل مشترك وذات فائدة متباينة (مثل القيادة الذاتية أو التنبؤ بالفيديو).

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن التدريب الحالي يعتمد على محاكاة متفرقة، والتي قد تكون غير فعالة من حيث البيانات، وأن توسيع نطاق سياسة الجدول الزمني المتعلم ليشمل مجموعات مهام متعددة واسعة النطاق يظل عملاً مستقبلياً.