ملخص تقني: OA-WAM: نموذج عمل العالم القابل لعنونة الكائنات من أجل تلاعب روبوتي قوي

1. بيان المشكلة

حققت نماذج الرؤية واللغة والعمل (VLA) ونماذج عمل العالم (WAMs) الحالية معدلات نجاح عالية في معايير التلاعب القياسية من خلال توسيع النماذج الخلفية والبيانات. ومع ذلك، غالبًا ما تفشل هذه النماذج تحت تأثير الاضطرابات الطفيفة في المشهد (مثل التغييرات في تخطيط الأشياء، أو زاوية رؤية الكاميرا، أو الإضاءة، أو الحالة الأولية للروبوت). يشخص المؤلفون هذا الضعف بأنه ناتج عن نقص في إمكانية عنونة الكائنات (object addressability).

في نماذج WAM الشاملة، يتم تمثيل حالة العالم المتوقعة كصور كاملة الإطار، أو تدفقات رموز فيديو، أو كامنات عالمية (global latents). وبينما تلتقط هذه التمثيلات تطور المشهد، إلا أنها تدمج هوية الكائن المستهدف مع سياقه المحيط داخل تدفق الرموز (token stream). عندما يتغير هندسية المشهد، يواجه فك تشفير الحركة (action decoder) صعوبة في عزل الكائن المحدد المذكور في التعليمات، مما يؤدي إلى "الانجراف" حيث يعمل السياس (policy) على الكائن الخطأ أو يفشل في التعميم. غالبًا ما تعتمد النهج الحالية التي تركز على الكائنات على اكتشاف الفتحات الديناميكي (مثل Slot Attention)، وهو أمر حساس للاحتجاب والازدحام، أو أنها تشفر الهوية والمظهر والوضعية في متجه واحد، مما يفشل في الفصل بين "أي كائن يجب العمل عليه" و"ما هو حال هذا الكبائن حاليًا".

2. المنهجية: OA-WAM

يقترح المؤلفون OA-WAM (نموذج عمل العالم القابل لعنونة الكائنات)، والذي يعيد صياغة التنبؤ بالعالم كأنه تنبؤ بحالة الفتحة (slot-state) لكل كائن على حد. تفرض البنية فصلًا صارمًا بين هوية الكائن والمحتوى المتغير مع الزمن على مستوى الموتر (tensor level).

2.1 ترميز الكائنات القابل للعنونة (Object-Addressable Tokenization)

يتم تفكيك كل إطار إلى $N+1$ من الفتحات (فتحة واحدة للروبوت، و $N$ من فتحات الكائنات). يتم بناء متجه كل فتحة $s^t_k$ عن طريق دمج:

• عنوان الهوية (Identity Address - $addr_k$): متجه مجمد مكون من 32 بُعدًا يتم حسابه مرة واحدة لكل حلقة (episode) من تسمية اللغة وميزة DINOv3 الأولية. لا يتم تحديثه أبدًا خلال الحلقة.
• المحتوى المتغير زمنيًا (Time-Varying Content - $cnt^t_k$): متجه مكون من 256 بُعدًا يتم تحديثه في كل خطوة من أقنعة SAM 3 وميزات DINOv2، ويمثل الحالة الحالية للكائن (المظهر، والوضعية).
• التمثيلات المساعدة (Auxiliary Embeddings): مؤشر الإطار ($\pi^t$) وتسميات الأدوار ($\rho_k$).

يتم إسقاط هذه الفتحات في مساحة مخفية مكونة من 4096 بُعدًا عبر محول فتحات قابل للتعلم، وتدمج مع نصوص، وصور-VQ، وإدراك ذاتي (proprioception)، ورموز الأفعال الماضية في تسلسل سببي-كتلي (block-causal sequence) تتم معالجته بواسطة محول Chameleon-style بـ 7 مليار معلمة.

2.2 انتباه العنونة (قيد OA)

الابتكار المعماري الأساسي هو قيد خالي من المعلمات (parameter-free constraint) يتم تطبيقه عند كل طبقة محول لضمان أن فك تشفير الحركة ينتبه للكائن الصحيح بناءً على هويته فقط، وليس مظهره الحالي أو سياقه. ويتم تحقيق ذلك عبر عمليتين:

1. إسقاط المفتاح القائم على العنوان فقط (Address-Only Key Projection): بالنسبة للمواقع من نوع الفتحات (slot-typed positions)، يقرأ إسقاط المفتاح ($K$) فقط أول 32 بُعدًا (المتجه الفرعي $addr$) من التدفق المتبقي (residual stream). بينما يستخدم إسقاط الاستعلام ($Q$) والقيمة ($V$) الحالة المخفية الكاملة. هذا يجبر الانتباه المتبادل بين الفتحات (cross-slot attention) على التوجيه بناءً على الهوية وحدها.
2. إعادة ضبط العنوان لكل طبقة (Per-Layer Address Reset): يقوم خطاف أمامي (forward hook) باستبدال أول 32 بُعدًا من التدفق المتبقي في مواقع الفتحات بـ $addr_k$ المخزن مؤقتًا بعد كل كتلة محول. هذا يمنع عنوان الهوية من الانجراف أو التآكل بسبب تحديثات المحتوى في التدفق المتبقي.

2.3 رؤوس التنبؤ (Prediction Heads)

يقوم النموذج بتمرير أمامي واحد لتوليد:

• رأس العالم (World Head): يسترجع الحالة التالية للإطار لكل فتحة، متنبئًا بكل من المحتوى ($\hat{c}^{t+1}$) والوضعية ($\hat{p}^{t+1}$). يوفر هذا إشرافًا مساعدًا للاتساق الزمني.
• رأس الحركة (Action Head): نموذج MLP لمطابقة التدفق (flow-matching) يفك تشفير كتلة حركة مستمرة مكونة من 16 خطوة من رمز استعلام حركة قابل للتعلم ($[ACT\_Q]$).
• رأس صورة-VQ المساعد (Auxiliary Image-VQ Head): يعيد استخدام رأس اللغة الخاص بالترنك (trunk) للتنبؤ برموز VQ للإطار التالي، مما يساعد في التدريب المسبق دون معلمات جديدة.

2.4 التدريب

يتم تدريب النموذج في ثلاث مراحل:

1. المرحلة 0: التدريب المسبق للترنك (7B trunk) على مجموعة بيانات مختلطة (صورة-نص ويب + بيانات روبوتية) مع فرض قيد OA.
2. المرحلة I: محاذاة محول الفتحات ورأس العالم على أوزان الترنك المجمدة.
3. المرحلة II: الضبط الدقيق الكامل للنظام باستخدام LoRA على الترنك وتدريب رأس الحركة. تجمع الخسارة بين مطابقة تدفق الحركة، وخطأ متوسط المربعات (MSE) للتنبؤ بالعالم، والمنظمات المساعدة لتبديل المشتتات (distractor permutation invariance) ومحاذاة الأدوار.

3. المساهمات الرئيسية

1. صياغة إمكانية عنونة الكائنات: يحدد البحث عدم وجود واجهات مستقرة وقابلة للاستعلام للكائنات كسبب رئيسي لفشل المتانة في نماذج WAM الحالية تحت تأثير الاضطرابات الهندسية.
2. الفصل المعماري: يقدم OA-WAM آلية على مستوى الموتر (عنوان مجمد + توجيه قائم على العنوان فقط) تفصل هيكليًا بين "أي كائن يجب العمل عليه" و"ما هو هذا الكائن"، دون الحاجة لرموز إضافية أو الاعتماد على اكتشاف الفتحات الديناميكي.
3. متانة الحالة الفائقة (SOTA): يحقق النموذج نتائج SOTA جديدة على المحاور الهندسية لمعيار LIBERO-Plus، والذي يختبر تحديدًا المتانة تجاه تغييرات التخطيط، والكاميرا، والحالة الأولية للروبوت.

4. النتائج التجريبية

قيم المؤلفون OA-WAM في ثلاثة معايير: LIBERO، و SimplerEnv، و LIBERO-Plus.

• المعايير القياسية: يضاهي OA-WAM أو يتفوق على نماذج VLA و WAM الأساسية في المهام داخل التوزيع (in-distribution).
  • LIBERO: نجاح متوسط بنسبة 97.8% (مقابل 97.2% لـ VLA-JEPA).
  • SimplerEnv (WidowX): نجاح متوسط بنسبة 79.3% (مقابل 76.0% لـ CoWVLA).
• المتانة (LIBERO-Plus): يحقق OA-WAM رقمًا قياسيًا جديدًا (SOTA) في المحاور الهندسية الأكثر توافقًا مع الفرضية (الكاميرا، الحالة الأولية للروبوت، التخطيط).
  • المتوسط الهندسي (كاميرا/روبوت/تخطيط): 84.3%، وهو تحسن بنسبة +4.8% عن $\pi0.5$.
  • محاور محددة: 80.5% على الكاميرا (+4.7% عن Cosmos-Policy) و 89.6% على الحالة الأولية للروبوت.
  • ضوضاء المستشعر: يتراجع النموذج في ضوضاء المستشعر (-17.1% عن أفضل النتائج السابقة)، وهو ما يعزوه المؤلفون إلى فشل في حزمة الإدراك العلوية (استخراج الفتحات) وليس في السياسة نفسها.
• التحقق من الآلية:
  • الدراسة الاستبعادية (Ablation): إزالة قيد OA (سواء عبر القناع أو خطاف إعادة الضبط) يسبب انخفاضًا حادًا في المتانة الهندسية (على سبيل المثال، -13.3% على محور الكاميرا) بينما يظل الأداء داخل التوزيع دون تغيير كبير، مما يؤكد أن التحيز مرتبط بالبيانات خارج التوزيع (OOD).
  • التدخل السببي: عند تبديل عنوان الفتحة المستهدفة مع عنوان مشتت أثناء الاستدلال، يتغير مسار OA-WAM نحو الهدف الجديد بمحاذاة جيب التمام (cosine alignment) بلغت 0.87. في المقابل، تظهر جميع النماذج الشاملة (baselines) محاذاة $\le 0.09$، مما يثبت أن أفعال OA-WAM متجذرة في فضاء العنوان الصريح.

5. الأهمية والادعاءات

يدعي البحث أن تنظيم نموذج العالم صراحةً كـ حالات كائنات قابلة للعنونة يعد مسارًا فعالًا للتلاعب الروبوتي القوي تحت اضطرابات المشهد. من خلال ربط اختيار الهدف بمتجه هوية مجمد ومستند إلى اللغة، يجعل OA-WAM المتانة خاصية هيكلية للمعمارية بدلاً من كونها نتيجة لتنوع بيانات التدريب.

يؤكد المؤلفون أن هذا النهج يوفر "واجهة قابلة للتدخل على مستوى الكائن" حيث يمكن للسياسة استعلام الكائنات ذات الصلة بالمهمة بشكل موثوق بغضًا عن كيفية إعادة ترتيب المشهد. كما يقرون بالقيود، مشيرين إلى أن النهج حاليًا مقتصر على المحاكاة (simulator-only)، وأن الأداء يتدهور عندما تفشل حزمة الإدراك المجمدة (مثل حالات الضوضاء الكثيفة للمستشعرات أو الأجسام الشفافة/المحتجبة)، لكنهم يجادلون بأن المساهمة المعمارية نجحت في عزل آلية التوجيه عن مراحل الإدراك والسياسة.