Generative Control as Optimization: Time Unconditional Flow Matching for Adaptive and Robust Robotic Control

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التحكم التوليدي كعملية تحسين: مطابقة التدفق غير المشروط زمنياً للتحكم الروبوتي التكيفي والمتين" (GeCO).

1. بيان المشكلة

يعتمد التعلم بالتقليد الروبوتي الحالي بشكل كبير على نماذج الانتشار (Diffusion Models) ومطابقة التدفق (Flow Matching). وبين أن هذه الأساليب فعالة في التقاط السلوكيات متعددة الأنماط، إلا أنها تعاني من عدم كفاءة هيكلية جوهرية:

• الارتباط الزمني الصلب: تتعلم هذه الطرق حقول اتجاه (vector fields) تعتمد على الزمن وتتطور وفقاً لجدول تكامل محدد مسبقاً وثابت (على سبيل المثال، $t \in [0, 1]$).
• التكامل الأعمى: يجب على السياسة (policy) تنفيذ عدد ثابت من خطوات التكامل بغض النظر عن مدى تعقيد حالة الروبوت الحالية. وهذا يهدر الموارد الحسابية في الحركات البسيطة (مثل الوصول البسيط) وقد يفشل في صقل الأفعال بشكل كافٍ للمهام المعقدة (مثل المعالجة الدقيقة).
• الافتقار إلى السلامة الجوهرية: تفتقر الحقول المتغيرة زمنياً إلى مشهد طاقة مستقر، مما يجعل من الصعب التحقق من صحة الفعل أو اكتشاف سيناريوهات التوزيع الخارج عن النطاق (OOD) دون الحاجة إلى شبكات مساعدة أو مجموعات (ensembles).

2. المنهجية: التحكم التوليدي كعملية تحسين (GeCO)

يقترح GeCO تحولاً جذرياً من تكامل المسارات إلى التحسين التكراري عبر تعلم حقل سرعة مستقر وغير مشروط زمنياً.

الآلية الجوهرية

• حقل السرعة المستقر: بدلاً من تعلم $v_\theta(x, \gamma, s_t)$ (حيث $\gamma$ هو الزمن)، يتعلم GeCO حقلاً مستقراً واحداً $f_\theta(x, s_t)$ فوق فضاء تسلسل الأفعال.
• الجواذب (Attractors): تشكل سلوكيات الخبراء "جواذب مستقرة" (نقاط توازن) في هذا الحقل. تم تصميم الحقل بحيث يتلاشى ($f_\theta \to 0$) بالقرب من الأفعال الحقيقية (ground-truth).
• إعادة قياس السرعة (Velocity Rescaling): لضمان التقارب المتين، تقدم الطريقة آلية لإعادة القياس حيث يتلاشى مقدار التدفق مع اقتراب الحالة من "منطوق الخبير" (expert manifold). هذا يخلق "بالوعة هندسية" (geometric sink) حول الأنماط المستهدفة.

عملية التدريب

• متغير الزمن الضمني: يُستخدم الزمن $\gamma$ فقط أثناء التدريب للتدخل (interpolation) بين الضوضاء والبيانات ($x_\gamma = \gamma a + (1-\gamma)\epsilon$)، ولكنه لا يُغذى في النموذج.
• متجه الهدف: هدف التدريب هو اتجاه استعادة $g^*$ يشير نحو بيانات الخبير، مكيّفاً بدالة اضمحلال $c(\gamma)$ تقترب من الصفر عندما $\gamma \to 1$.
• دالة الخسارة: يقلل النموذج الفرق بين الحقل المتوقع واتجاه الاستعادة المستهدف، مما ينظم جميع أزواج التدريب في حقل متسق واحد لكل مشهد.

الاستدلال (التحسين التكيفي)

• حلقة التحسين: عند التشغيل، يتم صياغة الاستدلال كمسألة حل مشكلة تحسين غير مقيدة:
  $$a^{(k+1)} = a^{(k)} - \eta_k f_\theta(a^{(k)}, s_t)$$
• الخروج المبكر التكيفي: تتوقف العملية عندما ينخفض معيار الحقل $\|f_\theta\|$ عن حد التسامح $\tau$ (مما يشير إلى التقارب نحو جاذب) أو عند الوصول إلى الحد الأقصى لعدد الخطوات.
  • الحالات البسيطة: تتقارب بسرعة (خطوات قليلة).
  • الحالات المعقدة: تتطلب المزيد من التكرارات من أجل الصقل العميق.
• التركيب المباشر (Plug-and-Play): يمكن لـ GeCO استبدال رؤوس مطابقة التدخل القياسية في نماذج الرؤية-اللغة-الفعل (VLA) (مثل سلسلة $\pi_0$) مع تغييرات معمارية طفيفة (مثل تثبيت تضمين الزمن $t=0$).

الكشف الذاتي عن التوزيع الخارج عن النطاق (OOD)

• إشارة السلامة: يعمل معيار حقل السرعة عند الفعل المُحسّن ككاشف لـ OOD لا يحتاج لتدريب.
  • داخل التوزيع (ID): تتقارب الحالات نحو جواذب منخفضة الطاقة ($\|f_\theta\| \approx 0$).
  • خارج التوزيع (OOD): تفتقر الشذوذات إلى المنطوق المتعلم، مما يؤدي إلى تدرجات مستمرة وغير متلاشية ($\|f_\theta\| \gg 0$).
• يسمح هذا للروبوت باكتشاف الشذوذ وإنهاء التنفيذ مبكراً دون الحاجة لشبكات عدم يقين مساعدة.

3. المساهمات الرئيسية

1. إطار عمل غير مشروط زمنياً: يحول التحكم التوليدي من التكامل ذي الجدول الزمني الثابت إلى التحسين التكيفي، مما يفصل أفق التخطيط عن جداول التدريب.
2. الحوسبة التكيفية: يخصص الميزانية الحسابية ديناميكياً بناءً على تعقيد المهمة، حيث يخرج مبكراً للمهام البسيطة ويقوم بالصقل لفترة أطول للمهام الصعبة.
3. سلامة بدون تدريب: يوفر آلية كشف OOD هندسية ذاتية، مما يتيح اكتشاف الشذوذ بشكل قوي.
4. القابلية للتوسع والتنوع: يظهر تكاملاً سلساً مع نماذج VLA واسعة النطاق (مثل $\pi_0$) ونماذج محولات الانتشار (DiT) كبديل مباشر.

4. النتائج التجريبية

تحقق المؤلفون من صحة GeCO باستخدام معايير المحاكاة القياسية والأجهزة الواقعية.

• المفاضلة بين الكفاءة والأداء (معيار LIBERO):
  • تفوق GeCO بميزانية قدرها 5 خطوات فقط على "التدفق المصحح" (Rectified Flow) ذي الـ 20 خطوة ثابتة في معدل النجاح (91.9% مقابل 90.0%) مع استخدام 75% أقل من الحوسبة.
  • عند ذروة الأداء (ميزانية 20 خطوة)، كان متوسط عدد تقييمات الدالة (NFE) هو 11.6 فقط، مما يثبت أن المُحسّن يخرج مبكراً بشكل طبيعي للحالات البسيطة.
• القابلية للتوسع مع نماذج VLA:
  • في VLABench، حقق GeCO المدمج مع $\pi_0$ متوسط معدل نجاح قدره 36.0%، متفوقاً على نموذج $\pi_0$ الأساسي (29.4%)، مع مكاسب كبيرة في المهام طويلة الأمد والمكثفة في التفكير.
  • في RoboTwin 2.0، في الإعدادات "الصعبة" (عشوائية النطاق)، حسن GeCO معدلات النجاح من 18% إلى 28%، مما أظهر متانة فائقة تجاه الاضطرابات البصرية والفيزيائية.
• الكشف عن OOD:
  • حقق GeCO AUROC بلغ 0.93 في التمييز بين المهام داخل التوزيع وخارج التوزيع، متفوقاً بشكل كبير على الإشارات القائمة على الخسارة (AUROC 0.53).
  • مكن ذلك من توفير 44.3% من الوقت في حلقات الـ OOD عبر تفعيل الإنهاء المبكر.
• النشر في العالم الحقيقي (Galaxea R1 Lite):
  • في المهام عالية الدقة (تجميع الصواميل، ترتيب أنابيب الكيمياء)، حقق GeCO معدلات نجاح 70% و 80% على التوالي، مقارنة بـ 10% و 20% للنموذج الأساسي.
  • حقق هذه المكاسب مع عدد NFE متوسط أقل بكثير (5.1–6.2 مقابل 10.0 ثابتة)، مما أكد الكفاءة في البيئات الفيزيائية غير المهيكلة.

5. الأهمية

يمثل GeCO تقدماً كبيراً في التحكم الروبوتي من خلال معالجة عقبة "التكامل الأعمى" في النماذج التوليدية الحالية.

• الكفاءة: يتيح للروبوتات أن تكون فعالة حسابياً، حيث تنفق الموارد فقط عند الضرورة.
• السلامة: يقدم آلية سلامة ذاتية (zero-shot) هي أمر بالغ الأهمية لنشر الروبوتات في بيئات العالم الحقيقي غير المهيكلة، حيث يعد اكتشاف الشذوذ أمراً حيوياً.
• التعميم: إن قدرته على التوسع مع النماذج التأسيسية (VLA) وتحسين الأداء في البيئات عشوائية النطاق تشير إلى أنه حل متين للجيل القادم من الروبوتات المستقلة.

يعيد هذا العمل تعريف التحكم التوليدي بشكل أساسي كمسألة تحسين، ويقدم بديلاً أكثر تكيفاً وأماناً وكفاءة للنماذج الشرطية بالزمن مثل الانتشار ومطابقة التدفق.