ملخص تقني: تعلم قطع الأفعال المستمرة عالية التردد في الفضاء الكامن

1. بيان المشكلة

تستخدم السياسات الروبوتية الحديثة بشكل متزايد تقطيع الأفعال (Action Chunking) — أي التنبؤ بتسلسلات أفعال ممتدة زمنياً بدلاً من أوامر الخطوة الواحدة — لنمذجة المسارات المعقدة والاعتمادات طويلة المدى. وبينما يعد هذا النهج فعالاً عند ترددات الأفعال المتوسطة، إلا أنه يواجه تحديات كبيرة عند التوسع إلى ترددات عالية (مثل 60 هرتز).

عند الترددات العالية، تفشل السياسات التي تتدرب مباشرة في فضاء الفعل في توليد أفعال تتسم بالنعومة الزمنية والاتساق المكاني. ويؤدي ذلك إلى:

• مسارات متذبذبة (Jittery trajectories): ضوضاء وعدم دقة عالية التردد.
• حركة التوقف والانطلاق (Stop-and-go motion): تجبر عملية التقطيع ذات التردد المنخفض على تكرار التسارع والتباطؤ، مما يسبب انخفاضات في السرعة وحركات متقطعة.
• فجوات الاستنتاج غير المتزامنة (Asynchronous inference gaps): يتطلب التنفيذ في الوقت الفعلي تداخلاً بين استنتاج السياسة وتنفيذ الفعل. ومع ذلك، فإن التبديل بين القطع المستنتجة بشكل غير متزامن قد يؤدي إلى حدوث انقطاعات كبيرة عند حدود القطع، مما يسبب توقفات مرئية، وتراجعات (rollbacks)، وتدهور جودة التنفيذ.

البدائل الحالية، مثل التدريب عند ترددات منخفضة ثم الاستيفاء (interpolation) للوصول إلى ترددات عالية، تضاعف أخطاء التنبؤ وتفشل في استعادة بنية الحركة الدقيقة المطلوبة للتحكم السلس.

2. المنهجية

يقترح المؤلفون نهجاً ذا شقين لمعالجة هذه التحديات: نقل التعلم إلى فضاء كامن (Latent Space) وتقديم استراتيجية تنفيذ خالية من التدريب تسمى إعادة الاستخدام ثم الصقل (Reuse-then-Refine - RTR).

2.1. التعلم في الفضاء الكامن عبر المشفر التلقائي التبايني (VAE)

بدلاً من التنبؤ بقطع الأفعال عالية التردد مباشرة في فضاء الفعل، تتعلم السياسة التنبؤ في فضاء كامن مستمر يتم ضغطه بواسطة مشفر تلقائي تبايني (VAE).

• المشفر (Encoder): يقوم بضغط قطعة فعل عالية التردد $A_t \in \mathbb{R}^{H \times c}$ (حيث $H$ هو الأفق و $c$ هو بُعد الفعل) إلى تمثيل كامن منخفض الأبعاد ومخفض التردد زمنياً $z \in \mathbb{R}^{h \times d}$ (ح حيث $h = H/f$ و $f$ هو عامل خفض العينة).
• تدريب السياسة: يتم تدريب السياسة $\pi_\theta$ لربط الملاحظات $o_t$ بالمتجهات الكامنة $z$، بدلاً من الأفعال الخام.
• المفكك (Decoder): يقوم مفكك VAE ثابت بإعادة بناء قطعة الفعل عالية التردد من المتجه الكامن المتنبأ به.
• الآلية: ينقل هذا الصياغة هدف التعلم من تغيرات الأفعال دقيقة التفاصيل وعالية التردد إلى أنماط حركة محلية متماسكة. تشجع تنظيمات KL هذه الأنماط على الاستقرار ضمن منحنى (manifold) كامن أكثر نعومة، مما يقلل من عبء التقريب الوظيفي ويحد من الاضطرابات العشوائية عالية التردد.

2.2. إعادة الاستخدام ثم الصقل (RTR)

لضمان الاستمرارية بين قطع الأفعال المتجاورة تحت ظروف الاستنتاج غير المتزامن (حيث يؤدي تأخير الاستنتاج إلى عدم محاذاة بين القطعة المتنبأ بها والحالة الراهنة للروبوت)، قدم المؤلفون استراتيجية RTR.

• إعادة الاستخدام (Reuse): بدلاً من التخلص من الأفعال القديمة من القطعة السابقة أو القطعة الجديدة المستنتجة حديثاً، تقوم RTR بإعادة استخدام الأفعال التي تم تنفيذها خلال نافذة الاستنتاج.
• الدمج (Concatenation): يتم دمج هذه الأفعال المعاد استخدامها مع الجزء غير المنتهي من قطعة الفعل المتنبأ بها حديثاً، مما يشكل تسلسلاً وسيطاً غير متوافق زمنياً.
• الصقل (Refine): يتم تغذية هذا التسلسل المدمج إلى مشفر VAE للحصول على تمثيل كامن، والذي يتم بعد ذلك فكه.
• النتيجة: يقوم مفكك VAE بتنعيم التناقضات داخل التسلسل المدمج مع الحفاظ على المحاذاة مع أحدث الأفعال المنفذة، مما يضمن انتقالاً سلساً بين القطع دون الحاجة إلى تدريب إضافي للسياسة.

3. المساهمات الرئيسية

1. التعلم عالي التردد في الفضاء الكامن: يثبت أن تعلم سياسات الأفعال عالية التردد في فضاء كامن مستمر (عبر VAE) ينتج مسارات أكثر نعومة ودقة مقارنة بالتعلم المباشر في فضاء الفعل، خاصة للنماذج التي تعتمد على التقطيع الرمزي (مثل OpenVLA-OFT).
2. إعادة الاستخدام ثم الصقل (RTR): يقترح استراتيجية خالية من التدريب لتحسين الاستمرارية على مستوى القطعة تحت الاستنتاج غير المتزامن. وخلافاً للطرق السابقة (مثل RT-C) التي تشترط توليد الأفعال بناءً على القطع السابقة في فضاء الفعل، تستفيد RTR من VAE لصقل التسلسلات المختلطة من الأفعال المعاد استخدامها والأفعال الجديدة.
3. التحقق التجريبي: يقدم تقييمات واسعة النطاق في العالم الحقيقي على ثلاث مهام غنية بالتلامس (تقشير الخيار، مسح المزهرية، الكتابة على السبورة) باستخدام ثلاث بنيات سياسات متميزة (Diffusion Policy, OpenVLA-OFT, PI0.5).

4. النتائج التجريبية

يقيم البحث الأداء باستخدام مقاييس الدقة (متوسط الخطأ المطلق/الانحراف)، والنعومة (الارتجاج/Jerk)، والسلامة (عدد مرات تجاوز حدود السرعة)، وزمن الاستجابة (Latency).

• الدقة والنعومة: تتفوق السياسات الكامنة باستمرار على نظيراتها في فضاء الفعل. على سبيل المثال، في مهمة "الكتابة على السبورة"، قللت النسخة الكامنة من OpenVLA-OFT من الارتجاج من 5.24 إلى 0.56 وحسنت معدلات النجاح بشكل كبير.
• التنفيذ غير المتزامن: نجحت RTR في القضاء على حالات "التوقف" و"التراجع" الملحوظة في التنفيذ غير المتزامن الساذج. في مهمة "الكتابة على السبورة" مع PI0.5، قللت RTR من الارتجاج من 4.984 (الأصلي) إلى 1.754 (النموذج الكامن + RTR) وألغت آثار التراجع المرئية.
• زمن الاستجيدابة (Latency): من خلال تمكين تنفيذ أكثر سلاسة دون الحاجة لتكرار التسارع والتباطؤ وتقليل التوقفات، تحقق الطريقة المقترحة زمناً أقل للاستجابة من البداية إلى النهاية مقارنة بالنماذج ذات التردد المنخفض والبدائل الأخرى عالية التردد.
• الدراسة الاستقصائية (Ablation): تؤكد الدراسة أن الضغط الزمني المعتدل (مثل نسبة خفض العينة $f=4$) يحسن التوازن بين الدقة والنعومة، بينما يؤدي الضغط الشديد إلى تدهور الأداء. كما تظهر أن تطبيق طرق الاستمرارية مثل RT-C مباشرة في الفضاء الكامن غير فعال، بينما صُممت RTR خصيصاً لهذا الإعداد.

5. الأهمية والادعاءات

يشير المؤلفون إلى أن عملهم يسلط الض الضوء على أهمية التصميم المشترك للتمثيل والتنفيذ للتحكم الروبوتي عالي التردد.

• الأثر العملي: يوفر النهج مساراً عملياً للروبوتات لتنفيذ مهام معقدة وغنية بالتلامس بشكل مستمر مع تقليل فترات التوقف والحركات المتذبذبة في البيئات الواقعية.
• القدرة على التعميم: تحسن الطريقة الأداء عبر بنيات متنوعة (Diffusion, VLA/Flow-based)، وهي متوافقة مع أطر تعلم التقليد الحالية دون الحاجة لإعادة تدريب بنية السياسة الأساسية، بل يتطلب الأمر فقط إضافة VAE واستراتيجية استنتاج RTR.
• القيود: يشير المؤلفون إلى أن تجاربهم مقيدة حالياً بتردد 60 هرتز بسبب معدلات أخذ عينات المستشعرات، وأن مدى قابلية تطبيق RTR على السياسات التي تتدرب مباشرة في فضاء الفعل (بدون سياسة كامنة) يظل سؤالاً مفتوحاً يتطلب مزيداً من البحث.

يخلص البحث إلى أن التعلم في الفضاء الكامن جنباً إلى جنب مع RTR يتيح تنفيذاً روبوتياً مستقراً ومستمراً وسلساً، مما يعزز موثوقية التحكم عالي التردد في البيئات الفيزيائية.