🤖 AI

Closed-Loop Action Chunks with Dynamic Corrections for Training-Free Diffusion Policy

تقدم هذه الورقة البحثية إطار عمل DCDP، وهو إطار سياسة انتشار (diffusion policy) لا يتطلب تدريباً، يعزز قدرة الروبوت على التكيف في السيناريوهات الديناميكية من خلال دمج توليد الإجراءات القائم على الكتل مع التصحيحات في الوقت الفعلي ضمن حلقة مغلقة، محققاً تحسينات كبيرة في الأداء دون الحاجة إلى إعادة التدريب.

المؤلفون الأصليون: Pengyuan Wu, Pingrui Zhang, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pengyuan Wu, Pingrui Zhang, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يلعب لعبة التقاط الكرة وهي تتحرك.

الطريقة القديمة (مشكلة "الحلقة المفتوحة"):
تقليدياً، تعمل الروبوتات التي تستخدم "سياسات الانتشار" (Diffusion Policies) مثل عازف بيانو يعزف مقطوعة معقدة من الذاكرة. قبل أن يبدأ، يخطط بدقة للنوتات الـ 16 القادمة (الأفعال). وبمجرد أن يبدأ، ينفذ ذلك التسلسل المخطط له مسبقاً دون النظر إلى ورقة النوتة الموسيقية مرة أخرى.

هذا يعمل بشكل رائع إذا كانت الغرفة هادئة والكرة ثابتة. ولكن ماذا لو بدأت الكرة فجأة في الارتداد بعيداً؟ سيظل الروبوت يعزف النوتات التي خطط لها لبالون ثابت. سيستمر في مد يده إلى حيث كانت الكرة، وليس حيث هي الآن. وبحلول الوقت الذي ينهي فيه هذه الجملة الموسيقية المكونة من 16 نوتة، سيكون قد انحرف عن المسار تماماً. الأمر يشبه قيادة سيارة وأنت مغمض العينين، تعتمد فقط على ذاكرتك للطريق، رغم أن غزالاً قفز فجأة أمامك.

الحل الجديد (DCDP):
ابتكر الباحثون في هذه الورقة، "بينغ يوان وو" وفريقه، نظاماً يسمى DCDP (سياسة الانتشار الديناميكية ذات الحلقة المغلقة). فكر في الأمر كأنك تمنح الروبوت مساعد طيار وزوجاً من المنظار عالي السرعة.

إليك كيف يعمل الأمر، مقسماً إلى تشبيهات بسيطة:

1. "المخطط البطيء" مقابل "المساعد السريع"

المخطط البطيء (سياسة الانتشار): هذا هو عازف البيانو الخبير. إنه بارع في التخطيط طويل الأمد. يعرف أنه: "حسناً، لالتقاط تلك الكرة، أحتاج لتحريك ذراعي في منحنى سلس على مدار ثانيتين القادمتين". يقوم بإنشاء كتلة مكونة من 16 فعلاً دفعة واحدة.
المساعد السريع (مشفر الميزات الديناميكي): هذا هو الإضافة الجديدة. هو لا يحاول إعادة كتابة الأغنية بأكملها. بدلاً من ذلك، هو يراقب الكرة الآن. ينظر إلى الإطارات الأخيرة من الفيديو (مثل مقطع فيلم قصير) ليرى: "مهلاً، الكرة تتحرك جهة اليسار أسرع مما توقعنا!"

2. "التصحيح السحري" (الحقن الديناميكي)

في الأيام الخوالي، إذا أراد الروبوت أن يتفاعل، كان عليه أن يتوقف، وينسى كل شيء، ويعيد تخطيط الأغنية بأكمل-ها من الصفر. كان هذا بطيئاً ويجعل حركة الروبوت مهتزة.

مع DCDP، يفعل الروبوت شيئاً ذكياً:

المخطط البطيء يكتب خطة الـ 16 خطوة.
المساعد السريع يراقب الحركة وهي تحدث.
عند كل خطوة (مثل كل ميلي ثانية)، يهمس المساعد للروبوت: "الكرة تحركت لليسار! عدّل يدك قليلاً جهة اليسار!"
يقوم الروبوت بتصحيح بسيط وفوري للحركة المخطط لها مسبقاً.

الأمر يشبه قيادة سيارة حيث لديك نظام GPS يقترح المسار (الخطة)، ولكن لديك أيضاً ملاحة بشرية تجلس بجانبك وتصرخ: "انعطف يساراً الآن!" لأن سيارة قطعت طريقك. أنت لا توقف السيارة لتعيد تخطيط الرحلة بأكملها؛ بل تقوم فقط بتعديل سريع وسلس.

3. لماذا هي "بدون تدريب مسبق"؟

عادةً، لتعليم روبوت كيفية التفاعل مع الأجسام المتحركة، عليك إعادة تدريبه لأسابيع باستخدام آلاف الأمثلة لكرات متحركة. هذا أمر مكلف وبطيء.

DCDP يشبه تطبيقاً جاهز التشغيل (Plug-and-play). "عقل" الروبوت (سياسة الانتشار) مدرب بالفعل ومثبت. أنت فقط تقوم بتوصيل وحدة "المساعد" الجديدة أثناء المهمة الفعلية. يتعلم الروبوت التفاعل في اللحظة نفسها دون الحاجة للعودة إلى المدرسة. إنه يشبه وضع نظارات ذكية جديدة لعامل سائق خبير؛ فهو لا يحتاج لتعلم القيادة من جديد، بل يرى بشكل أفضل فقط.

النتائج:

في المحاكاة: عندما اختبروا هذا على روبوت يدفع كتلة على شكل حرف T (مهمة "PushT")، أصبح الروبوت أفضل بنسبة 19% في التقاط الأهداف المتحركة.
السرعة: لم يكلف سوى 5% إضافية من قوة الحوسبة. إنه خفيف للغاية.
العالم الحقيقي: اختبروه على روبوتات حقيقية تلتقط أكواباً متحركة وتصب السوائل فيها. تعامل الروبوت مع الفوضى بشكل أفضل بكثير من ذي قبل.

الصورة الكبيرة

تحل هذه الورقة مشكلة رئيسية في الروبوتات: كيف توازن بين التخطيط طويل الأمد ورد الفعل اللحظي؟

الطريقة القديمة: خطط لكل شيء بدقة، لكنك بطيء في رد الفعل.
الطرق الجديدة الأخرى: تتفاعل فوراً، لكنك تفقد خطتك طويلة الأمد وتصبح حركتك مهتزة.
DCDP: تحصل على أفضل ما في العالمين. لديك خطة صلبة طويلة الأمد، ولكن لديك نظام "تصحيح ديناميكي" فائق السرعة يقوم بتعديل الخطة في الوقت الفعلي، مما يجعل حركة الروبوت سلسة، آمنة، وناجحة حتى عندما تسود الفوضى.

باختاً، يمنح DCDP الروبوتات القدرة على الرقص مع الأجسام المتحركة بدلاً من مجرد التعثر عبر نص مكتوب مسبقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Closed-Loop Action Chunks with Dynamic Corrections for Training-Free Diffusion Policy" (DCDP).

1. بيان المشكلة

حققت السياسات القائمة على الانتشار (Diffusion-based policies) نتائج رائدة في مجال التلاعب الروبوتي من خلال توليد تسلسلات أفعال متماسكة وطويلة الأمد (أجزاء الأفعال - action chunks). ومع ذلك، فهي تواجه قيوداً كبيرة في البيئات الديناميكية:

التنفيذ مفتوح الحلقة (Open-Loop Execution): تقوم سياسات الانتشار القياسية بتوليد جزء كامل من الأفعال ( $H$ -horizon) بناءً على ملاحظة واحدة قبل التنفيذ. وبمجرد توليدها، لا يمكن تعديل هذه الأفعال بناءً على الملاحظات الجديدة، مما يؤدي إلى تأخيرات أو حالات فشل عند تحرك الأجسام أو حدوث اضطرابات خارجية.
النمذجة الزمنية غير الكافية: تعتمد الطرق الحالية غالباً على ملاحظات ثابتة أحادية الإطار أو محدودة، وتفشل في التقاط الديناميكيات الزمنية المستمرة.
معضلة المقايضة:
- تقصير الأفق الزمني (على سبيل المثال، $H=1$ ) يحسن الاستجابة ولكنه يضحي بتماسك الأفعال والتخطيط طويل الأمد، مما يؤدي غالباً إلى فشل المهمة.
- التجميعات الزمنية (Temporal ensembles) أو فك التشفير ثنائي الاتجاه (bidirectional decoding) تحاول معالجة ذلك ولكنها تسبب عبئاً حوسبياً عالياً أو تعتمد على بيانات استدلال تاريخية تمنع التصحيح في الوقت الفعلي الحقيقي.

التحدي الجوهري هو تحقيق التحكم مغلق الحلقة في الوقت الفعلي (للتفاعل مع الاضطرابات) مع الحفاظ على التماسك الزمني للتخطيط طويل الأمد، دون الحاجة إلى إعادة تدريب مكلفة لنموذج الانتشار المدرب مسبقاً.

2. المنهجية: إطار عمل DCDP

يقترح المؤلفون إطار عمل DCDP (Dynamic Closed-Loop Diffusion Policy)، وهو إطار عمل معياري لا يتطلب تدريباً جديداً للنموذج الأصلي، يقوم بحقن تصحيحات ديناميكية عالية التردد في سياسة الانتشار المدربة مسبقاً. يعمل النظام عبر مرحلتين:

المرحلة الأولى: تدريب السياسة السريعة المدركة للديناميكيات

يتم تدريب وحدة خفيفة الوزن بشكل منفصل لاستخراج الديناميكيات البيئية والتنبؤ بتعديلات الأفعال.

مشفر الميزات الديناميكية (Dynamic Feature Encoder): يستخدم نافذة منزلقة (بنك التاريخ - History Bank) من الملاحظات الأخيرة ( $O_{t-M+1:t}$ $O_{t - M + 1 : t}$ ).
- الميزات التفاضلية (Differential Features): تحسب الفروق بين الإطارات ( $\Delta X_t$ ) لالتقاط الحركة عالية التردد.
- التعلم الخاضع للإشراف الذاتي: يتم التدريب باستخدام فقدان تبايني (contrastive loss) على هذه الميزات التفاضلية (لا يتطلب تسميات يدوية) لتعلم التغيرات الزمنية.
- آليات الانتباه (Attention Mechanisms): توظف الانتباه الزمني (Temporal Attention) لتعلم التبعيات التسلسلية، والانتباه المتقاطع (Cross-Attention) لدمج الإشارات التفاضلية مع الذاكرة التاريخية.
المشفر-المفكك غير المتماثل للأفعال (Asymmetric Action Encoder-Decoder - VAE):
- المشفر: يضغط أجزاء الأفعال إلى تمثيل كامن ( $z$ ).
- المفكك: يعيد بناء الأفعال مشروطة بكل من المتجه الكامن $z$ والميزات الديناميكية ( $F_M$ ).
- دالة الفقد (Loss Function): تجمع بين فقد إعادة البناء (MSE)، وتباعد KL (للتنظيم الكامن)، وفقد تفاضلي لإجبار المفكك على الاعتماد على الملاحظات الديناميكية.

المرحلة الثانية: الاستدلال الخالي من التدريب والتصحيح الديناميكي

تستخدم هذه المرحلة سياسة الانتشار المدربة مسبقاً (مجمدة) والوحدة الديناميكية المدربة (مجمدة) لأداء تصحيحات في الوقت الفعلي.

المسار البطيء (التخطيط): تقوم سياسة الانتشار المدربة مسبقاً بتوليد جزء أولي من الأفعال مفتوحة الحلقة ( $A_{t:t+H-1}$ ) بناءً على الملاحظة الحالية $o_t$ .
المسار السريع (التصحيح): يقوم مشفر الميزات الديناميكية باستخراج الميزات الديناميكية ( $F_{t+s}$ ) باستمرار من النافذة المنزلقة للملاحظات الأخيرة أثناء التنفيذ.
فك التشفير المشترك (Joint Decoding):
- يتم تشفير جزء الفعل الأولي إلى متجه كامن $z_t$ .
- لكل خطوة $s$ داخل الجزء، يقوم مفكك VAE بإعادة بناء الفعل $\hat{a}_{t+s}$ مشروطاً بـ $z_t$ (الخطة) و $F_{t+s}$ (السياق الديناميكي في الوقت الفعلي).
- هذا يؤدي فعلياً إلى "حقن" التغيرات البيئية في تسلسل الأفعال عند كل خطوة زمنية.
الأفق المتراجع (Receding Horizon): بعد تنفيذ الجزء، يتم تخطيط جزء جديد بناءً على أحدث ملاحظة، وتكرار الدورة.

3. المساهمات الرئيسية

إطار عمل مغلق الحلقة ديناميكي: يدمج التخطيط طويل الأمد مع التصحيح في الوقت الفعلي، مما يحافظ على اتساق سياسات الانتشار مع تمكين الاستجابة السريعة للتغيرات البيئية.
تصميم معياري وخالٍ من التدريب: لا تتطلب الطريقة إعادة تدريب سياسة الانتشار الأصلية؛ فهي تعمل كوحدة "وصل وشغل" (plug-and-play) يمكن إدراجها في السياسات القائمة على أجزاء الأفعال.
استخراج الميزات الديناميكية خفيف الوزن: يقدم مشفراً ذاتي الإشراف يلتقط الديناميكيات عالية التردد عبر الميزات التفاضلية وآليات الانتباه، مما يتطلب حوسبة دنيا.
تصحيح الأفعال غير المتماثل: يستخدم آلية قائمة على VAE لفصل الخطة طويلة الأمد (المساحة الكامنة) عن التصحيحات في الوقت الفعلي (الميزات الديناميكية)، مما يضمن الاستقرار مع السماح بالمرونة.

4. النتائج التجريبية

تم تقييم الطريقة في مهمة محاكاة PushT ومهمتين من مهام التلاعب في العالم الحقيقي (نقل كوب وتحريكه، وصب سائل في كوب متحرك).

الأداء في السيناريوهات الديناميكية:
- في مهمة PushT مع وجود اضطرابات عشوائية، حسنت DCDP معدل النجاح بنسبة 19% مقارم سياسة الانتشار الأصلية مفتوحة الحلقة (71.9% مقابل 52.8%).
- تفوقت على غيرها من النماذج المرجعية، بما في ذلك الأنظمة مغلقة الحلقة القياسية ( $H=1$ ) والتجميعات الزمنية.
الكفاءة الحوسبية:
- أضافت DCDP فقط 5% من العبء الحوسبي الإضافي مقارنة بالاستدلال القياسي مفتوح الحلقة.
- كان زمن انتقال الاستدلال (Latency) هو 7.39 مللي ثانية، وهو أقل بكثير من الـ 53.60 مللي ثانية المطلوبة لاستراتيجيات الحلقة المغلقة القياسية ( $H=1$ )، مما يسمح بالتحكم عالي التردد.
السيناريوهات الثابتة:
- على عكس طرق الحلقة المغلقة القياسية التي قد يتدهور أداؤها في الإعدادات الثابتة بسبب عدم استمرار الأفعال، حافظت DCDP على أداء عالٍ (معدل نجاح 92.5%) في المهام الثابتة، مما يثبت أنها لا تضر بالتخطيط طويل الأمد.
التحقق في العالم الحقيقي: أظهرت قدرة على التكيف في مهام العالم الحقيقي التي تتضمن أهدافاً متحركة واضطرابات غير مؤكدة.

5. الأهمية

تعالج DCDP عقبة حرجة في التعلم الروبوتي: عدم قدرة النماذج التوليدية القوية (مثل سياسات الانتشار) على التفاعل مع البيئات الديناميكية دون التضحية بقدراتها التخطيطية.

العملية: لكونها خالية من إعادة التدريب، فهي تتيح للباحثين والمهندسين ترقية السياسات المدربة مسبقاً للتعامل مع المهام الديناميكية فوراً، دون تكلفة جمع بيانات جديدة أو إعادة تدريب النماذج الضخمة.
القابلية للتوسع: طبيعتها المعيارية تجعلها قابلة للتطبيق على مختلف الأنظمة الروبوتية واستراتيجيات أجزاء الأفعال.
المتانة: تسد الفجوة بين استقرار التخطيط مفتوح الحلقة وسرعة استجابة التحكم مغلق الحلقة، مما يجعل التلاعب الروبوتي أكثر جدوى في البيئات الواقعية غير المنظمة حيث تتحرك الأجسام وتحدث الاضطرابات.