Ergodic Imitation for Adaptive Exploration around Demonstrations

ملخص تقني: التقليد الإرغودي للتكيف الاستكشافي حول العروض التوضيحية

بيان المشكلة
في مجال الروبوتات، يواجه تعلم التقليد (Imitation Learning - IL) تحديًا حاسمًا يتمثل في عدم التطابق بين ظروف التدريب وبيئات التشغيل الناتجة عن التغيرات البيئية، أو الملاحظات غير الكاملة، أو أخطاء التحكم. عندما يحاول الروبوت اتباع مسار اسمي تحت مثل هذه الظروف من عدم التطابق، فإنه غالبًا ما يعلق ويفشل في إتمام المهمة. وبينما استُخدمت النماذج التوليدية العميقة في تعلم التقليد، إلا أنها غالبًا ما تفرط في التخصيص (overfitting) على بيانات العرض التوضيحي، حيث تحفظ تسلسلات إجراءات محددة بدلاً من تعلم سياسات قابلة للتعميم. وبناءً على ذلك، تظل الأساليب الحالية هشة أمام أي تغير طفيف في التوزيع. علاوة على ذلك، فإن أساليب الاستكشاف التكيفي الموجودة تقتصر إلى حد كبير على الانتقالات المنفصلة، وتفتقر إلى قدرات الاستكشاف المستمرة المطلوبة لإجراء تعديلات دقيقة في فضاء الحالة، كما هو الحال في مهام التجميع الروبوتي. وتتمثل المشكلة الجوهرية في الحاجة إلى استراتيجية آنية تظل مرتكزة على العروض التوضيحية ولكن يمكنها الانتقال تكيفيًا من التتبع الصارم إلى الاستكشاف عندما يبتعد المحيط عن توزيع التدريب.

المنهجية
يقترح المؤلفون نهج "التقليد الإرغودي التكيفي" (Adaptive Ergodic Imitation) الذي يوحد بين التتبع والاستكشاف ضمن وحدة تحكم واحدة. تعمل هذه الطريقة على مجموعة بيانات من مسارات حالة الخبراء، مع إغفال تسميات الإجراءات الصريحة للتركيز على تغطية فضاء الحالة.

1. استرداد المرحلة وتقدير التقدم:
عند كل فاصل إعادة تخطيط، يستعلم النظام من مجموعة بيانات الخبير للعثور على السياق الأكثر صلة بناءً على حالة الروبوت الحالية. ويقوم بتعريف "خطأ المرحلة" $e(t)$ عبر مقارنة الحالة الحالية بأقرب نقطة في مسار الخبير. تُستخدم ساعة مرجعية افتراضية $\tau(t)$ لتتبع التقدم:

• وضع التتبع (Tracking Mode): إذا كان خطأ المرحلة ضمن عتبة معينة ($\epsilon$)، تتقدم الساعة، ويقوم النظام بتتبع العرض التوضيحي.
• وضع الاستكشاف (Exploration Mode): إذا تجاوز الخطأ العتبة (مما يشير إلى الركود)، تتوقف الساعة عن التقدم، ويزداد عداد الركود. وتؤدي هذه الإشارة إلى التحول نحو الاستكشاف.

2. توليد التوزيع الموجه هندسيًا:
تولد الطريقة توزيع جسيمات مستهدف $\{q_j\}$ باستخدام معادلة تفاضلية عشوائية (SDE) تمزج بين ثلاثة مكونات بناءً على متغير تقدم يشبه درجة الحرارة $\theta$:

• الجذب الاسمي (Nominal Attraction): حد انجراف يسحب الجسيمات نحو أقرب نقطة في المسار المرجعي.
• درجة نواة الحرارة (Heat-Kernel Score): مصطلح قائم على الدرجة (score-based) يوجه الجسيمات نحو المناطق ذات الكثافة المرجعية العالية.
• الانتشار متباين المناحي (Anisotropic Diffusion): حد انتشار مصمم ليكون أكبر في الاتجاهات العمودية على المسار مقارنة بالاتجاهات المماسية له. وهذا يشجع على الاستكشاف العمودي على المسار مع الحفاظ على التماسك على طوله.

ومع زيادة خطأ المرحلة وعداد الركود، يتسع غلاف الانتشار، مما يسمح للروبوت باستكشاف مجال أوسع حول المسار المرجعي.

3. التحكم الإرغودي الواعي بالتغطية باستخدام MMD:
يستخدم النظام متحكمًا يعتمد على الأفق المتراجع (receding-horizon controller) باستخدام مقياس "التباين الأقصى لمتوسط المربعات" (Maximum Mean Discrepancy - MMD) لتقليل الفرق بين متوسط زيارات حالة الروبوت الزمنية وتوزيع الهدف المولد. ومن خلال تضمين آخر عشر مسارات في هدف MMD، يضمن المتحكم أن الخطط الجديدة تكمل المناطق التي تمت تغطيتها سابقًا بدلاً من إعادة تتبعها. ويمتد هذا الإطار بشكل طبيعي إلى $SE(3)$ وغيرها من الفضاءات المنحنية باستخدام نواة مدركة للهندسة.

المساهمات الرئيسية
يحدد البحث أربع مساهمات رئيسية:

• طريقة موحدة تتيح طيفًا مستمرًا من السلوكيات، يتراوح من التقليد الصارم إلى الاستكشاف التكيفي، محكومًا بالتقليد الإرغودي التكيفي.
• آلية لتقدير تقدم المهمة عبر العرض التوضيحي لتعديل التوزيعات المستهدفة بشكل تكيفي.
• استخدام الانتشار متباين المناحي الموجه هندسيًا لتخليق توزيعات مستهدفة تحفز كلاً من التتبع والاستكشاف.
• دمج مقياس MMD الإرغودي ضمن إطار عمل تعلم التقليد القائم على الاسترداد.

النتائج
تم تقييم الطريقة في بيئة ملاحة ثنائية الأبعاد تتميز بفجوات رأسية ضيقة ومنطقة هدف مزدحمة.

• الإعداد التجريبي: جُمعت عروض توضيحية ناجحة في تخطيط اسمي. وأثناء الاختبار، تم إزاحة مواقع الفجوات لإحداث عدم تطابق في التشغيل.
• الأداء: عندما تعرض الوكيل للانسداد بواسطة جدار (سيناريو عدم تطابق)، اكتشف عدم تطابق تقدم المهمة عبر خطأ المرحلة المتراكم. أدى ذلك إلى توسيع التوزيع المستهدف عبر الانتشار متباين المناحي، مما سمح للمتحكم الإرغودي بالاستكشاف وتجاوز العائق.
• التحليل الكمي: في الاختبارات التي تضمنت 50 إزاحة لموقع البوابة تم أخذ عينات منها من توزيع غاوسي حول التخطيط الاسمي، وجدت الطريقة المقترحة حلولاً باستمرار. وفي المقابل، يشير المؤلفون إلى أن الأساليب القائمة على الاسترداد أو الأساليب التوليدية كانت ستصل على الأرجح إلى معدل نجاح 0% في هذه السيناريوهات الخارجة عن التوزيع بسبب عدم قدرتها على التعامل مع مواقع الفجوات المزاحة.

الأهمية والادعاءات
يضع البحث التحكم الإرغودي ليس مجرد أداة لتغطية المساحات أو البحث، بل كآلية مبدئية للتنفيذ التكيفي في تعلم التقليد. وتكمن الأهمية في التحول من مجرد إعادة تشغيل المسار إلى التكيف الموقفي. ومن خلال معاملة التتبع كحالة خاصة من الاستكشاف، تسمح الطريقة للروبوتات بإعادة إنتاج الخصائص الزمنية للعرض التوضيحي عندما تسمح البيئة بذلك، مع الانتقال تلقائيًا إلى الاستكشاف الإرغودي عندما يصبح الروبوت "عالقًا". ويعالج هذا النهج هشاشة أساليب تعلم التقليد الحالية من خلال توفير طيف سلوكي مستمر يظل مرتكزًا على العروض التوضيحية ومع ذلك قادرًا على التعامل مع التباين البيئي.