DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning

غالباً ما يبدو تعليم روبوت مهمة جديدة مثل تعليم طفل ركوب الدراجة الهوائية؛ فأنت تريه كيف يحافظ على توازنه، فيحاول، ثم يترنح، ثم يسقط. إذا قمت ببساطة بتسجيل كل لحظة ترنح وسقوط وأجبرت الروبوت على حفظ تلك اللحظات بدقة، فإنه سيتعلم في النهاية تجنب السقوط في تلك النقاط المحددة، لكنه سيظل عاجزاً بمجرد مواجهة نتوء مختلف قليلاً أو هبة ريح جديدة. هذه مشكلة أساسية في علم الروبوتات تُعرف باسم "انزياح المتغيرات" (covariate shift). يتعلم الروبوت كيفية التنقل في المسار الذي عُرِض عليه، ولكن بمجرد ارتكاب خطأ صغير، ينحرف إلى موقف لم يره من قبل، حيث لا تقدم له تدريباته أي توجيه، مما يؤدي إلى سلسلة من الأخطاء المتتالية.

ولإصلاح ذلك، يستخدم الباحثون طريقة تسمى "التعلم بالتقليد التفاعلي". فبدلاً من مجرد مشاهدة فيديو، يحاول الروبوت أداء المهمة، وعندما يبدأ في الخطأ، يتدخل خبير بشري أو برنامج حاسوبي مثالي ليُظهر له الحركة الصحيحة، ثم يتدرب الروبوت مرة أخرى. ومع ذلك، فإن لهذا النهج تكلفة خفية: فوقت الخبراء هو المورد الأكثر ندرة. فلا يمكن للمعلم البشري أن يكون متاحاً للأبد، وحتى البرنامج الحاسوبي المثالي يستغرق وقتاً لتوليد عرض توضيحي. والسؤال الجوهري إذن ليس فقط كم مرة يجب طلب المساعدة، بل ما الذي يجب طلبه بالضبط. فإذا طلبت المساعدة في كل مرة يتعثر فيها الروبوت، فقد ينتهي بك الأمر بطلب نفس التصحيح مراراً وتكراراً، مما يهدر وقتاً ثميناً في مشكلة قد حلها الروبوت بالفعل، بينما تتجاهل خطأً آخر أكثر خطورة يستمر الروبوت في ارتكابه.

قام فريق من الباحثين في جامعة ديكين بأستراليا باقتراح طريقة جديدة لإدارة هذا المورد المحدود، أطلقوا عليها اسم نظام DISEIL. ويشير عملهم، الذي تم اختباره في سلسلة من المحاكاة الحاسوبية، إلى أن مفتاح التعلم الفعال لا يكمن فقط في رد الفعل تجاه الفشل، بل في فهم النمط الكامن وراءه. فبدلاً من معاملة كل خطأ كحدث فريد، يقوم نظام DISEIL بالنظر في مجموعة من محاولات الفشل ويصنفها إلى فئات بناءً على كيفية ومكان وقوع الخطأ. ثم يطلب من الخبير عرضاً توضيحياً يستهدف تحديداً الفئة الأكثر شيوعاً أو الأكثر خطورة من حالات الفشل، بدلاً من مجرد إصلاح الخطأ الفردي الذي حدث للتو.

تبدأ العملية عندما يحاول الروبوت أداء مهمة ويفشل. النظام لا يستدعي المساعدة فوراً، بل ينتظر حتى يجمع الروبوت مجموعة صغيرة من محاولات الفشل. بعد ذلك، يقوم بتحليل حالات الفشل هذه لإيجاد خيط مشترك. تخيل روبوتاً يحاول دفع كتلة عبر طاولة؛ قد يفشل لأنه يدفع بقوة كبيرة، أو لأنه يفقد قبضته، أو لأنه يبدأ من زاوية خاطئة. يستخدم DISEIL وصفاً رياضياً لموقع الروبوت وموقع الجسم في لحظة بدء الفشل لتصنيف هذه الأخطاء إلى مجموعات. قد يجد أن نصف حالات الفشل حدثت لأن الروبوت فقد الاتصال بالكتلة، بينما حدث النصف الآخر لأن الكتلة دُفعت خارج الطاولة.

بمجرد تجميع حالات الفشل، يجب على النظام تحديد أي مجموعة سيقوم بإصلاحها أولاً. فهو يبحث عن المجموعة التي تظهر بشكل متكرر أو تسبب أكثر الأخطاء جسامة. ثم يستخدم نموذج لغة ضخماً (LLM)، وهو نوع من الذكاء الاصطناعي القادر على فهم النصوص والصور، لقراءة تفاصيل حالات الفشل في تلك المجموعة. يصف النموذج ما حدث بلغة بسيطة، مثل "فقد الروبوت الاتصال بالكتلة أثناء النقل". يساعد هذا الوصف النظام على فهم طبيعة المشكلة.

وتأتي الخطوة الأكثر ابتكاراً بعد ذلك: وهي تحديد أين يجب أن يبدأ الخبير العرض التوضيحي الجديد. في الطرق التقليدية، يتم استدعاء الخبير في اللحظة التي يفشل فيها الروبوت، ويبدأ العرض التوضيحي من نقطة الفشل تلك بالضبط. وهذا يعني غالباً أن على الخبير إظهار كيفية التعافي من فوضى قد حدثت بالفعل. ومع ذلك، يطلب DISEIL من الخبير بدء العرض التوضيحي في وقت أبكر، من وضع يكون فيه الروبوت لا يزال على المسار الصحيح ولكنه على وشك ارتكاب نوع الخطأ الذي يكرره باستمرار. هذا يشبه مدرب القيادة الذي لا ينتظر حتى تصطدم السيارة بالرصيف، بل يتدخل عندما يوشك السائق على الانحراف نحو المسار الآخر، ليريه كيف يلتزم بمساره قبل وقوع الخطأ.

ولضمان أن يكون الطلب عملياً، يتحقق النظام من مجموعة من القواعد المتعلقة بالعالم الفيزيائي؛ حيث يتأكد من أن وضع البداية الذي يُطلب من الخبير تقديم العرض التوضيحي فيه هو وضع يمكن للروبوت الوصول إليه فعلياً وأن المسار نحو الهدف خالٍ من العوائق. إذا كان الطلب مستحيلاً، يقوم النظام بتعديله حتى يصبح قابلاً للتنفيذ، وعندها فقط يطلب من الخبير العرض التوضيحي. وتتم عملية التحليل والتجميع والتخطيط هذه بالكامل قبل استدعاء الخبير، مما يضمن استثمار كل دقيقة من وقت الخبير في الدرس الأكثر قيمة.

اختبر الباحثون هذا النهج في خمس مهام محاكاة مختلفة، تراوحت من لعبة ملاحة بسيطة في شبكة إلى حركات ذراع روبوتية معقدة مثل رفع مكعب، أو مسح سطح، أو فتح باب. وقارنوا DISEIL بعدة طرق موجودة تحدد متى تطلب المساعدة. وفي كل اختبار، أدت الطريقة الجديدة إلى معدل نجاح أعلى للروبوت بعد عرضه لنفس عدد العروض التوضيحية. وكان هذا التفوق أكثر وضوحاً عندما كان عدد العروض التوضيحية المسموح بها صغيراً؛ فمع ميزانية ضيقة مكونة من عشرة عروض توضيحية فقط، تفوق DISEIL على أفضل طريقة تالية بنحو تسع نقاط مئوية. ومع زيادة الميزانية، تقلصت الفجوة، لكن الطريقة الجديدة ظلت الأكثر فعالية.

كما كشفت الدراسة عن الأجزاء التي تقوم بالجهد الأكبر في النظام. فقد أجرى الباحثون اختبارات حيث قاموا بإزالة مكونات مختلفة من DISEIL واحداً تلو الآخر، ووجدوا أن الجزء الأكثر أهمية هو القدرة على تجميع حالات الفشل في أنماط متكررة. فعندما أزالوا خطوة التجميع هذه واكتفوا باختيار أسوأ فشل فردي لإصلاحه، انخفض أداء الروبوت بشكل كبير. كانت نماذج اللغة التي وصفت حالات الفشل وكتبت الطلبات مفيدة، لكنها لم تكن المحرك الأساسي للنجاح؛ إذ كان الاختراق الحقيقي هو استراتيجية توزيع العروض التوضيحية المحدودة على الأنواع المختلفة من الأخطاء التي يرتكبها الروبوت، بدلاً من ترك الروبوت عالقاً في إصلاح نفس الخطأ مراراً وتكراراً.

يقتصر هذا العمل حالياً على عمليات المحاكاة الحاسوبية. فقد استخدم الباحثون مزيجاً من الخبراء البشر، والبرامج الحاسوبية المبرمجة، والسياسات الحاسوبية المتعلمة للقيام بدور المعلمين. وفي العالم الحقيقي، قد يكون المعلم البشري متعباً، أو غير متسق، أو غير قادر على أداء المهمة بشكل مثالي، كما سيتعين على الروبوت الفيزيائي تقدير موضعه باستخدام الكاميرات والمستشعرات، مما يضيف أخطاءً لم تكن موجودة في المحاكاة. ويقر الباحثون بأن الانتقال من عالم رقمي مثالي إلى عالم فيزيائي فوضوي يمثل تحدياً كبيراً. كما يشيرون إلى أن نظامهم يركز حالياً على جولة واحدة من التدريب في كل مرة، ولا يتتبع بعد ما تعلمه الروبوت على مدى فترات طويلة من الأشهر أو السنوات.

رغم هذه القيود، تقدم النتائج مساراً واضحاً لجعل تعلم الروبوتات أكثر كفاءة. الفكرة الجوهرية هي أن الإشراف هو خيار تصميمي، وليس مجرد رد فعل للفشل. فمن خلال اختيار بعناً أي فشل يجب تصحيحه ومن أين تبدأ الدروس، يمكننا تعليم الروبوتات أكثر بجهد أقل. وفي عالم يكون فيه وقت الخبراء باهظ الثمن والبيانات وفيرة، فإن القدرة على طرح السؤال الصحيح في الوقت الصحيح قد تكون هي الفرق بين روبوت يتعلم ببطء وروبوت يتعلم بسرعة. تشير الدراسة إلى أن مستقبل تعلم الروبوتات لا يكمن في جمع المزيد من البيانات، بل في تنسيقها بذكاء، لضمان أن كل عرض توضيحي له قيمته.