تخيل أنك تحاول تعليم روبوت مهمة معقدة، مثل صنع شطيرة أو فتح درج، من خلال مراقبة إنسان يقوم بها. يُسمى هذا المجال "التعلم بالتقليد" (Imitation Learning)، أو بشكل أكثر تحديداً "النسخ السلوكي" (Behavioral Cloning). فكر في الأمر كطالب ينسخ واجبات مدرسية من معلمه. يراقب الروبوت فيديو لإنسان يحرك ذراعه ويحاول تعلم القواعد ليتمكن من فعل الشيء نفسه بمفرده.

التحدي الكبير هنا هو أن العالم فوضوي. إذا ارتكب الروبوت خطأً طفيفاً، فقد يبدو المشهد التالي مختلفاً تماماً عما رآه في فيديو التدريب. هذا يشبه محاولة المشي على حبل مشدود؛ إذا تعثرت، قد تسقط عن المسار تماماً. وللتعامل مع هذا، يستخدم العلماء غالباً خدعة تسمى "تجميع الأفعال" (Action Chunking). فبدلاً من إخبار الروبوت "حرك يدك للأمام بوصة واحدة" ثم الانتظار ليرى ما سيحدث قبل إعطاء التعليمات التالية، فإنهم يخبرونه "حرك يدك بوصة واحدة للأمام، ثم أخرى، ثم أخرى" دفعة واحدة. الأمر يشبه إعطاء الروبوت جملة كاملة من التعليمات بدلاً من كلمة واحدة فقط. لقد كان هذا هو "السر الخفي" لجعل الروبوتات تعمل بشكل جيد، ولكن لم يكن أحد متأكداً تماماً من لماذا يعمل ذلك بشكل أفضل من مجرد إعطاء تعليم واحد في كل مرة.

هذه الورقة البحثية هي غوص عميق في هذا الغموض. قرر المؤلفون، وهم فريق من الباحثين من جامعات مثل جامعة كاليفورنيا بيركلي وجامعة بوليتكنيكو دي ميلانو، لعب دور المحقق. أرادوا معرفة: هل السبب هو أن الروبوت يصبح أكثر اتساقاً؟ أم لأنه ينظر إلى مسافة أبعد في المستقبل؟ أم أنه شيء آخر تماماً؟ لقد أجروا مئات التجارب في محاكاة حاسوبية وحتى على روبوتات حقيقية في المختبر لمعرفة السبب الحقيقي وراء سحر "تجميع الأفعال".

تحقيق "لماذا العظيم"

لفترة طويلة، اعتقد الجميع أن هناك ثلاثة أسباب رئيسية تجعل إعطاء الروبوت "كتلة" (chunk) من الأفعال أمراً مفيداً:

1. الاتساق الزمني (Temporal Consistency): الفكرة القائلة بأن البشر يتحركون بسلاسة، وأن التجميع يساعد الروبوت على تقليد هذه السلاسة بشكل أفضل من الروبوت الذي يفكر خطوة واحدة فقط في كل مرة.
2. تقليل الأفق (Horizon Reduction): الفكرة القائلة بأنه من خلال التخطيط لعدة خطوات للأمام، لا يضطر الروبوت للقلق بشأن ارتكاب الأخطاء في المستقبل البعيد، مما يقلل من فرص ضياعه.
3. تعلم التمثيل (Representation Learning): الفكرة القائلة بأن محاولة التنبؤ بتسلسل كامل من الحركات يساعد "دماغ" الروبوت على تعلم "سمات" أفضل عن العالم، مما يجعله أكثر ذكاءً بشكل عام.

وضع المؤلفون هذه الأفكار قيد الاختبار. قاموا ببناء نوع خاص من "سياسة الروبوت" (مجموعة من القواعد لكيفية تصرف الروبوت) يمكنها التنبؤ بكتلة من 20 فعلاً في وقت واحد. ثم أنشأوا نسخة "مؤخرة" (delayed) من هذه السياسة. السياسة المؤخرة تشبه قليلاً روبوتاً ينظر إلى ما رآه قبل 5 أو 10 ثوانٍ ليقرر ما سيفعله الآن. إنها لا تتنبأ بتسلسل مستقبلي كامل؛ بل تتنبأ بالحركة التالية فقط، لكنها تبني ذلك التنبؤ بناءً على ملاحظة قديمة.

المفاجأة: عندما اختبروا هذه الأفكار، وجدوا أن النظريتين الأولتين الشائعتين كانتا خاطئتين، أو على الأقل لم تكونا القصة الكاملة.

• وجدوا أن الاتساق الزمني لم يكن هو البطل. فالروبوت الذي ينظر فقط إلى الماضي (السياسة المؤخرة) يمكنه تقليد سلاسة الإنسان بنفس كفاءة الروبوت الذي يتنبأ بكتلة كاملة.
• كما وجدوا أن تقليل الأفق لم يكن السبب الرئيسي. فبينما يقلل التنبؤ بكتلة من الأفعال بالفعل من "الأفق" (المسافة في المستقبل التي يخطط لها الروبوت)، إلا أن السياسة المؤخرة يمكنها تحقيق نفس التقليل في الأخطاء دون الحاجة للتخطيط لتسلسل كامل.

إذن، إذا لم تكن تلك النظريات الشهيرة هي الإجابة، فما هي؟

السر الحقيقي: "المجموعة الضمنية"

تكشف الورقة أن القوة الخارقة الحقيقية لتجميع الأفعال هي ما يسميه المؤلفون "المجموعة الضمنية" (Implicit Ensembling).

تخيل أنك تحاول تخمين حالة الطقس. يمكنك سؤال صديق واحد ينظر من النافذة كل ساعة. أو يمكنك سؤال خمسة أصدقاء مختلفين ينظرون من النافذة في أوقات مختلفة: أحدهم ينظر في الساعة 9:00، والآخر في 9:05، والثالث في 9:10، وهكذا. حتى لو كانوا جميعاً ينظرون إلى السماء نفسها، فإن وجهات نظرهم المختلفة قد تساعدك في تقديم تخمين أفضل.

هذا بالضبط ما يفعله الروبوت الذي يستخدم تجميع الأفعال. فعندما يتعلم التنبؤ بتسلسل من 20 فعلاً، فإنه يتعلم سراً 20 "رؤية" مختلفة للمشكلة في آن واحد.

• للتنبؤ بـ الفعل الأول في الكتلة، فإنه ينظر إلى الملاحظة الحالية.
• للتنبؤ بـ الفعل الثاني، فإنه ينظر إلى الملاحظة الحالية (لكنه يتخيلها في المستقبل بخطوة واحدة).
• للتنبؤ بـ الفعل الثالث، فإنه ينظر إلى الملاحظة الحالية (متخيلاً إياها بخطوتين في المستقبل).

من خلال التدريب على كل هذه العلاقات الزمنية المزاحة في وقت واحد، يبني الروبوت فعلياً "فريقاً من الخبراء" داخل دماغه. الأمر يشبه وجود لجنة مكونة من 20 روبوتاً مختلفاً، لكل منها "تأخير" مختلف قليلاً في كيفية رؤيته للعالم، وكلهم يصوتون على ما يجب فعله تالياً. تأثير هذه "اللجنة" يجعل الروبوت أكثر قوة وأقل عرضة لارتكاب الأخطاء السخيفة.

لحظة الاستنارة والحل الجديد

الجزء الأكثر إثارة في الورقة هو ما فعله المؤلفون بهذا الاكتشاف. بما أنهم أدركوا أن السحر لم يكن في "الكتلة" نفسها، بل في حقيقة أن الكتلة خلقت هذه "اللجنة" من المنظورات الزمنية المختلفة، فقد تساءلوا: هل يمكننا الحصول على نفس الفائدة دون استخدام الكتل على الإطلاق؟

لقد جربوا حيلة ذكية تسمى "المجموعات ذات التأخير العشوائي" (Randomized Delay Ensembles). بدلاً من تدريب روبوت واحد للتنبؤ بكتلة من الأفعال، قاموا بتدريب مجموعة من الروبوتات. كل روبوت في المجموعة كان عبارة عن "سياسة مؤخرة"، لكن تم تدريبهم جميعاً للنظر إلى الماضي بتأخير مختلف (أحدهم ينظر للخلف خطوة واحدة، والآخر خطوتين، والثالث ثلاث خطوات، وهكذا). وعندما يحين وقت العمل، لم يختاروا روبوتاً واحداً فحسب؛ بل اختاروا بشكل عشوائي واحداً من المجموعة لاتخاذ القرار.

كانت النتائج مذهلة. في محاكاتهم والاختبارات الواقعية (مثل وضع جزرة في وعاء أو إخراج خبز من محمصة)، حقق هذا الفريق من "التأخير العشوائي" أداءً يضاهي روبوت تجميع الأفعال التقليدي. وفي بعض الحالات، تفوق عليه!

ماذا يعني هذا للمستقبل؟

تشير الورقة إلى أننا لسنا بحاجة بالضرورة لإجبار الروبوتات على التنبؤ بتسلسلات طويلة من الأفعال لجعلها ذكية. لقد كانت "الكتلة" مجرد وسيلة مريحة لإنشاء "فريق من الخبراء" عن طريق الصدفة. ومن خلال بناء هذا الفريق صراحةً باستخدام تأخيرات زمنية مختلفة، يمكننا الحصول على نفس النتائج (أو حتى نتائج أفضل).

هذا لا يعني أن تجميع الأفعال عديم الفائدة؛ بل يعني أننا نفهم الآن لماذا يعمل. الأمر يشبه إدراك أن محرك السيارة يعمل ليس بسبب لون الطلاء، بل بسبب شمعات الاحتراق (البواجي). الآن بعد أن عرفنا أن شمعات الاحتراق (تأثير المجموعة) هي المفتاح، يمكننا بناء محركات أفضل لا تحتاج إلى طبقة الطلاء الثقيلة والمعقدة (كتل الأفعال الطويلة) لتعمل بسرعة.

يوضح المؤلفون أنه في عالم الروبوتات الفوضوي، يعد النظر إلى الماضي من زوايا مختلفة طريقة قوية للتعلم. لقد أثبتوا ذلك في عمليات محاكاة حاسوبية لـ 90 مهمة مختلفة وعلى روبوتات حقيقية تقوم بمهام فيزيائية. وبينما لا يمكنهم الوعد بأن هذا سيحل كل مشاكل الروبوتات في العالم، إلا أن تجاربهم تشير بقوة إلى أن مستقبل تعلم الروبوتات قد لا يتعلق بالتنبؤ بالمستقبل البعيد، بل ببناء فريق متنوع من الخبراء "المسافرين عبر الزمن" لتقرير ما يجب فعله الآن.