PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning

تخيل أنك تحاول تعليم روبوت كيف يمشي، لكن ليس لديك دليل إرشادي، ولا يمكنك كتابة قائمة من القواعد مثل "ارفع قدمك اليسرى 10 سنتيمترات". بدلاً من ذلك، عليك أن تعمل كمدرب صارم ولكن متعاون. في كل مرة يقوم فيها الروبوت ببعض الخطوات، تشاهد محاولتين مختلفتين وتقول ببساطة: "لقد أعجبتني الثانية أكثر". هذا هو جوهر التعلم المعزز القائم على التفضيلات (PbRL). إنها طريقة لتعلم الآلات سلوكيات معقدة بمجرد الاستماع إلى آراء البشر، دون الحاجة إلى بطاقة تقييم مكتوبة مسبقاً.

ومع ذلك، هناك مشكلة شائكة في أسلوب التدريب هذا. إذا استمر الروبوت في فعل الشيء نفسه مراراً وتكراراً، ستشعر بالملل في النهاية. قد تقول: "حسناً، كلتا المحاولتين كانتا جيدتين"، أو "لا أستطيع ملاحظة الفرق"، لأن الروبوت لا يريك أي شيء جديد. إذا كان الروبوت يكتفي فقط بإظهار حركات متشابهة وآمنة، فلن تتمكن من تعليمه كيف يفعل شيئاً رائعاً أو فريداً حقاً. سيعلق الروبوت في دوامة، مكرراً نفس السلوك المتوسط لأنه يخشى تجربة أي شيء مختلف. تتناول هذه الورقة البحثية هذا الملل تحديداً: كيف نجعل الروبوت يظهر لنا مجموعة متنوعة أكبر من الحركات حتى نتمكن من تعليمه بشكل أفضل وأسرع وأكثر دقة؟

---

المشكلة: "غرفة الصدى" الخاصة بالروبوت

في عالم الذكاء الاصطيائي، حاول الباحثون حل مشكلة "الملل" هذه باستخدام رياضيات متقدمة لتخمين ما قد يعجب الإنسان. لكن مؤلفي هذه الورقة، براهيم دريس، أليكس دافي، ورياض أكرور، لاحظوا شيئاً غريباً. حتى مع هذه الحيل الرياضية المتقدمة، كانت الروبوتات لا تزال تتصرف مثل جوقة من التوائم المتطابقين. كانوا جميعاً يحاولون القيام بنفس الحركات القليلة، ويعرضونها على المدرب البشري، ويحصلون على نفس التعليقات.

تشير الورقة إلى أنه عندما يمتلك الروبوت "عقلاً" واحداً فقط (عميل واحد) يحاول اكتشاف ما يعجبك، فإنه يعلق في فخ محلي. يجد مساراً "جيداً بما يكفي"، ثم يرفض مغادرته لأنه يعتقد: "مهلاً، هذا ينجح!". لكنه لا يدرك أبداً أن هناك مساراً أفضل بكثير خلف الزاوية مباشرة. إنه يشبه المتنزه الذي يجد مرجاً صغيراً ومنبسطاً فيقرر التخييم هناك للأبد، ولم يتسلق الجبل لرؤية المنظر، ببساطة لأنه خائف جداً من مغادرة مكانه المريح.

الحل: فريق من المستكشفين المتنوعين

لإصلاح ذلك، يقترح المؤلفون طريقة جديدة تسمى PB² (التعلم المعزز القائم على التفضيلات القائم على السكان). بدلاً من إرسال روبوت واحد للتعلم، نرسل فريقاً كاملاً من المستكشفين.

تخيل أنك كشاف مواهب تبحث عن الراقص العظيم القادم.

• الطريقة القديمة: توظف راقصاً واحداً. يؤدي روتيناً معيناً. تقول له: "أعجبتني الدورة". فيقوم الراقص بتكرار الدورة، مرة تلو الأخرى، ويتحسن في الدورة، لكنه لا يجرب أبداً قفزة أو انزلاقاً. تصاب أنت بالملل، ولا يتعلم الراقص أبداً الرقصة الكاملة.
• طريقة PB²: توظف فريقاً من ثلاثة راقصين. أحدهم جامح قليلاً، والآخر دقيق جداً، والثالث يقع في مكان ما بينهما. تطلب منهم عرض حركاتهم. ولأنهم جميعاً مختلفون، فهم يعرضون لك دورة، وقفزة، وانزلاقاً. يمكنك الآن أن تقول: "لقم ببراعة بالقفزة!" و"كان الانزلاق جيداً، لكن الدورة كانت مملة".

لأن الفريق متنوع، فهم يغطون مساحة أكبر. إنهم يظهرون لك مجموعة متنوعة من السلوكيات، مما يساعدك (أنت البشر) على تقديم تعليقات أكثر وضوحاً وفائدة. تجادل الورقة بأن هذا التنوع هو "الخلطة السرية". فهو يمنع فخ "القمم المحلية" حيث يعلق الروبوت في حل متوسط.

كيف يعمل الأمر: "المرساة" و"المكافأة"

سحر PB² لا يكمن فقط في امتلاك فريق، بل في كيفية بقائهم على المسار الصحيح. إذا تركت فريقاً من الروبوتات ينطلق دون قيود، فقد يبدأون في القيام بأشياء سخيفة لا علاقة لها بالمهمة. لمنع حديد، يستخدم المؤلفون نظاماً ذكياً يتكون من جزأين:

1. المرساة (The Anchor): أحد الروبوتات في الفريق هو "المرساة". مهمته الوحيدة هي القيام بأفضل عمل ممكن بناءً على ما أخبرته به حتى الآن. إنه العامل الموثوق والممل الذي يضمن عدم نسيان الفريق للهدف.
2. المستكشفون (The Explorers): الروبوتات الأخرى هي "المستكشفون". يُسمح لهم بتجربة أشياء غريبة ومختلفة، ولكن فقط إذا كانوا لا يزالون يؤدون بشكل قريب جداً من مستوى المرساة.

تقدم الورقة "مكافأة التنوع". فكر في الأمر كلعبة يحصل فيها المستكشفون على نقاط إضافية لكونهم فريدين. إذا جرب المستكشف حركة تبدو مختلفة تماماً عن الروبوتات الأخرى، فإنه يحصل على مكافأة. لكن هنا تكمن الخدعة: إذا بدأ المستكر في القيام بأشياء غريبة جداً لدرجة أن درجته تنخفض كثيراً، تختفي المكافأة، ويضطر للعودة للتركيز على المهمة الأساسية. هذا يجعل الفريق مبدعاً ولكن مسؤولاً.

ما أظهرته التجارب

اختبر المؤلفون هذه الفكرة بطريقتين رئيسيتين: في ألعاب الملاحة ثنائية الأبعاد البسيطة (مثل نقطة تتحرك عبر متاهة) وفي عمليات محاكاة ثلاثية الأبعاد معقدة لحركة الحيوانات (مثل جري الفهد أو مشي الكلب).

1. الهروب من الفخ:
في اختبارات المتاهة، علقت طرق الروبوتات الفردية (القديمة) في زاوية ما. وجدوا مساراً "جيداً بما يكفي" ورفضوا مغادرته. أما فريق PB²، فقد أرسل أعضاء مختلفين في مسارات مختلفة. أحد هؤلاء الأعضاء وجد في النهاية الطريق المختصر السري للمخرج. تظهر الورقة أنه مع نفس القدر من التغذية الراجعة البشرية، وجد الفريق الحل الأفضل بشكل أسرع بكثير من الروبوت الفردي.

2. التعامل مع أخطاء البشر:
البشر ليسوا مثاليين. أحياناً لا نستطيع التمييز بين حركتين متشابهتين جداً وقد نعطي إجابة مربكة. قامت الورقة بمحاكاة هذا من خلال جعل "المدرب البشري" يرمي عملة معدنية أحياناً عندما تكون الحركات متشابهة جداً.

• طرق الروبوت الفردي انهارت عندما ارتبك المدرب. لم يستطيعوا التمييز ما إذا كان الارتباك بسبب سوء الحركات أم أن المدرب يمر بيوم سيء فحسب.
• كان فريق PB² أكثر صموداً. نظرًا لأنهم أظهروا حركات مختلفة تماماً، كان بإمكان المدرب عادةً تمييز الفرق بسهولة. وحتى عندما ارتكب المدرب أخطاء، ساعد التنوع في الفريق في تحديد المسار الصحيح على أي حال. تشير الورقة إلى أن امتلاك مجموعة متنوعة يجعل عملية التعلم أكثر قوة ضد الخطأ البشري.

3. أسطورة "المجموعة" (The Ensemble Myth):
كانت إحدى النتائج المثيرة للاهتمام تتعلق بحيلة شائعة يستخدمها باحثون آخرون. حاولت بعض الفرق حل مشكلة التنوع عن طريق منح الروبوت "مجموعة عصبية" (neural ensemble) — أي مجموعة من الأدمغة الداخلية التي تخمن المكافأة بشكل مختلف قليلاً. اختبر المؤلفون هذا ووجدوا أن هذه الأدمغة الداخلية بدأت جميعها تفكر في الشيء نفسه بسرعة كبيرة. لم تخلق في الواقع تنوعاً كافياً للمساعدة. يشير هذا إلى أنه لا يمكنك الاعتماد فقط على الحيل الرياضية لخلق التنوع؛ بل تحتاج إلى آلية فعلية وصريحة (مثل فريق المستكشفين) لإجبار الروبوت على أن يكون مختلفاً.

الخلاصة

تخلص الورقة إلى أنه لتعليم الروبوتات بفعالية باستخدام التغذية الراجعة البشرية، نحتاج إلى التوقف عن الاعتماد على عميل واحد وحيد يحاول تخمين ما نريده. بدلاً من ذلك، يجب أن نحافظ على مجموعة سكانية من الوكلاء المتنوعين.

من خلال الحفاظ على فريق من المستكشفين الذين يتم تشجيعهم على أن يكونوا مختلفين (ولكن ليس أكثر من اللازم)، يمكننا:

• عرض مجموعة متنوعة من الخيارات للبشر.
• الحصول على تغذية راجعة أكثر وضوحاً وأقل إرباكاً.
• الهروب من "الفخاخ المحلية" حيث يعلق الروبوت في الحلول المتوسطة.
• التعلم بشكل أسرع، حتى عندما يرتكب البشر أخطاء.

يقترح المؤلفون أن هذا النهج هو خطوة عملية نحو جعل الذكاء الاصطناعي يتعلم منا بكفاءة أكبر، خاصة في المواقف التي تكون فيها التغذية الراجعة البشرية مكلفة، محدودة، أو غير دقيقة نوعاً ما. إنه يحول عملية التعلم من مونولوج (حديث من طرف واحد) إلى محادثة حيوية ومتنوعة.