Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

عندما يعلّم إنسان طفلاً ركوب الدراجة، يكون الدرس عبارة عن حوار من النظرات، والترنح، وكلمات التشجيع. يتعلم الطفل من خلال الشعور بتغير التوازن، ويتعلم الوالد من خلال مراقبة كيفية تفسير الطفل لتوجيهاته. هذا التفاعل المتبادل هو جوهر الذكاء الهجين: عقلان مختلفان يعملان معاً لحل مشكلة لم يكن لأي منهما أن يتقنها بمفرده. في عالم الروبوتات، تسمى هذه الشراكة "تعلم الروبوت التفاعلي مع الإنسان". هنا، يعمل الشخص كمعلم، يوجه الروبوت عبر مهمة ما باستخدام التغذية الراجعة أو العروض التوضيحية. والأمل هو أن يتعلم الروبوت التنقل في غرفة، أو دفع صندوق، أو تنظيف أرضية من خلال فهم إشارات المعلم. ومع ذلك، غالباً ما توجد فجوة كبيرة بين ما ينوي المعلم فعله وما يفهمه الروبوت بالفعل. إذا اعتقد الإنسان أن الروبوت مرتبك، فقد يقدم تلميحاً يفسره الروبوت على أنه مكافأة لفعل مختلف تماماً. لبناء شراكات أفضل، يجب على العلماء أولاً فهم كيف يفسر البشر سلوك الروبوت عندما لا يستطيعون التحدث إليه مباشرة.

وضع فريق من الباحثين هدفاً لاستكشاف كيف يفسر الناس بالضبط عملية تعلم الروبوت عندما يكتفون بالمراقبة فقط. لم يكن اهتمامهم منصباً على كيفية تعلم الروبوت رياضياً، بل في القصة التي يرويها المراقب البشري لنفسه حول ما يفكر فيه الروبوت. ولتحقيق ذلك، طوروا طريقة جديدة لدراسة الإدراك البشري أزالت تعقيد التدريس النشط. فبدلاً من مطالبة الناس بالتفاعل مع روبوت وتقديم ملاحظات، طلب منهم الباحثون ببساطة مشاهدة مقاطع فيديو لروبوتات تتعلم، ثم وصف ما يعتقدون أنه يحدث داخل عقل الآلة. سمح هذا النهج للعلماء برؤية الافتراضات الخام وغير المفلترة التي يضعها الناس عندما يحاولون فهم متعلم اصطناعي.

في دراستهم الأولى، أجرى الباحثون مقابلات مع تسعة أشخاص شاهدوا روبوتاً يتعلم التنقل في بيئة شبكية، متجنباً الحفر ومجدداً طريق الخروج. طُلب من المشاركين التحدث بأفكارهم بصوت عالٍ أثناء مشاهدة حركة الروبوت. استمع الباحثون بحثاً عن أنماط في كيفية شرح هؤلاء المراقبين لأفعال الروبوت. ووجدوا أن الناس لم يروا مجرد حركات عشوائية؛ بل بنوا نموذجاً عقلياً مفصلاً للحياة الداخلية للروبوت. وقد وقع هذا النموذج باستمرار ضمن أربعة فئات رئيسية: أولاً، افترض الناس أن للروبوت أهدافاً محددة، مثل الرغبة في الوصول إلى المخرج بأسرع ما يمكن أو محاولة تجنب السقوط. ثانياً، اعتقدوا أن الروبوت يجمع المعرفة، ويتذكر الأماكن الخطرة والأماكن الآمنة. ثالثاً، ظن المراقبون أن الروبوت يتخذ قرارات، حيث يزن الخيارات ويختار المسارات بناءً على استراتيجية. وأخيراً، استنتجوا أن الروبوت يمتلك آلية للتعلم، أي وسيلة لتحديث فهمه بناءً على أخطائه أو نجاحاته السابقة. أشارت هذه النتائج إلى أن البشر يسقطون بطبيعتهم حياة داخلية غنية تشبه حياة البشر على الآلة لجعل سلوكها مفهوماً.

وللتأكد من هذه الأفكار الأولية ومعرفة ما إذا كانت ستصمد في مواقف أكثر تعقيداً، أجرى الباحثون دراسة ثانية أكبر شملت أربعة وثلاثين مشاركاً. وسعوا التجربة لتشمل نوعين مختلفين من المهام ونوعين مختلفين من خوارزميات التعلم. في سيناريو ما، تعلم روبوت تنظيف غرفة من خلال التنقل حول الأثاث وجمع الأوساخ. وفي السيناريو الآخر، تعلم روبوت مختلف دفع صندوق أدوية عبر طاولة إلى مريض لم يستطع الوصول إليه. استخدمت الروبوتات طرقاً مختلفة للتعلم: استخدم أحدها طريقة بسيطة قائمة على الجداول (التجربة والخطأ)، بينما استخدم الآخر طريقة مستمرة أكثر تعقيداً تحاكي كيفية معالجة الأدمغة البيولوجية للحركات السلسة. شاهد المشاركون مقاطع فيديو لهذه الروبوتات في ثلاث مراحل مختلفة من التعلم: المبكرة، والمتوسطة، والمتأخرة. وبعد كل فيديو، قاموا بتقييم مدى صلة السمات الأربع (الأهداف، والمعرفة، واتخاذ القرار، وآليات التعلم) بما كانوا يشاهدونه.

أكدت نتائج هذه الدراسة الأكبر أن السمات الأربع التي تم تحديدها في التجربة الأولى لم تكن مجرد صدفة. فخلال مهام التنظيف والدفع على حد سواء، وبغض النظر عن طريقة التعلم المعقدة التي استخدمها الروبوت، اعتمد الناس باستمرار على هذه الفئات الأربع لفهم الروبوت. ووجد الباحثون أنه مع تحسن الروبوتات في مهامها، تغيرت الطريقة التي يصفها بها الناس. في المراحل المبكرة، غالباً ما اعتقد المراقبون أن الروبوت يفتقر إلى المعرفة أو أنه يقوم بمجرد التخمين. ومع تحسن الروبوت، غير الناس وجهة نظرهم، معتقدين أن الروبوت قد طور خطة واضحة وأصبح يتخذ قرارات مدروسة. أظهرت الدراسة أن الفهم البشري ليس ثابتاً؛ بل يتطور مع تغير سلوك الروبوت. الناس لا يرون مجرد آلة تتبع كوداً برمجياً، بل يرون "فاعلاً" يتعلم، ويتذكر، ويخطط.

اكتشف الباحثون أيضاً أن التفاصيل المحددة لهذه الافتراضات كانت مرنة للغاية. فعلى سبيل المثال، عندما فكر الناس في أهداف الروبوت، ركزوا أحياناً على النتيجة النهائية، مثل الوصول إلى المخرج، وأحياناً أخرى على جودة الحركة، مثل التنظيف بكفاءة أو التحرك بأمان. وبالمثل، عند النظر في كيفية تعلم الروبوت، تخيل الناس أحياناً أنه يتعلم من خلال الاستكشاف المحض، بينما اعتقدوا في أحيان أخرى أنه يتعلم من خلال التغذية الراجعة أو من خلال التفكير المنطقي في المشكلة. يشير هذا المرونة إلى أن البشر لديهم إطار ديناميكي لتفسير الروبوتات، وهو إطار يعدلونه باستمرار أثناء مشاهدة أداء الروبوت. ولم تجد الدراسة أن خلفية الشخص، مثل ما إذا كان لديه أطفال أو حيوانات أليفة، تغير هذه الأنماط الأساسية من التفكير.

يسلط هذا العمل الضوء على تحدٍ حاسم في مستقبل التعاون بين الإنسان والروبوت. ولأن البشر يفترضون طبيعياً أن الروبوتات تمتلك أهدافاً ومعرفة وعمليات اتخاذ قرار، فهناك خطر من أن تكون هذه الافتراضات خاطئة. فإذا اعتقد الإنسان أن الروبوت يتعلم من خلال التفكير المنطقي بينما هو في الواقع يتبع قاعدة بسيطة فحسب، فقد يقدم الإنسان تغذية راجعة تربك الآلة. يقترح الباحثون أنه لكي تكون الروبوتات فعالة حقاً كشركاء، يجب على مصمميها فهم هذه الافتراضات البشرية. ومن خلال إدراك أن الناس سيسقطون حتماً عقلاً يشبه عقل الإنسان على الروبوت، يمكن للمهندسين إنشاء أنظمة أكثر شفافية. يمكنهم تصميم روبوتات يمكنها التواصل بشأن عملية تعلمها الفعلية بطريقة تتوافق مع التوقعات البشرية، مما يقلل الفجوة بين ما يفعله الروبوت وما يعتقده الإنسان أنه يفعله. هذا التوافق ضروري لبناء نوع الذكاء الهجين حيث يمكن للبشر والآلات العمل معاً حقاً، بحيث يفهم كل منهما دور الآخر في المهمة المشتركة.