Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

تخيل روبوتًا يحاول تعلم كيفية المشي. لديه عقل (خوارزمية) يقرر أي العضلات يجب أن تنقبض، لكنه لا يملك سوى كاميرا صغيرة ترى قدميه فقط، وليس الأرض تحت قدميه أو الرياح التي تدفعه. هذا هو عالم التعلم التعزيزي (Reinforcement Learning)، حيث تتعلم الآلات عن طريق التجربة والخطأ للوصول إلى أفضل نتيجة. عادةً، عندما تفشل هذه الروبوتات، نفترض أنها "عمياء" بطريقة تجعل المهمة مستحيلة: نعتقد ببساطة أنها لا تستطيع رؤية ما يكفي لتحديد الحركة الصحيحة. نسمي هذا "فجوة السياسة" (policy gap)—الفكرة القائلة بأن عقل الروبوت بسيط للغاية بحيث لا يمكنه استيعاب الحل المثالي.

لكن هناك سبب ثانٍ، أكثر دهاءً. حتى لو كان بإمكان الروبوت اكتشاف الحركة المثالية، فإن الطريقة التي يتعلم بها قد تخدعه. على الروبوت أن يخمن مدى جودة موقف ما بناءً على ما يراه. إذا لم يستطع رؤية الصورة الكاملة، فستصبح تخميناته منحازة. قد يعتقد أن موقفًا ما خطير بينما هو في الواقع آمن، أو العكس. هذه هي "فجوة التعلم" (learning gap). المشكلة ليست في أن الروبوت لا يمكنه أن يكون ذكيًا؛ بل في أن المعلم (خوارزمية التعلم) يعطيه واجبات منزلية خاطئة. يتساءل هذا البحث سؤالاً بسيطًا: في عالم يكون فيه الروبوت أعمى جزئيًا، هل المشكلة هي أنه عاجز عن فهم العالم، أم أن مشكلته تكمن في أن طريقة تعلمه معطلة؟

---

السائق معصوب العينين والخريطة الخاطئة

تخيل سائقًا يحاول توجيه سيارة على طريق وعر. يمكن للسائق رؤية الطريق أمام السيارة مباشرة (الحالة الملحوظة)، لكنه لا يستطيع رؤية الحفر التي ستأتي بعد بضع ثوانٍ (الحالة غير الملحوظة). نظام تعليق السيارة يتفاعل مع هذه الحفر المخفية، مما يجعل السيارة تهتز.

في هذه القصة، السائق هو "الممثل" (Actor) (الجزء الذي يقرر تحريك عجلة القيادة)، و**"الناقد" (Critic)** هو الراكب الذي يحتفظ بسجل النقاط، ويخبر السائق بمدى جودة أو سوء الرحلة. الراكب يرى فقط اهتزاز السيارة، ولا يرى الحفر المخفية.

يضع البحث نسخة محددة جدًا وقابلة للحل من هذه المشكلة. السيارة تسير في مسار حيث تدفع الحفر المخفية السيارة بطريقة رياضية يمكن التنبؤ بها. يُسمح للسائق باستخدام قاعدة بسيطة: "إذا اهتزت السيارة للأعلى، ادفع عجلة القيادة للأسفل". هذه القاعدة بسيطة بما يكفي بحيث أنه لو عرف السائق الحقيقة الكاملة، لتمكن من حساب زاوية التوجيه المثالية. في الواقع، زاوية التوجح المثالية أسوأ بنسبة 10.4% فقط من أفضل سائق ممكن يمكنه رؤية كل شيء. لذا، فإن "فجوة السياسة" (حد ما يمكن للمسار تمثيله) صغيرة. يمكن للسائق أن يكون شبه مثالي.

ولكن إليك المفاجأة: عندما يحاول السائق فعليًا التعلم باستخدام طريقة "الممثل-الناقد" (Actor-Critic) القياسية، فإنه لا يجد ذلك الحل الجيد. بدلاً من ذلك، يصطدم بحل سيئ للغاية هو أسوأ بنسبة 35% مما كان يمكنه تحقيقه.

لماذا يكذب الراكب؟

لماذا يفشل التعلم؟ يوضح البحث أن السبب ليس غباء السائق. السبب هو أن الراكب (الناقد) يكذب عليه، ولكن ليس عن قصد.

الراكب يرى اهتزاز السيارة. هو يعلم أن السيارة تهتز بسبب الحفر المخفية، لكنه لا يستطيع رؤية الحفر. هو يرى السيارة فقط. بالنسبة له، يبدو الاهتزاز كعاصفة جامحة وغير متوقعة. ولأن الراكب يجب أن يكتب سجل النقاط بناءً على موقع السيارة فقط، فعليه أن يفسر سبب اهتزاز السيارة بهذا الشكل الكبير.

بما أنه لا يستطيع القول "أوه، إنها الحفر"، فإنه يلقي باللوم على موقع السيارة نفسه. يقرر قائلاً: "واو، هذه السيارة في مكان غير مستقر حقًا! قيمة التواجد هنا يجب أن تنخفض بحدة إذا تحركنا ولو قليلًا". إنه يرسم خريطة حيث يكون "الوادي" الخاص بالأمان عميقًا وضيقًا للغاية.

السائق، الذي يثق بهذه الخريطة، يفكر: "أوه لا! أحتاج إلى التوجيه بقوة وسرعة للبقاء في هذه البقعة الآمنة الصغيرة!". لذا يقوم السائق بتدوير عجلة القيادة إلى أقصى حد. ينتهي به الأمر بالقيادة بـ "كسب" (حساسية التوجيه) أكبر بـ 15 مرة مما هو مطلوب فعليًا. إنه يبالغ في التصحيح لعاصفة ليست مخيفة كما تقول الخريطة.

يحسب البحث هذا بدقة. عند النقطة التي كان ينبغي للسائق أن يتوقف فيها عن التعلم، تقول خريطة الراكب إن "الانحناء" (مدى حدة الوادي) هو 16.7. لكن الانحناء الحقيقي، لو استطاعوا رؤية العالم بأكمله، هو 1.11 فقط. الخريطة أكثر انحدارًا بخمس عشرة مرة! والسائق يتبع هذا الخطأ طوال الطريق حتى يصطدم.

سحر التطلع إلى الأمام

إذن، كيف نصلح سائقًا يتم خداعه بواسطة راكب يحمل خريطة سيئة؟ يجد البحث "مقبضًا" محددًا جدًا لضبطه.

في العديد من خوارزميات التعلم، لا ينظر الراكب فقط إلى الخطوة التالية؛ بل ينظر أبعد قليلاً في المستقبل ليرى كيف تتغير النتيجة. وهذا ما يسمى أفق التطلع المستقبلي (bootstrap horizon) (أو المعامل $\lambda$).

• إذا نظر الراكب خطوة واحدة فقط للأمام (أفق قصير)، فسيحصل على خريطة خاطئة وحادة، وسيصطدم السائق.
• إذا نظر الراكب بعيدًا بما يكفي—تحديدًا، بعيدًا بما يكفي لتغطية الوقت الذي تستغرقه الحفر المخفية للقيام بعملها—فإن الخريطة تصحح نفسها.

يوضح البحث أنه إذا ضبطت وقت "التطلع للأمام" ليتناسب مع "ذاكرة" الحفر المخفية، فسوف يتوقف السائق عند المكان المثالي. الأمر يشبه إخبار الراكب: "لا تخمن فقط لماذا تهتز السيارة الآن؛ انتظر وانظر ما إذا كان الاهتزاز سيستمر. إذا استمر، فهي الطريق. إذا توقف، فقد كانت مجرد هزة عابرة".

مفاجأة التعلم العميق

لم يكتفِ المؤلف بالرياضيات الورقية؛ بل اختبر ذلك باستخدام التعلم التعزيزي العميق (Deep Reinforcement Learning) (نوع الذكاء الاصطناي الذي يلعب ألعاب الفيديو). لقد أعطى الذكاء الاصطناي "ذاكرة" عبر إظهار آخر 32 إطارًا من الفيديو له، آملًا أن يساعده ذلك في رؤية الحفر المخفية.

إليك النتيجة المفاجئة: إعطاء الذكاء الاصطناي ذاكرة لم يساعده.
حتى مع وجود تاريخ للفيديو، إذا تم ضبط "مقبض التطلع للأمام" بشكل خاطئ، فإن الذكاء الاصطناي سيصطدم في النهاية. لم يكن يهم إذا كان لدى الذكاء الاصطناي عقل متطور أو مخزن ذاكرة؛ إذا كانت قاعدة التعلم (خريطة الراكب) منحازة، فإن الذكاء الاصطناي سيتبع هذا الانحياز.
ومع ذلك، عندما قاموا بضبط "مقبض التطلع للأمام" على الإعداد الصحيح، وجد الذكاء الاصطناي الحل الجيد، حتى بدون الذاكرة.

كما فند البحث بعض الأفكار الأخرى. فقد تحققوا مما إذا كان الذكاء الاصطناي يحتاج فقط إلى "الاستكشاف" أكثر (تجربة حركات عشوائية) لإصلاح المشكلة. حافظوا على ثبات كمية الضجيج العشوائي ووجدوا أن ذلك لا يهم؛ المشكلة لا تزال تتعلق بإعداد التطلع للأمام. كما تحققوا مما إذا كان الذكاء الاصطناي يحتاج فقط إلى التوقف عن التعلم في وقت أبكر، لكن الرياضيات أظهرت أن المشكلة كانت هيكلية، وليست مشكلة توقيت.

الخلاصة

النتيجة الرئيسية هي صدمة للطريقة المعتادة التي نفكر بها في الذكاء الاصطناعي. غالبًا ما نلوم عدم القدرة على الملاحظة الجزئية (العمى) على حقيقة أن عقل الذكاء الاصطناي ليس معقدًا بما يكفي لتذكر الماضي. يقول هذا البحث: لا، العقل بخير. المشكلة هي أن خوارزمية التعلم تفسر الضجيج الذي تراه على أنه إشارة، مما يخلق شعورًا زائفًا بالخطر يدفع الذكاء الاصطناي للمبالغة في رد الفعل.

الحل ليس بالضرورة في إعطاء الذكاء الاصطناي عقلًا أكبر أو ذاكرة أفضل. الحل هو ضبط أفق التطلع المستقبلي (look-ahead horizon) بحيث ينتظر الذكاء الاصطناعي لفترة كافية للتمييز بين مشكلة حقيقية وبين خلل مؤقت. إذا ضبطت ذلك "المقبض" الواحد بشكل صحيح، يمكن للذكاء الاصطناي أن يتعلم الطريقة الصحيحة، حتى وهو أعمى. وإذا لم تفعل، فإن أذكى ذكاء اصطناعي سيقود نفسه نحو الهاوية، مقتنعًا بأنه ينقذ العالم.