Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

في عالم الذكاء الاصطناعي، هناك فرع مخصص لتعليم الآلات كيفية التحرك والتفاعل مع العالم المادي. هذا المجال، المعروف باسم التحكم المستمر (continuous control)، يطلب من الحواسيب تعلم كيفية المشي، أو الجري، أو الوقوف عن طريق التجربة والخطأ، تماماً مثل طفل يتعلم التوازن. وللقيام بذلك، يستخدم الكمبيوتر دليلاً رياضياً يسمى "السياسة" (policy)، وهو يقترح الإجراء التالي بناءً على ما يراه. ولعقود من الزمن، كانت الأداة القياسية لهذا الدليل هي منحنى يشبه الجرس، وهو شكل إحصائي يقترح الإجراء الأكثر احتمالاً مع السماح ببعض التباين العشوائي. ومع ذلك، فإن العالم الحقيقي له حدود؛ فلا يمكن لساق الروبوت أن تنثني للخلف إلى نقطة معينة، ولا يمكن لعضلة أن تنقبض بقوة لانهائية. وعندما تصطدم اقتراحات الكمبيوتر السلسة وغير المحدودة بهذه الجدران الصلبة، تضطر إلى أن تُقص أو تُضغط لتناسب الواقع. ولفترة طويلة، افترض الباحثون أنه إذا أدى الروبوت أداءً جيداً، فإن تفاصيل كيفية تعامله مع هذه الحدود لا تهم؛ فقد كان اهتمامهم ينصب فقط على النتيجة النهائية: هل مشى الروبوت بسرعة؟ هل ظل منتصباً؟

تتحدى دراسة جديدة هذا الافتراض من خلال النظر بدقة فيما يحدث داخل عقل الكمبيوتر عندما يتعلم المشي على ساق محاكاة مكونة من ثمانين عضلة. اكتشف الباحثون أن الطريقة التي يقيس بها الكمبيوتر عدم اليقين الخاص به تغير شكل المسار الذي يتعلمه. ووجدوا أنه عندما يُسمح للكمبيوتر بأن يكون غير متيقن بطريقة تتجاهل الحدود المادية للروبوت، فإنه يتعلم دفع أفعاله مباشرة نحو حواف نطاقه المسموح به. يبدو الأمر كما لو أن الروبوت يضغط بيديه باستمرار على حواف صندوق، حتى عندما يمكنه الوقوف بسهولة في المنتصف. لم يكن هذا السلوك ناتجاً عن كون عضلات الروبوت بطيئة أو لأن الحدود كانت ضيقة جداً، بل كان نتيجة مباشرة لكيفية حساب خوارزمية التعلم لـ "فضوله" أو عشوائيته. وتظهر الدراسة أنه إذا قمت بتغيير مكان قياس هذا الفضول — من أفكار الكمبيوتر الداخلية غير المحدودة إلى الأفعال المادية الفعلية التي يتخذها الروبوت — فإن الروبوت يتعلم هندسة مختلفة تماماً؛ حيث يتوقف عن الضغط على الجدران ويتعلم البقاء براحة في المنتصف، مع تحقيق أداء مماثل أو حتى أفضل.

بدأ التحقيق بمحاكاة معقدة لساق تشبه الساق البشرية، مجهزة بثمانين عضلة متميزة، ومهمتها المشي. قام الباحثون بتدريب ذكاء اصطناعي باستخدام طريقة تعلم شائعة لجعل هذه الساق تتحرك. ولاحظوا ظاهرة غريبة: كان الكمبيوتر يتعلم المشي بنجاح، لكنه كان يفعل ذلك عبر إرسال أوامر تكون دائماً تقريباً عند الحافة القصوى لما يمكن للعضلات فعله. ففي حوالي تسعة وثمانين بالمائة من الوقت، كانت أوامر العضلات ضمن خمسة بالمائة من حدودها القصوى أو الدنيا. كان الأمر كما لو أن السائر يضغط باستمرار ضد قيوده. اشتبه الفريق أولاً في أن هذه مشكلة فيزيائية، ربما بسبب الطريقة التي تنشط بها العضلات وتتوقف بها طبيعياً، أو بسبب الطريقة التي تقوم بها المحاكاة بتصفية الإشارات. اختبروا هذه الأفكار عبر تغيير فيزياء المحاكاة، بجعل أوقات التنشيط متماثلة وإزالة المرشحات، لكن لا شيء من هذه التغييرات أصلح المشكلة؛ فظل الروبوت يضغط على الجدران. أدى ذلك إلى استبعاد العالم المادي كسبب، ووجه أصابع الاتهام إلى خوارزمية التعلم نفسها.

لفهم سبب سلوك الروبوت بهذا الشكل، قام الباحثون بتفكيك المشكلة إلى جزأين: الاتجاه المتوسط الذي يريد الروبوت الذهاب إليه، ومقدار العشوائية أو التباين الذي يضيفه إلى ذلك الاتجاه. وطرحوا سؤالاً بسيطاً: هل الروبوت قريب من الجدار لأنه يخمن بجنون، أم لأنه يهدف عمداً إلى الجدار؟ ومن خلال إجراء اختبار مضاد للواقع (counterfactual test) في نفس اللحظات الزمنية بالضبط، وجدوا أنه حتى لو أزالوا كل العشوائية وأجبروا الروبوت على اتباع خطته المتوسطة بدقة، فإنه لا يزال يريد أن يكون بالقرب من الجدار. في الواقع، كانت الخطة المتوسطة نفسها غالباً ما تشير إلى خارج نطاق الحركة الممكن، مما يجبر الكمبيوتر على قص الفعل ليصل إلى أقرب حد. لقد كان "عقل" الروبوت ممتداً، يدفع أفعاله المقصودة إلى ما وراء الحدود، وكانت الحدود المادية مجرد وسيلة لإيقافها. وهذا يعني أن مجرد إخبار الروبوت بأن يكون أقل عشوائية لن يحل المشكلة؛ بل كان يحتاج إلى تعلم استهداف المركز من البداية.

يكمن المفتاح لإصلاح ذلك في كيفية قياس الكمبيوتر لعدم اليقين الخاص به. في الإعداد القياسي، يحسب الكمبيوتر عشوائيته بناءً على أفكاره الداخلية غير المحدودة قبل ترجمتها إلى أفعال مادية. وفي هذا الفضاء الداخلي، تعامل الرياضيات المركز والحواف كأشياء متطابقة، ولا تقدم سبباً للبقاء بعيداً عن الجدران. ومع ذلك، أدرك الباحثون أنه إذا قاس الكمبيوتر عدم اليقين بعد ترجمة الأفعال إلى العالم المادي، فإن الرياضيات ستتغير. ولأن العالم المادي له حدود صلبة، فإن الحواف تبدو مختلفة عن المركز. وعندما يحسب الكمبيوتر عدم اليقين في هذا الفضاء المادي، تخلق الرياضيات بشكل طبيعي قوة تسحب الفعل المتوسط بعيداً عن الجدران ونحو المنتصف. إنه تحول دقيق في المنظور: قياس الضجيج حيث يهم حقاً، وليس حيث يتم توليده.

لاختبار ذلك، قام الباحثون بتشغيل ثلاث نسخ مختلفة من خوارزمية التعلم على نفس مهمة المشي. في النسخة الأولى، قاس الكمبيوتر عدم اليقين في أفكاره الداخلية. وفي الثانية، لم يقس أي عدم يقين على الإطلاق. وفي الثالثة، قاس عدم اليقين في الأفعال المادية. كانت النتائج مذهلة. فالنسخة التي قاس عدم اليقين في أفكارها الداخلية تعلمت أن تكون عشوائية جداً وأبقت أفعالها مضغوطة ضد الجدران. أما النسخة التي لم تقس أي عدم يقين، فقد تعلمت أن تكون دقيقة جداً لكنها لا تزال تهدف بالقرب من الجدران. فقط النسخة التي قاس عدم اليقين في الأفعال المادية تعلمت أن تبقي أفعالها المتوسطة براحة في مركز النطاق المسموح به. امتلكت هذه النسخة "هندسة داخلية" أكثر، مما يعني أن الروبوت لم يكن يضغط ضد حدوده.

كرر الفريق التجربة على مهمة مختلفة تماماً: تعليم كلب محاكى الوقوف. تضمنت هذه المهمة ثمانية وثلاثين مفصلاً مختلفاً واستخدمت كوداً برمجياً مختلفاً لضمان أن النتائج لم تكن مجرد صدفة في المحاكاة الأولى. ظهر نفس النمط؛ فالنسخة التي قاس عدم اليقين في الأفعال المادية تعلمت الحفاظ على حركاتها مركزة، بينما انجرفت النسخ الأخرى نحو الحواف. أكد هذا أن النتيجة لم تكن خاصة بساق المشي أو بالبرمجيات الأولى. كما اختبر الباحثون ما إذا كان مجرد إخبار الكمبيوتر باستهداف المركز عبر عقوبة مباشرة سيعمل. ووجدوا أنه بينما يمكن للعقوبة المباشرة أيضاً أن تدفع الروبوت نحو المركز، إلا أنها خلقت نوعاً مختلفاً من السلوك من حيث العشوائية والأداء العام. أظهر هذا أن قياس عدم اليقين في الفضاء المادي كان طريقة فعالة لحل المشكلة، ولكنه ليس الطريقة الوحيدة؛ فهو يربط بشكل طبيعي بين هدف الروبوت وتنوعه، ومع ذلك فإن توازن العشوائية والأداء الناتج قد يختلف بشكل كبير عن الطرق الأخرى التي تحقق نفس الهدف من التمركز.

تخلص الدراسة إلى أنه بالنسبة للروبوتات التي تتعلم الحركة في العالم الحقيقي، فإن اختيار مكان قياس عدم اليقين هو قرار تصميم حاسم. لا يكفي مجرد الحصول على درجة عالية في مهمة ما؛ فطريقة تعلم الروبوت للحركة مهمة لاستقراره وسلامته. إذا تعلم الروبوت الضغط باستمرار على حدوده، فقد يكون هشاً أو عرضة للفشل إذا تغيرت البيئة قليلاً. من خلال قياس عدم اليقين في الفضاء المادي، يتعلم الروبوت هندسة تبقيه آمناً ومتمركزاً. تشير هذه الرؤية إلى أن الطريقة القياسية لتعليم الروبوتات التحرك قد تحتاج إلى تحديث؛ فبدلاً من تجاهل الحدود المادية أثناء عملية التعلم، يجب أن تأخذها الخوارزمية في الاعتبار، مما يضمن أن يتعلم الروبوت التحرك بنعمة طبيعية ومتمركزة بدلاً من الدفع المستمر والمجهد ضد الجدران.