Confounding Robust Continuous Control via Automatic Reward Shaping
تقترح هذه الورقة طريقة لتعلم دوال تشكيل المكافأة تلقائياً من مجموعات البيانات غير المتصلة باستخدام معادلة بلمان سببية لتمكين التحكم المستمر القوي في البيئات التي تحتوي على متغيرات مربكة غير ملاحظة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعلم قيادة السيارة، ولكن من يعلمك هو سائق يرتدي نظارات واقع معزز عالية التقنية. يمكن لهذا المدرب أن يرى كل شيء: المسافة الدقيقة للسيارة التي أمامك، وقوة تماسك الإطارات بدقة على طريق مبلل، وحتى الحركات الطفيفة للمشاة حول زاوية الطريق.
ومع ذلك، أنت تجلس في مقعد السائق أمام زجاج أمامي ضبابي وبدون لوحة قيادة. لا يمكنك سوى رؤية الطريق الذي أمامك مباشرة.
عندما يقول المدرب: "انعطف يساراً الآن!"، أنت لا تعرف ما إذا كان قد انعطف لأن هناك حفرة لا تراها، أو لأنه رأى مشاةً لا تراهم. ولأنك تفتقر إلى "المعلومات المميزة" التي يمتلكها، قد تعتقد أن الانعطاف يساراً هو عادة سيئة، بينما في الواقع كان هو التحرك الآمن الوحيد. هذه هي مشكلة "المتغيرات المربكة غير المرئية" (Unobserved Confounding) في الذكاء الاصطناعي.
المشكلة: "السر الخفي" المتحيز
في التعلم التعزيزي (Reinforcement Learning)، غالباً ما ندرب وكلاء الذكاء الاصطناعي باستخدام "بيانات غير متصلة بالإنترنت" (offline data)—وهي في الأساس مكتبة من التسجيلات لمحاولات سابقة.
المشكلة هي أن هذه التسجيلات غالباً ما تأتي من أنظمة "خبيرة" كانت تمتلك وصولاً إلى مستشعرات أفضل بكثير مما سيمتلكه الذكاء الاصطناعي الجديد بمجرد نشره فعلياً. إذا كانت قرارات الخبير مبنية على "أسرار" (بيانات مخفية) لا يستطيع الذكاء الاصطناعي الجديد رؤيتها، فسوف يتعلم الذكاء الاصطناعي دروساً خاطئة. سيحاول تقليد الأفعال دون فهم الأسباب، مما يؤدي إلى إنتاج روبوت مرتبك وغير متزن.
الحل: "نظام تحديد المواقع المتفائل" (تشكيل المكافأة التلقائي)
اقترح الباحثون من جامعة كولومبيا طريقة ذكية لإصلاح ذلك. فبدلاً من مجرد إخبار الذكاء الاصطناعي: "افعل ما فعله الخبير"، منحوا الذكاء الاصطناعي نوعاً خاصاً من "نظام تحديد المواقع" يسمى "تشكيل المكافأة السببي" (Causal Reward Shaping).
إليك كيف تعمل طريقتهم، باستخدام استعارة توضيحية:
1. محرك "ماذا لو؟" (معادلة بلمان السببية - The Causal Bellman Equation)
بدلاً من مجرد النظر إلى ما فعله الخبير، تسأل رياضيات الباحثين: "ماذا لو اتخذ الخبير قراراً مختلفاً؟"
تخيل أنك تشاهد فيديو لطاهٍ يطبخ. بدلاً من مجرد تقليد حركاته، تستخدم محاكياً ذهنياً لتسأل: "إذا أضاف الطاهي الملح بدلاً من السكر، هل سيكون الطبق أفضل أم أسوأ؟" من خلال مراعاة "الطريق الذي لم يُسلك"، يمكن للذكاء الاصطناعي رياضياً تقدير "الأسرار الخفية" التي أثرت على الخبير.
2. "نظام التشجيع" (التشكيل القائم على الإمكانات - Potential-Based Reward Shaping)
بمجرد امتلاك الذكاء الاصطناعي لمحرك "ماذا لو؟" هذا، فإنه ينشئ خريطة لـ "الحالات الجيدة" و"الحالات السيئة".
فكر في هذا الأمر كأنه لعبة فيديو تمنحك "نقاطاً إضافية" لمجرد تحركك في الاتجاه الصحي، حتى قبل وصولك إلى خط النهاية. إذا تحرك الذكاء الاصطناعي نحو وضع يبدو أنه يتجه نحو حالة ذات قيمة عالية (بناءً على المعرفة الخفية للخبير)، فإنه يحصل على "دفعة" صغيرة من المكافأة الإضافية. هذا يبقي الذكاء الاصطناعي متحفزاً ويمنعه من الضياع في الضباب.
لماذا يهم هذا؟
اختبر الباحثون هذا على مهام روبوتية معقدة (مثل روبوت "القفاز" (Hopper) الذي يحاول القفز أو يد روبوتية تحاول فتح باب).
- الطريقة القديمة: عندما كانت "عيون" الروبوت محجوبة جزئياً، كان يتعثر، أو يسقط، أو ببساطة يفشل في تعلم كيفية الحركة.
- الطالطريقة الجديدة: حتى مع وجود مستشعرات "ضبابية"، استخدم الذكاء الاصطناعي "نظام تحديد المواقع المتفائل" ليدرك: "على الرغم من أنني لا أرى الحفرة، إلا أن حركة الخبير تشير إلى أن البقاء في هذا المسار هو حالة ذات قيمة عالية".
النتيجة: تمكن الذكاء الاصطناعي من الأداء بشكل قريب جداً من روبوت "مثالي" يتمتع برؤية كاملة، رغم أنه كان يعمل فعلياً "بشكل أعمى".
باختصار:
توفر هذه الورقة البحثية طريقة لتعليم الذكاء الاصطناعي من البيانات "الخبيرة" دون أن يتحول الذكاء الاصطناعي إلى مقلد مرتبك. إنها تسمح للذكاء الاصطناعي بالنظر إلى التاريخ المنحاز وغير الكامل واستخراج المنطق الحقيقي وراء الأفعال، مما يجعله أكثر قوة ومتانة عندما يواجه العالم الحقيقي الفوضوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.