🤖 machine learning

Infra-Bayesian Reinforcement Learning Agents Outperform Classical RL For Worst-Case Robustness

تقدم هذه الورقة أول تنفيذ لإثبات المفهوم لوكيل تعلم تعزيزي "تحت-بايزي" (infra-Bayesian) يتفوق على التعلم التعزيزي الكلاسيكي في متانة الحالة الأسوأ من خلال التعامل بفعالية مع عدم اليقين "النايتي" (Knightian uncertainty) وعدم دقة النموذج عبر عملية اتخاذ قرار "ماكسيمين" (maximin).

المؤلفون الأصليون: Manish Aryal, Faiyaz Azam, Agnivo Banerjee, Sai Sidhanth Manoharan Jayanthi, Allegra Laro, Clément Legentilhomme, Andrew Lin, Florian Lorkowski, Radman Rakhshandehroo, Patric Rommel, Emanuel Ruzak, Na

نُشر 2026-05-25

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Manish Aryal, Faiyaz Azam, Agnivo Banerjee, Sai Sidhanth Manoharan Jayanthi, Allegra Laro, Clément Legentilhomme, Andrew Lin, Florian Lorkowski, Radman Rakhshandehroo, Patric Rommel, Emanuel Ruzak, Nathan Theng, Paul Yushin Rapoport

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: التخطيط للأسوأ، لا للمتوسط

تخيل أنك قبطان يقود سفينة.

التعلم التعزيزي التقليدي (RL): يشبه القبطان الذي يفترض أن المحيط يمكن التنبؤ به. ينظر إلى بيانات الطقس السابقة، ويحسب "المتوسط" لاحتمالية حدوث عاصفة، ويوجه السفينة بناءً على ما هو "الأكثر احتمالاً" للحدوث. هذا يعمل بشكل رائع إذا كان المحيط يتصرف تماماً كما يتوقع خريطة القبطان.
المشكلة: في العالم الحقيقي (خاصة مع الذكال الاصطناعي)، قد يكون "المحيط" مليئاً بسفن أخرى تراقبك وتغير مسارها بناءً على ما تعتقد أنك ستفعله. أو قد يتغير الطقوت بطرق لم تتخيلها خريطتك أبداً. إذا اعتمد القبطان فقط على المتوسطات، فقد يقود سفينته مباشرة نحو كارثة لأنه لم يأخذ السيناريو "الأسوأ" في الحسبان.
الحل (التعلم داخل البايزي - Infra-Bayesian RL): تقدم هذه الورقة نوعاً جديداً من القادة لا يكتفي بتخمين متوسط الطقس فحسب. بدلاً من ذلك، يسأل: "ما هو أسوأ طقس لا يزال ممكناً بناءً على ما أعرفه؟" ثم يوجه سفينته للنجاة من ذلك السيناريو الأسوأ تحديداً. هذا يضمن عدم مباغتته أبداً، حتى لو كان العالم أغرب مما ظن.

نوعا "عدم المعرفة"

توضح الورقة أن هناك طريقتين مختلفتين يمكن للوكيل (مثل الذكاء الاصطناعي) أن يكون فيهما غير متأكد بشأن العالم:

اليقين العادي (رمية النرد): تخيل رمي حجر نرد. أنت لا تعرف ما إذا كان سيظهر الرقم 1 أو 6، لكنك تعرف أن القواعد عادلة. يمكنك تخصيص فرصة 1 من 6 لكل رقم. الذكاء الاصطناعي التقليدي يتعامل مع هذا جيداً.
يقين "نايتيان" (الخريطة الضبابية): تخيل أنك تقود سيارة في ضباب كثيف. تعلم أن هناك منحدرًا في مكان ما أمامك، لكن ليس لديك أدنى فكرة عن مدى بعده، أو حتى ما إذا كان الطريق موجوداً أصلاً. لا يمكنك تخصيص "احتمالية" للمنحدر لأنك لا تملك معلومات كافية لتقديم تخمين عادل.
- الذكاء الاصطناعي التقليدي: يحاول فرض تخمين على أي حال (مثلاً: "سأفترض أن احتمالية وجود المنحدر هي 50%"). إذا كان هذا التخمين خاطئاً، فإن الذكاء الاصطناعي يصطدم.
- الذكاء الاصطناعي "داخل البايزي" (Infra-Bayesian): يعترف قائلاً: "أنا لا أعرف الاحتمالات". وبدلاً من التخمين، يخطط للسيناريو الذي يكون فيه المنحدر أمام السيارة مباشرة. إنه يلعب بأمان.

كيف يعمل الوكيل الجديد

بنى المؤلفون "إثبات مفهوم" لروبوت (وكيل) يستخدم هذا النوع من التفكير. إليك كيفية عمله:

"خزانة الفرضيات": بدلاً من امتلاك اعتقاد واحد وحيد حول كيفية عمل العالم، يحتفظ هذا الوكيل بخزانة كاملة من العوالم الممكنة المختلفة. بعضها محتمل جداً، وبعضها غريب، وبعضها مروع.
"فلتر الحالة الأسوأ": عندما يحتاج الوكيل لاتخاذ قرار، فإنه لا يجمع متوسط كل العوالم في الخزانة. بل ينظر إلى أسوأ عالم في الخزانة لا يزال ممكناً، ويسأل: "إذا قمت بهذا الإجراء، فماذا سيحدث في ذلك العالم الأسوأ؟"
القرار: يختار الإجراء الذي يعطي أفضل نتيجة في ذلك السينمو الأسوأ. وهذا ما يسمى استراتيجية "الماكسيمين" (Maximin) (تعظيم الحد الأدنى من المكاسب).

التجارب: اختبار القبطان الجديد

اختبرت الورقة هذا الوكيل الجديد في سيناريوهين محددين:

1. آلة القمار المعادية (يقين نايتيان)

الإعداد: تخيل آلتين للقمار. لا تعرف مدى احتمالية دفع الأرباح، تعلم فقط أن الآلة (أ) تدفع بين 30% و70% من الوقت، والآلة (ب) تدفع بين 40% و80%.
الفخ: قد يكون هناك "مخادع" (البيئة) يراقبك. إذا اخترت الآلة (أ)، فقد يجعل المخادع دفعاتها عند مستوى 30% فقط. إذا اخترت الآلة (ب)، فقد يجعلها 40%.
النتيجة:
- الوكيل التقليدي: اضطر لتخمين احتمال محدد (مثلاً: "أعتقد أن الآلة أ تدفع بنسبة 50%"). إذا كان المخادع في الواقع عند مستوى 30%، فإن الوكيل التقليدي سيخسر المال.
- الوكيل "داخل البايزي": لم يخمن. لقد أدرك أن: "أسوأ حالة للآلة (أ) هي 30%، وأسوأ حالة للآلة (ب) هي 40%". لذا، اختار دائماً الآلة (ب). لقد ضمن لنفسه نسبة ربح 40%، بغض النظر عن طريقة لعب المخادع. لقد ربح معركة "الحالة الأسوأ".

2. معضلة نيومب (قارئ الأفكار)

الإعداد: هذه لغز منطقي شهير. ترى صندوقين: أحدهما شفاف يحتوي على 1,000 دولار، والآخر معتم. لقد قام "متنبئ" فائق الذكاء بالفعل بتخمين ما ستفعله.
- إذا اعتقد المتنبئ أنك ستأخذ الصندوق المعتم فقط، فسيضع مليون دولار بداخله.
- إذا اعتقد أنك ستأخذ كلا الصندوقين، فسيكون الصندوق المعتم فارغاً.
المعضلة:
- المنطق السببي التقليدي: "المال موجود بالفعل! خياري الآن لا يمكنه تغيير الماضي. يجب أن آخذ كلا الصندوقين للحصول على الـ 1,000 دولار بالإضافة إلى ما في الآخر". (النتيجة: غالباً ما يحصلون على 0 أو 1,000 دولار).
- منطق "داخل البايزي": "المتنبئ بارع في تخمين استراتيجيتي. إذا قررت أخذ الصندوق المعتم فقط، فمن المرجح أن المتنبئ وضع المليون هناك. إذا قررت أخذ كلا الصندوقين، فسيكون الصندوق فارغاً".
النتيجة: أدرك وكيل "داخل البايزي" أن استراتيجيته (خطته) تؤثر على فعل المتنبئ في الماضي. اختار أخذ الصندوق المعتم فقط وخرج بمليون دولار، متفوقاً على الوكلاء الذين استخدموا نظريات القرار القياسية.

لماذا هذا مهم؟

تخلص الورقة إلى أنه لكي يكون الذكاء الاصطناعي آمناً وقوياً في العالم الحقيقي، فإنه يحتاج للتعامل مع حالات:

يكون فيها العالم معقداً جداً بحيث لا يمكن نمذجته بدقة.
تكون فيها البيئة مستجيبة لسلوك الذكاء الاصطناعي (مثل رد فعل السائق البشري تجاه سيارة ذاتية القيادة).

من خلال التركيز على ضمانات الحالة الأسوأ بدلاً من التنبؤات المتوسطة، يصبح هذا النوع الجديد من الذكاء الاصطناعي أقل عرضة لاتخاذ قرارات خاطئة بثقة عندما لا يسير العالم وفقاً للخطة. إنه الفرق بين مقامر يأمل في الأفضل، ومهندس سلامة يستعد للأسوأ.

ملاحظة بشأن القيود: يوضح المؤلفون بحذر أن هذا "إثبات مفهوم". فهو يعمل بشكل جيد للمشكلات البسيطة والمحدودة (مثل آلات القمار والألغاز المنطقية المذكورة أعلاه). لم يقوموا بعد بتوسيع نطاقه ليشمل المهام المستمرة والمعقدة في العالم الحقيقي مثل قيادة سيارة عبر مدينة، ولكن هذه خطوة أولى حاسمة نحو جعل الذكاء الاصطناعي قوياً بالتصميم.

ملخص تقني: الوكلاء الذين يعملون بالتعلم المعزز البايزي البنيوي (Infra-Bayesian) يتفوقون على التعلم المعزز الكلاسيكي في المتانة ضد الحالات الأسوأ

1. بيان المشكلة

يعمل التعلم المعزز (RL) الكلاسيكي والتعلم المعزز البايزي (Bayesian RL) تحت افتراض أن الوكيل يتفاعل مع بيئة ثابتة، والتي تُنمذج عادةً كعملية قرار ماركوف (MDP) أو كخلفية بايزية (Bayesian posterior) فوق نماذج كهذه. يفترض هذا الإطار وجود التحقق (realizability): أي أن البيئة الحقيقية (أو نموذج دقيق بما يكفي لها) موجود ضمن فئة الفرضيات الخاصة بالوكيل.

ومع ذلك، يفشل هذا الافتراض في الإعدادات غير القابلة للتحقق (non-realizable settings)، لا سيما تلك المتعلقة بسلامة الذكاء الاصطناعي والوكالة المدمجة (embedded agency). في هذه البيئات:

الاعتماد على السياسة (Policy Dependence): يتوقع الفاعلون الآخرون (المتنبئون، البشر، المؤسسات) سياسة الوكيل ويستجيبون لها، بدلاً من مجرد الاستجابة لأفعاله المحققة.
عدم اليقين النايتي (Knightian Uncertainty): يواجه الوكيل غموضاً حيث لا توجد أسس لبناء توزيع احتمالي مسبق دقيق على العوالم الممكنة.
خطأ توصيف النموذج (Model Misspecification): يحتوي العالم الحقيقي على أنظمة ذات تعقيد مماثل أو أكبر من تعقيد الوكيل، مما يجعل من المستحيل لأي فئة فرضيات قابلة للمعالجة أن تحتوي على وصف كامل للبيئة.

في ظل هذه الظروف، يمكن للطرق البايزية الكلاسيكية أن تنتج خلفيات (posteriors) "خاطئة بثقة"، مما يؤدي إلى قرارات غير موثوقة وندم غير محدود. قد تفشل وكلاء التعلم المعزز القائمة على القيمة (value-based RL) في التقارب نحو سياسات مثلى في البيئات المعتمدة على السياسة (مثل مسألة نيوكومب)، وغالباً ما تتقارب فقط نحو السياسات القابلة للإثبات (ratifiable policies).

2. المنهجية: التعلم المعزز البنيوي البايزي (IBRL)

يقدم البحث تطبيقاً لإثبات المفهوم لهيكلية التعلم المعزز البنيوي البايزي (IBRL) المصممة لمشكلات اتخاذ القرار ذات النتائج المحدودة وغير المرتبطة بحالة (stateless). بخلاف الوكلاء الكلاسيكيين الذين يحتفظون بتوزيع خلفي فوق نماذج MDP، يحتفظ الوكيل البنيوي (IB) بمجموعة من الفرضيات غير الدقيقة المتمثلة في التوزيعات البنيوية (infradistributions).

الكائنات الرياضية الأساسية

مقاييس a (المقاييس الأفينية - a-measures): اللبنة الأساسية هي مقياس a = (λμ, b)، حيث:
- $\mu$ هو مقياس احتمالي فوق سجلات الملاحظات (يمثل عدم اليقين العشوائي العادي).
- $\lambda \ge 0$ هو عامل قياس.
- $b \ge 0$ هو حد الإزاحة (offset term).
- يتم تقييم دالة العائد المحدودة $f$ عبر $a(f) = \lambda E_\mu[f] + b$ .
- يحافظ حد الإزاحة $b$ على القيمة من فروع شجرة السجل التي استُبعدت بسبب الملاحظات، مما يضمن الاتساق الديناميكي.
التوزيعات البنيوية ( $\Psi$ ): مجموعة من مقاييس a المقبولة. يقيم الوكيل السياسة من خلال توقعها الأدنى:
$E_\Psi[f] = \inf_{a \in \Psi} a(f)$
وهذا يمثل القيمة المضمونة ضد أسوأ عضو مقبول في فئة الفرضيات.
أنواع الخلط (Mixture Types):
- الخلط الكلاسيكي (البايزي): مزيج مرجح من التوزيعات البنيوية ( $\sum w_i \Psi_i$ )، ويمثل عدم اليقين الذي يمكن حساب متوسطه.
- الخلط النايتي (Knightian Mixture): اتحاد لمجموعات من التوزيعات البنيوية بدون أوزان، ويمثل الغموض حيث يتم تحديد القيمة بواسطة المكون الأقل تفضيلاً.

المكونات الخوارزمية

التمثيل: يخزن الوكيل فقط النقاط الدنيا المتطرفة للتوزيع البنيوي (على غرار رؤوس متعدد الأوجه المحدب)، مما يضمن القابلية للمعالجة الحسابية.
نماذج العالم: يدعم التنفيذ تمثيلات مضغوطة محددة لـ:
- مقامير برنولي (Bernoulli Bandits): السجلات ممثلة بأزواج $(N, R)$ ؛ والمقاييس كمجموعات من أزواج $(c_i, p_i)$ .
- مسائل شبيهة بنيوكومب (Newcomb-like Problems): يحتوي نموذج العالم على مصفوفة المكافآت الكاملة ودقة المتنبئ؛ ولا يتم تعلم الحالات الداخلية.
عملية اتخاذ القرار:
- يقوم الوكيل بتجزئة فضاء السياسة $\Pi$ .
- يحسب التوقع الأدنى لكل سياسة: $E_{\Psi(\pi)}[f] = \inf_{a \in \Psi(\pi)} a(f)$ .
- يختار السياسة $\pi^*$ التي تعظم هذا التوقع الأدنى (استراتيجية Maximin).
قاعدة التحديث: عند ملاحظة حدث $L$ $L$ ، يقوم الوكيل بإجراء تحديث بأسلوب IB:
- تقييد المقياس $\mu$ إلى الفرع الملحوظ ( $\mu_L$ ).
- نقل القيمة المتوقعة للفروع غير الملحوظة إلى حد الإزاحة $b$ : $(\lambda\mu, b) \to (\lambda\mu_L, b + \lambda\mu((1-L)g))$ .
- إعادة تطبيع (renormalization) التوزيع البنيوي.
- نظراً لخطية التحديث، لا يتم إنشاء نقاط متطرفة جديدة؛ بل يتم فقط تحديث النقاط الموجودة.

3. المساهمات الرئيسية

أول تطبيق لإثبات المفهوم: صاغ المؤلفون ونفذوا هيكلية IBRL ذات نتائج محدودة تعتمد على مقاييس a، والتوزيعات البنية، وتحديثات أسلوب IB.
استعادة السلوك الكلاسيكي: أظهرت الهيكلية قدرتها على استعادة السلوك البايزي العادي في الحالة المتدهورة حيث يمتلك كل توزيع بني نقطة دنيا واحدة وكل عدم اليقين كلاسيكي.
الأداء في الحالة الأسوأ: أظهر التجريب أن وكيل IB يحقق ندمًا أقل في الحالة الأسوأ مقارنة بالوكيل البايزي الكلاسيكي في البيئات ذات عدم اليقين النايتي.
صنع القرار الأمثل المعتمد على السياسة: إثبات أن وكيل IB يحصل على مكافآت مثلى في البيئات الشبيهة بنيوكومب، متفوقاً على وكلاء نظرية القرار الكلاسيكية (السببية والبرهانية) التي تفشل في التقاط البنية السببية الصحيحة أو التقارب نحو السياسات المثلى.

4. النتائج التجريبية

أ. عدم اليقين النايتي (المقامير التنافسية/العدائية)

الإعداد: مقامير برنولي بذراعين حيث يتم اختيار احتمالات المكافأة $p_1 \in [0.3, 0.7]$ و $p_2 \in [0.4, 0.8]$ بشكل تنافسي أو زمني. يعرف الوكيل فقط القيود، وليس الاحتمالات المحددة.
الوكيل الكلاسيكي: يجب أن يفترض توزيعًا مسبقًا دقيقًا (مثلاً كتل نقطية عند الزوايا). السلوك حساس للغاية لاختيار هذا التوزيع المسبق التعسفي.
وكيل IB: يمثل قيود الفترات مباشرة كعدم يقين نايتي. يحدد البيئة الأسوأ $(p_1=0.3, p_2=0.4)$ ويختار باستمرار الذراع 2، مما يضمن متوسط مكافأة قدره 0.4.
النتيجة: يحقق وكيل IB ندمًا أقل في الحالة الأسوأ مقارنة بالوكيل الكلاسيكي. يرفض وكيل IB بشكل صحيح "التعلم" من الأنماط التي قد تبدو جذابة ولكنها ليست متينة.

ب. البيئات المعتمدة على السياسة (مسألة نيوكومب)

الإعداد: نسخة من مسألة نيوكومب مع متنبئ غير كامل بدقة $\alpha$ . يختار الوكيل سياسة "الصندوق الواحد" باحتمالية $p$ .
النتيجة: يختار وكيل IB باستمرار السياسة المثلى بناءً على دقة المتنبئ:
- إذا كانت $\alpha > 0.55$ ، فإنه يختار الصندوق الواحد (الأمثل).
- إذا كانت $\alpha < 0.55$ ، فإنه يختار الصندوقين (الأمثل).
المقارنة: وكلاء نظرية القرار السببية (CDT) يختارون الصندوقين بغض النظر عن الدقة (مما يفوت مكافآت كبيرة)، بينما وكلاء نظرية القرار البرهانية (EDT) يختارون الصندوق الواحد لأسباب قد تفشل في هياكل سببية أخرى. يختار وكيل IB الإجراء الأمثل للأسباب الهيكلية الصحيحة.

5. الأهمية والادعاءات

يزعم البحث أن هذا العمل يسد الفجوة بين الوعد الرسمي للبنائية (Infra-Bayesianism) (الاستدلال المتين تحت ظروف عدم التحقق) وبين تنفيذ الوكيل العملي.

المتانة بالتصميم: تشير النتائج إلى أن تحسين الحالة الأسوأ (عبر التوقعات الدنيا) يوفر متانة تفتقر إليها عملية تحسين المتوسط (التعلم المعزز البايزي) للوكلاء الذين يعملون في بيئات خاطئة التوصيف أو معتمدة على السياسة.
تمييز نوع عدم اليقين: يوضح التنفيذ بشكل ملموس أن التمييز بين عدم اليقين الاحتمالي الكلاسيكي وعدم اليقين النايتي يؤدي إلى سلوكيات مختلفة جذرياً وأكثر أماناً للوكلاء.
خطوة تأسيسية: رغم أن هذا التنفيذ الحالي محدود بالنتائج المحدودة وفضاءات الفرضيات الصغيرة، إلا أنه يمثل خطوة ضرورية نحو أنظمة RL تظل متينة تحت خطأ توصيف النموذج. يشير المؤلفون إلى أن حدود الندم لوكيل IB الخاص بهم خطية (وهي تحسن عن التعلم المعزز الكلاسيكي في هذه الإعدادات المحددة، وإن كانت لا تزال غير فرعية)، وأن التوسع إلى المساحات المستمرة والعمليات متعددة الخطوات يظل تحديًا مفتوحًا للعمل المستقبلي.

يخلص البحث إلى أن IBRL يقدم مساراً قابلاً للتطبيق للوكلاء الذين يمكنهم التفكير بفعالية عندما يتم انتهاك افتراض "حبة الحقيقة" (grain of truth) الذي يعتمد عليه التعلم المعزز البايزي الكلاسيكي.