🤖 machine learning

Distributional Inverse Reinforcement Learning

تقترح هذه الورقة إطاراً توزيعياً جديداً لتعلم التعزيز العكسي غير المتصل (offline Inverse Reinforcement Learning) يعمل على نمذجة عدم اليقين في دالة المكافأة وتوزيعات العائد الكاملة بشكل مشترك من خلال تقليل انتهاكات الهيمنة العشوائية من الدرجة الأولى، مما يتيح استعادة تمثيلات مكافأة تعبيرية وسياسات واعية بالمخاطر مع ضمانات تقارب مثبتة.

المؤلفون الأصليون: Feiyang Wu, Ye Zhao, Anqi Wu

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Feiyang Wu, Ye Zhao, Anqi Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يمشي، أو حاسوب كيف يلعب لعبة فيديو، لكنك لا تعرف القواعد أو نظام النقاط. لديك فقط فيديو لخبير يقوم بذلك بإتقان. هذا هو جوهر مشكلة التعلم المعكوس للتعزيز (Inverse Reinforcement Learning - IRL): اكتشاف ما يحاول الخبير تحقيقه بمجرد مراقبة كيفية قيامه بذلك.

لفترة طويلة، افترض باحثو الذكاء الاصطناعي أن "المكافآت" (النقاط) كانت بسيطة وثابتة. إذا قفزت، ستحصل على 10 نقاط بالضبط. في كل مرة.

المشكلة: الحياة فوضوية
في العالم الحقيقي، نادراً ما تكون المكافآت متوقعة بهذا الشكل.

ذراع الروبوت: إذا حاول روبوت التقاط بيضة هشة، ففي بعض الأحيان ينجح (مكافأة رائعة)، وأحياناً يسقطها (مكافأة سيئة)، وأحياناً أخرى يضغط عليها بقوة كافية لكسرها (مكافأة متوسطة). النتيجة هي مقامرة.
الفأر: في تجربة في علم الأعصاب، يفرز دماغ الفأر الدوبامين (كيميائي المكافأة) بشكل مختلف في كل مرة يقوم فيها بنفس الحركة. إنه ليس رقماً ثابتاً؛ بل هو موجة متذبذبة.

حاولت طرق الذكاء الاصطناعي القديمة تخمين متوسط المكافأة. كانوا يتساءلون: "في المتوسط، كم نقطة حصل عليها الخبير؟" لكن هذا يغفل القصة بأكملها. فهو لا يخبرك ما إذا كان الخبير يلعب بحذر لتجنب فشل ذريع، أم أنه كان يخاطر بجنون من أجل فوز كبير. الأمر يشبه الحكم على لاعب بوكر من خلال متوسط أرباحه فقط، مع تجاهل ما إذا كان مدخراً حذراً أم مقامراً متهوراً.

الحل: DistIRL (التعلم المعكوس للتعزيز التوزيعي)
يقترح مؤلفو هذه الورقة طريقة جديدة تسمى DistIRL. بدلاً من تخمين رقم واحد للمكافأة، يقوم DistIRL بتخمين الشكل الكامل للمكافأة.

فكر في الأمر كالتالي:

الطريقة القديمة (المتوسط): "الخبير يحصل عادة على حوالي 50 نقطة."
DistIRL (الصورة الكاملة): "الخبير يحصل عادة على 50 نقطة، لكنه أحياناً يحصل على 100، وأحياناً يحصل على 0، وهو يكره بشدة الحصول على نقاط سالبة. استراتيجيته هي تجنب الحصول على الـ 0 بأي ثمن."

كيف يعمل: تشبيه "FSD"
لفهم هذه الصورة الكاملة، تستخدم الورقة مفهوماً يسمى الهيمنة العشوائية من الدرجة الأولى (First-Order Stochastic Dominance - FSD). لنستخدم استعارة لنشرتين مختلفتين للأرصاد الجوية:

النشرة (أ) (الخبير): "سيمطر، لكنه في الغالب رذاذ خفيف. ربما عاصة شديدة من حين لآخر، لكنها ستكون تحت السيطرة في الغالب."
النشرة (ب) (الروبوت الخاص بك): "قد يكون الجو مشمساً، أو قد يكون إعصاراً."

حتى لو كان لكلتا النشرتين نفس متوسط هطول الأمطار، فإن النشرة (أ) هي "أفضل" (تهيمن) لأنها تضمن لك عدم البلل في إعصار.

ينظر DistIRL إلى سلوك الخبير ويقول: "يجب أن تكون استراتيجية الروبوت الخاص بي أفضل من أو مساوية لـ استراتيجية الخبير عبر كل النتائج الممكنة، وليس فقط في المتوسط". إنه يجبر الروبوت على تعلم التوزيع الكامل للمخاطر والمكافآت، مما يضمن عدم تعلم الروبوت بالخطأ استراتيجية تنطوي على مخاطر لم يكن الخبير يتبعها.

لماذا هذا مهم: الوكيل "الواعي بالمخاطر"
لأن DistIRL يفهم التوزيع الكامل، يمكنه تعلم سياسات واعية بالمخاطر.

إذا كان الخبير يتجنب المخاطر (مثل السائق الذي يلتزم دائماً بالحارة البطيئة لتجنب الحوادث)، فإن DistIRL يتعلم أن "المكافأة" للسرعة هي في الواقع خطر كبير لوقوع حادث، حتى لو كان متوسط السرعة عالياً.
إذا كان المستثمر يسعى وراء المخاطر، فإن DistIRL يتعلم أنه مستعد لقبول خسائر ضخمة من أجل فرصة لتحقيق ربح هائل.

اختبارات العالم الحقيقي
اختبر الفريق ذلك بثلاث طرق:

Gridworld (متاهة بسيطة): أظهروا أن DistIRL استطاع اكتشاف أن الخبير يتجنب مكاناً ذا مكافأة عالية "عالية المخاطر" لأنه يعطي أحياناً مكافأة صفرية، بينما اعتقدت الطرق القديمة أن ذلك المكان "جيد" فحسب.
أدمغة الفئران (علم الأعصاب): حللوا بيانات حقيقية من الفئران. "المكافأة" في دماغ الفأر (الدوبامين) فوضوية ومتغيرة. نجح DistIRL في إعادة بناء شكل طفرات الدوبامين هذه، مما طابق البيانات البيولوجية الحقيقية بشكل أفضل بكثير من الطرق القديمة. لقد أثبت أن السلوك وحده يمكن أن يكشف عن الطبيعة المعقدة والمتذبذبة للدوافع الداخلية.
التحكم في الروبوت (MuJoCo): في محاكاة الروبوتات المعقدة حيث يكون السقوط كارثياً، تعلم DistIRL جعل الروبوتات تتحرك بأمان وكفاءة، محققاً أداءً يطابق روبوتات "الخبير" بشكل أفضل من أي طريقة سابقة.

الخلاصة
هذه الورقة تشبه الترقية من تلفزيون أبيض وأسود إلى شاشة 4K HDR. الطرق القديمة رأت "متوسط" عالم الخبير. أما DistIRL فيرى الألوان، والعمق، والظلال. إنه يسمح للذكاء الاصطناعي بفهم ليس فقط ماذا يريد الخبير، بل أيضاً كيف يشعر تجاه عدم اليقين في المستقبل، مما يؤدي إلى ذكاء اصطناعي أكثر ذكاءً، وأماناً، ومحاكاةً للبشر.

إليك ملخص تقني مفصل لورقة البحث "Distributional Inverse Reinforcement Learning" (التعلم المعكوس للتعزيز التوزيعي) من إعداد فييانغ وو، يي تشاو، وأني تشاو.

1. بيان المشكلة

يهدف التعلم المعكوس للتعزيز (Inverse Reinforcement Learning - IRL) إلى استنتاج دالة المكافأة والسياسة الكامنة للخبير من المسارات الملحوظة. وبينما حققت طرق IRL التقليدية (مثل MaxEntIRL) نجاحاً، إلا أنها تعتمد على قيد جوهري: فهي تفترض أن دالة المكافأة حتمية (deterministic)، حيث تستعيد تقدير نقطة واحدة فقط $r(s, a) \in \mathbb{R}$ .

في العديد من السيناريوهات الواقعية، تكون إشارات المكافأة عشوائية بطبيعتها (stochastic):

الروبوتات: يؤدي عدم اليقين في التلامس مع الأجسام القابلة للتشوه إلى مكافآت متغيرة لأزواج الحالة والفعل المتطابقة.
علم الأعصاب: تُظهر إشارات الدوبامين (التي تُستخدم غالباً كوكلاء للمكافأة) تباينًا كبيرًا من تجربة إلى أخرى.
الحساسية للمخاطر: لا يلتقط نموذج المكافأة الحتمي سوى المتوسط لتوزيع العائد، مما يجعله يعجز عن التقاط العزوم العليا (التباين، الالتواء)، وبالتالي يفشل النموذج في أن يكون حساساً لتفضيلات المخاطر (مثل السلوك المتحفظ تجاه المخاطر مقابل السلوك الساعي وراء المخاطر).

تحاول طرق التعلم المعكوس لتعزيز بايز (BIRL) نمذجة عدم اليقين، لكنها عادة ما تستنتج توزيعاً خلفياً لمعلمات دالة مكافأة حتمية وتظل تعمل على تحسين العائد المتوقع، مما يفشل في استعادة الشكل الكامل لتوزيع المكافأة أو توزيع العائد الناتج.

التحدي الجوهري: كيف يمكن تعلم التوزيع الكامل لدالة المكافأة والتوزيع الكامل للعوائد مباشرة من عروض الخبير غير المتصلة (offline)، مما يسمح بتعلم سياسة واعية بالمخاطر.

2. المنهجية: إطار عمل DistIRL

يقترح المؤلفون إطار عمل DistIRL (التعلم المعكوس للتعزيز التوزيعي)، وهو إطار يعمل بشكل مشترك على نمذجة عدم يقين المكافأة وتوزيعات العائد.

أ. الهيمنة العشوائية من الدرجة الأولى (FSD) لتعلم المكافأة

بدلاً من مطابقة العوائد المتوقعة (كما في MaxEntIRL)، يهدف DistIRL إلى مواءمة توزيع العائد الكامل للوكيل مع توزيع الخبير.

الهدف: تقلل الخوارزمية من انتهاكات الهيمنة العشوائية من الدرجة الأولى (First-Order Stochastic Dominance - FSD). إذا كان توزيع عائد الخبير $Z_E$ يهيمن عشوائياً على توزيع الوكيل $Z_\pi$ ( $Z_E \succeq_{FSD} Z_\pi$ )، يُعتان الوكيل أنه يؤدي بشكل أفضل من الخبير أو على الأقل بنفس المستوى عبر جميع ملفات تعريف المخاطر.
دالة الخسارة: يتم صياغة انتهاك FSD كدالة طاقة:
$L_{FSD}(\pi, r) = \int_{-\infty}^{\infty} [F_{Z_E}(z) - F_{Z_\pi}(z)]_+ dz$
حيث $[x]_+ = \max(x, 0)$ . يقيس هذا التكامل المساحة التي تكون فيها دالة التوزيع التراكمي (CDF) للخبير أعلى من دالة الوكيل، مما يشير إلى انتهاك الهيمنة.
الاستدلال التبايني (Variational Inference): لتعلم توزيع المكافأة $q_\phi(r|s, a)$ ، يستخدم المؤلفون صياغة النموذج القائم على الطاقة (EBM) مقترنة بالاستدلال التبايني. يقومون بتقريب التوزيع الخلفي لتوزيع المكافأة عن طريق تقليل الحد الأدنى للقدرة على الإثبات (ELBO) الذي يتضمن انتهاك FSD المتوقع مع تنظيم التباعد (KL-divergence) مقابل توزيع سابق (prior).
تقريب المئينات (Quantile Approximation): لجعل خسارة FSD قابلة للحساب، يستخدمون الهوية التي تربط تكاملات CDF بدوال المئينات:
$\int_{-\infty}^{\infty} [F_{Z_E}(z) - F_{Z_\pi}(z)]_+ dz = \int_{0}^{1} [F^{-1}_{Z_\pi}(v) - F^{-1}_{Z_E}(v)]_+ dv$
يسمح هذا باستخدام أخذ العينات بطريقة مونت كارلو والمئينات التجريبية لتقدير الخسارة.

ب. تعلم السياسة الواعية بالمخاطر عبر مقاييس المخاطر المشوهة (DRMs)

إن تحسين هدف FSD مباشرة للسياسة أمر مستعصٍ حسابياً لأن دالة المؤشر التي تحدد مناطق الانتهاك غير قابلة للاشتقاق وتعتمد على توزيع الخبير غير المعروف.

الهدف البديل: يستبدل المؤلفون دالة المؤشر المستعصية بـ مقياس مخاطر مشوه (Distortion Risk Measure - DRM). يقوم الـ DRM، المرمز بـ $M_\xi(X)$ ، بتجميع مئينات التوزيع بوزن من دالة تشويه $\xi$ .
$M_\xi(X) = \int_0^1 F^{-1}_X(v) d\tilde{\xi}(v)$
التبرير النظري: يثبت المؤلفون أنه إذا قامت السياسة بزيادة الـ DRM لجميع دوال التشويه الممكنة، فإنها تحقق شرط FSD. عملياً، يختارون DRM محدداً (مثل CVaR) يتوافق مع ملف تعريف المخاطر للخبير لتحسين السياسة.
الخوارزمية: يتم تحديث السياسة لزيادة الـ DRM لتوزيع العائد بالإضافة إلى حد الإنتروبي، مما يؤدي فعلياً إلى تعلم سياسة واعية بالتوزيع الكامل للنتائج، وليس فقط المتوسط.

ج. نظرة عامة على الخوارزمية

تتبادل الخوارزمية بين ثلاث خطوات (الخوارزمية 1):

تحديث الناقد (Critic Update): يستخدم انحدار المئينات (Quantile Regression - QR) مع خسارة هوبر المئينية (Quantile Huber loss) لتقدير توزيع العائد $Z_\pi$ للسياسة الحالية.
تحديث السياسة (Policy Update): تحديث معلمات السياسة لزيادة مقياس المخاطر المشوه (DRM) المختار لتوزيع العائد.
تحديث توزيع المكافأة (Reward Distribution Update): تحديث معلمات توزيع المكافأة $q_\phi$ لتقليل خسارة انتهاك FSD بين توزيعات عائد الخبير والوكيل.

3. المساهمات الرئيسية

تعلم توزيع المكافأة: يعد DistIRL أول إطار عمل يتعلم التوزيع الكامل لدالة المكافأة (بما في ذلك العزوم العليا مثل التباين والالتواء) في سياق IRL غير متصل (offline) وبشكل منهجي، متجاوزاً التقديرات النقطية أو التوزيعات الخلفية للمعلمات.
تعلم السياسة المدركة للتوزيع: من خلال دمج FSD وDRMs، يستعيد الإطار سياسات واعية بالمخاطر بشكل صريح، قادرة على التقاط السلوكيات المتحفظة أو الساعية وراء المخاطر المتأصلة في بيانات الخبير.
التحليل النظري: يقدم المؤلفون تحليلاً للتقارب يوضح أن الخوارزمية تتقارب إلى نقطة ثابتة من الدرجة الأولى بتعقيد تكراري قدره $O(\epsilon^{-2})$ .
التحقق التجريبي: تم التحقق من الطريقة عبر:
- شبكة عالم افتراضي (Gridworld): استعادة ناجحة لتباين المكافأة والسلوك المتحفظ تجاه المخاطر.
- بيانات علم الأعصاب: أول تطبيق لـ IRL على سلوك الفئران التلقائي، حيث نجحت في استنتاج توزيعات المكافأة التي تطابق الخصائص الإحصائية لـ تقلبات الدوبامين (بما في ذلك الالتواء).
- التحكم في MuJoCo: تحقيق أداء رائد (SOTA) على معايير D4RL الحساسة للمخاطر (HalfCheetah, Hopper, Walker2D) مع عقوبات سلامة عشوائية.

4. النتائج التجريبية

Gridworld: حدد DistIRL بشكل صحيح متوسط وتباين المكافآت العشوائية، بينما استعاد BIRL المتوسط فقط وفشل في التقاط التباين، مما أدى إلى تقديرات مرتفبة زائفة في المناطق ذات المكافأة المنخفضة.
سلوك الفئران (علم الأعصاب):
- باستخدام توزيع skew-normal، حقق DistIRL أعلى ارتباط (حوالي 0.3) بين متوسطات المكافأة المستنتجة وإشارات الدوبامين الفعلية.
- والأهم من ذلك، استعاد DistIRL الشكل الكامل (الالتواء وتعدد الأنماط) لتوزيع الدوبامين، بينما فشلت النماذج الحتمية وBIRL في التقاط هذه الإحصائيات العليا.
MuJoCo (D4RL الحساس للمخاطر):
- تفوق DistIRL بشكل كبير على النماذج المرجعية (Offline ML-IRL, ValueDICE, Behavior Cloning) في البيئات ذات عقوبات السلامة العشوائية (مثل الاصطدامات عالية السرعة).
- حقق عوائد قريبة من الخبير (مثلاً 3469 مقابل 3540 في HalfCheetah)، بينما عانت النماذج الأخرى بسبب عدم التطابق التوزيعي أو الحياد تجاه المخاطر.
- مطابقة توزيع العائد: أظهرت التصورات أن توزيع العائد المستنتج بواسطة DistIRL يطابق توزيع الخبير عن كثب، بما في ذلك سلوك الذيول (tail behavior)، بينما انحرف BIRF بشكل كبير.

5. الأهمية والتأثير

الربط بين IRL والتعلم التوزيعي للتعزيز: يوحد DistIRL بين مفاهيم التعلم المعكوس للتعزيز والتعلم التوزيعي للتعزيز، مما يسمح باستنتاج هياكل مكافأة معقدة وعشوائية.
رؤية علم الأعصاب: القدرة على فك تشفير التوزيع الكامل للحالات التحفيزية الداخلية (مثل تباين الدوبامين) من السلوك وحده تفتح آفاقاً جديدة لفهم اتخاذ القرار لدى الحيوانات والبشر تحت ظروف عدم اليقين.
السلامة والمتانة: في الروبوتات والأنظمة ذاتية القيادة، حيث تعتبر السلامة أمراً بالغ الأهمية، يعد تعلم سياسات واعية بالمخاطر تأخذ في الاعتبار عدم يقين المكافأة أمراً حيوياً. يوفر DistIRL آلية لتعلم هذه السياسات مباشرة من العروض دون الحاجة إلى نمذجة صريحة للمخاطر من قبل المصمم.
القابلية للتعميم: يتميز الإطار بمرونة فيما يتعلق باختيار التوزيع السابق (prior) ودالة التشويه، مما يجعله قابلاً للتكيف مع مجالات متنوعة حيث تكون إشارات المكافأة ضوضائية أو حساسة للمخاطر.

باختصار، يمثل DistIRL قفزة نوعية للأمام في مجال IRL من خلال الإقرار بأن "المكافآت هي توزيعات، وليست مجرد أرقام"، مما يتيح نماذج أكثر قوة وتعبيرية ومنطقية بيولوجياً لسلوك الخبراء.