🤖 machine learning

Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

تحدد هذه الورقة وتحلل تحديين لم يسبق الإبلاغ عنهما، وهما تداخل دالة القيمة والحساسية تجاه المبالغة في التقدير، واللذان يعيقان أداء خوارزميات التعلم المعزز متعدد الأهداف القائمة على القيمة عند استخدامها مع دوال المنفعة غير الخطية.

المؤلفون الأصليون: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

نُشر 2026-04-23

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قبطان سفينة فضائية تحاول الوصول إلى كوكب بعيد. لكن هناك عقبة: أنت لا تحاول فقط الوصول بسرعة، بل لديك لوحة تحكم بثلاثة أهداف متضاربة:

السرعة (الوصول بسرعة).
كفاءة الوقود (توفير الطاقة).
الأمان (تجنب الكويكبات).

في عالم الذكاء الاصطناعي، يسمى هذا تعلم تعزيز متعدد الأهداف (MORL). على وكيل الذكاء الاصطنا جنبي (كمبيوتر سفينتك) أن يتعلم كيفية الموازنة بين هذه الأهداف المتنافسة. عادةً، يتعلم الذكاء الاصطناعي من خلال الاحتفاظ بـ "بطاقة نقاط" (تسمى قيمة Q) لكل حركة محتملة. في الذكاء الاصطناعي البسيط، تكون هذه الدرجة مجرد رقم واحد. ولكن في هذا العالم المعقد، تكون بطاقة النقاط عبارة عن متجه (vector) — وهي قائمة من الأرقام، رقم واحد لكل هدف (على سبيل المثال: [السرعة: 10، الوقود: 5، الأمان: 9]).

الورقة البحثية التي قدمتها، والتي كتبها بيتر فامبلو وزملاؤه، تكتشف "خللين" رئيسيين يحدثان عندما تحاول استخدام بطاقات النقاط المعقدة هذه مع تفضيلات غير خطية (حيث لا تتبع رياضيات سعادتك خطاً مستقيماً).

إليك تفصيل للمشكلتين، مشروحة بتشبيهات من الحياة اليومية.

المشكلة 1: فخ "المتوسط مقابل الواقع" (تداخل دالة القيمة)

المفهذا:
في الذكاء الاصطناعي القياسي، إذا كنت تخوض مقامرة، فإن الذكاء الاصطناعي يحسب النتيجة المتوسطة ويتخذ قراراً بناءً على ذلك المتوسط. هذا يعمل بشكل جيد إذا كانت سعادتك خطاً مستقيماً (خطياً). ولكن إذا كانت سعادتك منحنى (غير خطية)، فإن المتوسط قد يخدعك.

التشبيه: تذكرة اليانصيب مقابل المبلغ المضمون
تخيل أنك في كازينو. لديك خياران:

الخيار (أ) (المقامرة): فرصة 50/50 للفوز إما بـ 10 دولارات أو 100 دولار.
- القيمة المتوسطة هي 55 دولاراً.
الخيار (ب) (الرهان الآمن): مبلغ مضمون قدره 40 دولاراً.

السيناريو 1: أنت تحب المال بشكل خطي.
إذا كنت تريد فقط الحصول على أكبر قدر من المال، فإن 55 دولاراً (متوسط الخيار أ) أفضل من 40 دولاراً (الخيار ب). ستختار (أ). بسيط.

السيناريو 2: أنت تتجنب المخاطر (منفعة غير خطية).
لنفترض أن دالة "سعادتك" غريبة. أنت مرعوب من الخسارة، لذا فإن الحصول على 10 دولارات يجعلك بائساً، لكن الحصول على 100 دولار يجعلك مبتهجاً للغاية.

متوسط سعادتك للخيار (أ) قد يكون منخفضاً لأن خطر الحصول على 10 دولارات يسحب السعادة للأسفل.
ومع ذلك، تشير الورقة البحثية إلى فخ رياضي محدد: أحياناً، يقوم الذكاء الاصطناعي بحساب المتجه المتوسط أولاً، ثم يطبق معادلة السعادة الخاصة بك.
- هو يرى المتجه المتوسط: [السرعة: 55، ...].
- ثم يحسب السعادة بناءً على هذا المتوسط: السعادة(55).
- الفخ: في بعض السيناريوهات الرياضية المعقدة (مثل المنحنيات "المحدبة" أو "المقعرة" المذكورة في الورقة)، فإن السعادة(المتوسط) ليست هي نفسها المتوسط(السعادة).

النتيجة في العالم الحقيقي:
قد ينظر الذكاء الاصطناعي إلى "المتجه المتوسط" للمقامرة، ويحسب درجة، ويقرر أنه أفضل من الرهان الآمن. لكن في الواقع، إذا لعبت هذه اللعبة 100 مرة، ستكون أكثر سعادة إذا اخترت الرهان الآمن في كل مرة. يصاب الذكاء الاصطناعي بالارتباك بسبب "المتوسط" ويختار المسار الخاطئ، مما يؤدي إلى نتيجة دون المستوى الأمثل.

الحل:
تقترح الورقة البحثية أنه إذا كان على الذكاء الاصطناعي الاختيار بين حركتين تبدوان متساويتين في الجودة، فلا ينبغي له أن يرمي عملة معدنية (يختار عشوائياً). بل يجب أن يختار نفس الحركة في كل مرة (بشكل حتمي). هذا يمنع الذكاء الاصطناعي من إنشاء "متوسط زائف" يربك منطقه الخاص.

المشكلة 2: حساسية "الدرجة المبالغ فيها" (المبالغة في التقدير)

المفهوم:
غالباً ما تصاب خوارزميات الذكاء الاصطناعي ببعض الحماس الزائد. فهي تميل إلى المبالغة في تقدير مدى جودة الحركة. في الذكاء الاصطناعي البسيط (هدف واحد)، لا يهم هذا كثيراً. إذا اعتقدت أن حركة ما تستحق 10 نقاط بدلاً من 8، وهناك حركة أخرى تستحق 5، فستظل تختار الأولى. الترتيب يبقى كما هو.

التشبيه: الخريطة المشوهة
تخيل أنك تتنزه مع خريطة بها تشويه طفيف.

الخريطة الخطية (الذكاء الاصطناعي البسيط): تقول الخريطة إن الجبل (أ) ارتفاعه 100 متر، والجبل (ب) ارتفاعه 50 متراً. حتى لو كانت الخريطة خاطئة وتقول إن ارتفاعهما 105 و55 متراً، فستظل تعرف أن (أ) أعلى. ستختار (أ).
الخريطة غير الخطية (الذكاء الاصطناعي المعقد): الآن، تخيل أن هدفك ليس مجرد "الارتفاع"، بل "الجمال الطبيعي"، والذي يعتمد على معادلة غريبة. ربما تهتم فقط بالجبال التي يزيد ارتفاعها عن 100 متر بالضبط، أو ربما يتراجع الجمال بشكل حاد بعد نقطة معينة.
- إذا بالغت الخريطة في تقدير الجبل (ب) ولو بقدر ضئيل جداً، فقد يتجاوز فجأة "عتبة" في معادلتك.
- فجأة، يعتقد الذكاء الاصطناعي أن الجبل (ب) هو الأكثر جمالاً، رغم أن الجبل (أ) هو الأفضل في الواقع.

النتيجة في العالم الحقيقي:
تظهر الورقة البحثية أنه عندما تستخدم قواعد معقدة وغير خطية (مثل "يجب أن يكون الأمان مثالياً، وإلا فلن أهتم بالسرعة")، فإن مجرد قدر ضئيل من "الضجيج" أو المبالغة في التقدير في بطاقة نقاط الذكاء الاصطناعي يمكن أن يقلب قراره تماماً.

الذكاء الاصطناعي الخطي: المبالغة في التقدير هي مجرد ضجيج غير ضار.
الذكاء الاصطناعي غير الخطي: المبالغة في التقدير هي كارثة. فهي تتسبب في اختيار الذكاء الاصطناعي للمسار الخاطئ تماماً، مما يؤدي إلى خسائر هائلة في الأداء.

تشبيه "العتبة":
فكر في لوحة تحديد السرعة.

إذا كنت تقود بسرعة 59 ميلاً في الساعة وكان عداد السرعة معطلاً قليلاً ويقول 61 ميلاً، فقد تصاب بالذعر وتظن أنك تتجاوز السرعة.
إذا كنت تقود بسرعة 61 ميلاً في الساعة وقال العداد 63 ميلاً، فأنت لا تزال تتجاوز السرعة.
لكن إذا كانت "منفعتك" هي "أنا سعيد إذا كنت تحت 60، وأشعر بالبؤس إذا تجاوزت ذلك"، فإن خطأً طفيفاً في عداد السرعة سيقلب حالتك العاطفية بالكامل من "سعيد" إلى "بائس". المبالغة في التقدير لدى الذكاء الاصطناعي تعمل مثل عداد السرعة المعطل هذا.

الملخص: ماذا يجب أن نفعل؟

خلص المؤلفون إلى أن طرق الذكاء الاصطناعي الحالية هشة نوعاً ما عند التعامل مع المشكلات المعقدة متعددة الأهداف.

أوقف العشوائية: عندما يكون الذكاء الاصطناعي غير متأكد بين خيارين متساويين، توقف عن رمي العملة المعدنية. اختر واحداً باستمرار لتجنب إرباك حسابات "المتوسط".
راقب المبالغة: كن حذراً جداً مع الذكاء الاصطناعي الذي يستخدم قواعد معقدة وغير خطية. حتى الأخطاء الصغيرة في كيفية تقدير الذكاء الاصطناعي لمكافآته المستقبلية يمكن أن تؤدي إلى اتخاذ قرارات كارثية.
الحلول المستقبلية: تقترح الورقة البحثية طريقتين للإصلاح:
- التعلم التوزيعي (Distributional Learning): بدلاً من تعلم "متوسط" الدرجة فقط، علّم الذكاء الاصطناعي تعلم النطاق الكامل للنتائج المحتملة (مثل معرفة أن هناك احتمال 50% للحصول على 10 دولارات و50% للحصول على 100 دولار، بدلاً من مجرد "متوسط 55 دولاراً"). هذا يسمح للذكاء الاصطناعي بحساب السعادة الحقيقية بشكل صحيح.
- التسكيل (Scalarization): تحويل أهداف المتجهات المعقدة إلى رقم واحد فوراً عند كل خطوة، بدلاً من الانتظار حتى النها. هذا يتجنب فخ "المتوسط مقابل الواقع" تماماً.

باختصار: عندما يتعين على الذكاء الاصطناعي الموازنة بين أهداف متعددة ومتضاربة بقواعد معقدة، فإنه يرتبك بسهء من المتوسطات والأخطاء الصغيرة. نحن بحاجة لتعليمه أن ينظر إلى الصورة الكاملة، وليس فقط إلى المتوسط، وأن يكون دقيقاً جداً في تسجيل درجاته.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مشكلات التعلم المعزز متعدد الأهداف القائم على القيمة: تداخل دالة القيمة والحساسية للمبالغة في التقدير" من إعداد Vamplew وآخرون.

1. بيان المشكلة

يوسع التعلم المعزز متعدد الأهداف (MORL) نطاق التعلم المعزز القياسي ليشمل البيئات ذات الأهداف المتعددة والمتضاربة المتمثلة في مكافآت ذات قيم متجهة. وبينما يتم تكييف الأساليب القائمة على القيمة مثل Q-learning على نطاق واسع لـ MORL عبر تعلم دوال Q ذات قيم متجهة واستخدام مؤثر لتسوية القيم (دالة المنفعة $U$ ) لاختيار الإجراء، تحدد هذه الورقة مشكلتين حرجتين لم يتم الإبلاغ عنهما مسبقاً تعيقان الأداء عند استخدام دوال منفعة غير خطية:

تداخل دالة القيمة (Value Function Interference): العائد المتجه المتوقع الذي يتعلمه الوكيل (متوسط العائدات المستقبلية) قد لا يحتوي على معلومات كافية لتحديد الإجراء الأمثل تحت دالة منفعة غير خطية. وتحديداً، فإن منفعة المتجه المتوقع ($U(E[Return]) $) غالباً ما تختلف عن *المنفعة المتوقعة* ($ E[U(Return)]$) للعائدات. يؤدي هذا التباين إلى اختيار إجراءات دون المستوى الأمثل، لا سيال في حالة تحسين العائد المخطط المتوقع (ESR) في البيئات العشوائية، وأيضاً في حالة العائد المتوقع المخطط (SER) في البيئات الحتمية بسبب عشوائية كسر التعادل (tie-breaking).
الحساسية للمبالغة في التقدير (Sensitivity to Overestimation): بينما يُعرف عن Q-learning معاناته من انحياز المبالغة في التقدير في التعلم أحادي الهدف، تُظهر هذه الورقة أن دوال المنفعة غير الخطية في MORL أكثر حساسية بشكل كبير لهذا الانحياز. فحتى المبالغة المتسقة في التقدير يمكن أن تغير ترتيب تفضيل الإجراءات، مما يتسبب في اختيار الوكيل لسياسات دون المستوى الأمثل، في حين يظل التسوية الخطية (linear scalarization) صامداً أمام المبالغة المتسقة في التقدير.

2. المنهجية

استخدم المؤلفون مزيجاً من التحليل النظري والتجارب التجريبية باستخدام وكيل Multi-objective Q-learning (MOQ) جدولي.

الإطار الخوارزمي: يستخدمون نسخة معدلة من MOQ القياسي (الخوارزمية 1) التي تتعامل مع المكافآت المتجهة وتستخدم فضاء حالة موسع $(s, P, t)$ ، حيث $P$ هو متجه العائد المتراكم و $t$ هو الخطوة الزمنية (وهو أمر ضروري للمنفعة غير الخطية والخصم).
معايير التحسين: تميزت الدراسة بين:
- SER (العائد المتوقع المخطط): تعظيم $U(E[Return])$.
- ESR (المنفعة المتوقعة للعائد المخطط): تعظيم $E[U(Return)]$.
الإعداد التجريبي:
- تداخل دالة القيمة: تم الاختبار في نماذج ماركوف لاتخاذ القرار متعددة الأهداف (MOMDPs) بسيطة، وفي أذرع متعددة الأهداف (MOMABs).
  - الحالة العشوائية: ذراع حالة واحدة مع مكافآت عشوائية لإظهار التباعد بين ESR و SER.
  - الحالة الحتمية: MOMDP ثلاثي الحالات حيث تم التلاعب بكسر التعادل الحتمي (عشوائي مقابل فهرس ثابت) لإظهار كيف تسبب العشوائية المستحثة تداخلاً.
- الحساسية للمبالغة في التقدير: تم الاختبار في بيئة عالم الشبكة DST-Mixed (المسقطة على MOMAB).
  - تمت مقارنة ثلاث دوال منفعة: التسوية الخطية (Linear Scalarization)، الترتيب اللكسيكوغرافي ذو العتبة (TLO)، ومسافة تشيبيشيف (Chebyshev Distance).
  - تضمنت التجارب إضافة ضوضاء متحكم بها ( $\delta$ ) إلى قيم Q (سواء كانت متسقة أو غير متسقة) لمحاكاة المبالغة في التقدير وقياس تكرار اختيار السياسة غير الصحيحة والندم المعياري.

3. المساهمات الرئيسية

أ. تحديد تداخل دالة القيمة

تعرف الورقة رسمياً تداخل دالة القيمة بأنه الظاهرة التي تفشل فيها قيم Q المتجهة المتعلمة (التي تمثل العائدات المتوقعة) في توجيه الوكيل إلى السياسة المثلى لأن دالة المنفعة غير خطية.

البيئات العشوائية: يتعلم الوكيل $Q(s,a) = E[R]$ . إذا كانت $U$ غير خطية، فإن $U(Q(s,a)) \neq E[U(R)]$ . هنا يحسن الوكيل الهدف الخاطئ (SER بدلاً من ESR).
البيئات الحتمية: حتى في الإعدادات الحتمية، ينشأ التداخل إذا قام الوكيل بكسر التعادل بين الإجراءات المتساوية في المثالية بشكل عشوائي. يؤدي كسر التعادل العشوائي هذا إلى إدخال عشوائية اصطناعية في تدفق المكافآت، مما يجعل قيم المتجهات المتعلمة للحالات السابقة تتقارب نحو "متجه متوسط" يعطي منفعة أقل من المسار الحتمي الأمثل الحقيقي.

ب. إثبات الحساسية للمبالغة في التقدير

يوضح المؤلفون أنه بينما تظل التسوية الخطية محايدة تجاه المبالغة المتسقة في التقدير (لأن $Q^* + \delta > Q + \delta$ تحافظ على الترتيب)، فإن دوال المنفعة غير الخطية ليست كذلك.

حساسية TLO: الترتيب اللكسيكوغرافي ذو العتبة حساس للغاية. يمكن لمبالغة طفيفة في التقدير أن تدفع متجه العائد عبر عتبة المنفعة، مما يسبب قفزة هائلة في المنفعة المدركة ويؤدي إلى أخطاء كارثية في السياسة.
حساسية تشيبيشيف: رغم أنها أقل حساسية من TLO، إلا أن مسافة تشيبيشيف لا تزال تعاني من انعكاسات التفضيل بسبب عدم خطية عامل الـ max.

ج. استراتيجيات التخفيف

كسر التعادل الحتمي: في حالات MOMDP الحتمية، يؤدي استبدال كسر التعادل العشوائي بقاعدة حتمية (مثل اختيار الإجراء ذو الفهرس الأدنى دائماً) إلى تقليل تكرار التقارب نحو سياسات دون المستوى الأمثل بشكل كبير، رغم أنه لا يقضي على المشكلة تماماً (خاصة إذا تغير الإجراء الأمثل بشكل متكرر أثناء التعلم).
التوجهات المستقبلية المقترحة: يقترح المؤلفون دمج التعلم التوزيعي (Distributional RL) (تعلم توزيعات العائدات بدلاً من مجرد المتوسطات) لتقدير ESR بشكل صحيح، أو استخدام تشكيل المكافأة القائم على الإمكانات (Potential-Based Reward Shaping) لتسوية العائدات عند كل خطوة زمنية (لتعلم ESR مباشرة)، وإن كان الخيار الأخير يضحي بقابلية تفسير قيم Q المتجهة.

4. النتائج

التداخل في الإعدادات العشوائية: في تجربة الذراع العشوائية، تقارب MOQ القياسي مع كسر التعادل العشوائي إلى الذراع دون المستوى الأمثل في جميع التجارب تقريباً لمعظم معدلات التعلم، وفشل في تعلم السياسة المثلى لـ ESR.
التداخل في الإعدادات الحتمية:
- مع كسر التعادل العشوائي، تقارب الوكيل بشكل متكرر نحو سياسة دون المستوى الأمثل (السياسة 2) في MOMDP الحتمي، خاصة مع معدلات تعلم متوسطة ( $\alpha \approx 0.5$ ).
- مع كسر التعادل الحتمي (الفهرس الأدنى أو الأعلى)، انخفض التقارب إلى السياسة دون المستوى الأمثل بشكل ملحوظ (بنسبة ~30% في إجمالي التجارب)، مما يثبت أن عشوائية آلية كسر التعادل هي المحرك الرئيسي للتداخل.
تأثير المبالغة في التقدير:
- الخطي: صفر تأثير على اختيار السياسة بغض النظر عن مقدار المبالغة في التقدير.
- TLO: حساس للغاية. حتى المبالغة الطفيفة ( $\delta=0.1$ ) تسببت في زيادة حادة في اختيارات السياسة غير الصحيحة والندم المعياري.
- تشيبيشيف: حساسية متوسطة. تدهورت الأداء مع زيادة المبالغة في التقدير، لكنه كان أكثر صموداً من TLO.
- المبالغة غير المتسقة: وُجد أنها أكثر إرباكاً من المبالغة المتسقة في التقدير عبر جميع دوال المنفعة، لأنها تغير تفضيلات الإجراءات النسبية.

5. الأهمية

تقدم هذه الورقة رؤى بالغة الأهمية لتصميم ونشر خوارزميات MORL:

القصور النظري: تسلط الضوء على قصور جوهري في Q-learning المتجهي القياسي: تعلم متوسط متجه العائد ليس كافياً لتحسين المنفعة غير الخطية. وهذا يتحدى الافتراض بأن Q-learning المتجهي هو بديل مباشر ومباشر لـ scalar Q-learning في MORL.
الآثار العملية: تحذر الممارسين من أن استخدام دوال منفعة غير خطية (الشائعة في التطبيقات المتعلقة بالسلامة أو العدالة) مع Q-learning القياسي يمكن أن يؤدي إلى تدهور حاد في الأداء بسبب التداخل والحساسية للمبالغة في التقدير.
التوجيه الخوارزمي: تقترح حلولاً مثل تعديلات بسيطة، مثل كسر التعادل الحتمي، لتخفيف بعض المشكلات في الإعدادات الحتمية، لكنها تشير أيضاً نحو حلول أكثر تقدماً مثل التعلم التوزيعي أو تشكيل المكافآت المسواة لتحقيق تحسين ESR قوي.
الصلة بالتعلم العميق المعزز (Deep RL): يشير المؤلفون إلى أن هذه المشكلات من المرجح أن تتفاقم في Deep MORL (مثل امتدادات DQN) حيث تؤدي تقريبات الدوال إلى إدخال الضوضاء وتغييرات متكررة في الإجراءات الجشعة، مما يجعل النظام شديد الحساسية لتداخل دالة القيمة.