🤖 machine learning

Quotient-Categorical Representations for Bellman-Compatible Average-Reward Distributional Reinforcement Learning

تقدم هذه الورقة إطاراً قائماً على فئات خارج القسمة (quotient-categorical framework) لتعلم التعزيز التوزيعي ذي المكافأة المتوسطة، والذي يحل الطبيعة غير محددة المعالم لتقدير الانحياز من خلال تحديد القوانين المفهرسة بالحالة حتى الإزاحة، مما يتيح مؤثرات معرفة جيداً وغير متمددة، ويثبت التقارب لكل من الخوارزميات المثالية وخوارزميات العينات العملية مع تقدير الكسب عبر الإنترنت.

المؤلفون الأصليون: Ege C. Kaya, Aliasghar Pourghani, Vijay Gupta, Abolfazl Hashemi

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ege C. Kaya, Aliasghar Pourghani, Vijay Gupta, Abolfazl Hashemi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: قياس "الجودة" دون خط بداية

تخيل أنك تلعب لعبة فيديو لا تحصل فيها على نتيجة نهائية في النهاية. بدلاً من ذلك، تلعب للأبد، وتجمع النقاط في كل ثانية. هدفك هو معرفة متوسط عدد النقاط التي تكسبها في الثانية على المدى الطويل.

في عالم الذكاء الاصطناعي (AI)، يسمى هذا "التعلم بالتعزيز القائم على المكافأة المتوسطة" (Average-Reward Reinforcement Learning). يحتاج الذكاء الاصطناعي إلى تعلم شيئين:

الكسب (The Gain): السرعة المتوسطة طويلة المدى لكسب النقاط (مثلاً: 5 نقاط في الثانية).
الانحياز (The Bias): مدى كون موقف معين أفضل أو أسوأ مقارنة بهذا المتوسط. على سبيل المثال، التواجد في "منطقة آمنة" قد يبدو كأنه +10 نقاط، بينما التواجد في "منطقة خطر" قد يبدو كأنه -10 نقاط، حتى لو كان المتوسط طويل المدى هو 5 نقاط فقط.

المشكلة:
لـ "الانحياز" سمة غريبة. إنه يشبه قياس الارتفاع بالنسبة لمستوى سطح البحر. إذا قررت أن "مستوى سطح البحر" أعلى بمقدار 100 قدم عما كان عليه سابقاً، فإن كل قياس منفرد سيزداد بمقدار 100 قدم. الفرق بين الجبال والوديان يبقى كما هو، لكن الأرقام تتغير.

من الناحية الرياضية، يتم تعريف الانحياز فقط "ضمن ثابت إضافي". إذا قمت بإزاحة كل رقم بنفس المقدار، فإن الذكاء الاصطناعي لا يزال يتعلم الشيء نفسه تماماً. وهذا يخلق مشكلة لنوع معين من الذكاء الاصطناعي يسمى "التعلم بالتعزيز التوزيعي" (Distributional Reinforcement Learning - DRL). لا يقوم الـ DRL بمجرد تخمين رقم واحد للانحياز؛ بل يخمن "توزيعاً" كاملاً (سحابة من الاحتمالات) ليكون أكثر دقة. ولكن إذا لم يكن بإمكانك تحديد أين يقع "الصفر"، فكيف ترسم تلك السحابة على الخريطة؟ إذا أزحت الخريطة، ستتحرك السحابة، وتتعطل الرياضيات.

الحل: خريطة "الناتج" (The Quotient Map)

ابتكر المؤلفون، إيجه سي. كايا وفريقه من جامعة بوردو، طريقة ذكية لإصلاح ذلك. لم يحاولوا إجبار الذكاء الاصطناعي على اختيار نقطة "صفر" واحدة. بدلاً من ذلك، تعاملوا مع المشكلة كأنها لغز منزلق.

التشبيه: عربة القطار المنزلقة
تخيل أن تخمين الذكاء الاصطناعي حول الانحياز هو عربة قطار مليئة بالركاب (توزيع الاحتمالات).

الطريقة القديمة: كنت تحاول إيقاف عربة القطار عند إحداثية محددة على المسار (مثلاً: "توقف عند علامة الميل 50"). ولكن بما أن نقطة "الصفر" تتحرك باستمرار، فإن العربة تنزلق عن المسار باستمرار.
الطريقة الجديدة (الناتج الفئوي - Quotient-Categorical): يقول المؤلفون: "لا يهم أين تقف العربة. نحن نهتم فقط بـ شكل العربة والمسافة بين الركاب".

لقد أنشأوا مساحة رياضية جديدة تسمى "مساحة الناتج" (Quotient Space). في هذه المساة، تُعتبر عربتا قطار "متطابقتين" إذا كانت إحداهما مجرد نسخة من الأخرى تم إزاحتها لليسار أو اليمين بنفس المقدار. ويسمون هذا "تحديد القوانين بناءً على ترجمة مشتركة".

من خلال القيام بذلك، أزالوا الارتباك بشأن "أين يقع الصفر". لم يعد الذكاء الاصطنانا لا يحاول تخمين رقم مطلق؛ بل يخمن شكل سحابة الانحياز، بغض النظر عن مكان استقرارها على خط الأعداد.

المحرك: العامل "غير المتمدد" (The Non-Expansive Operator)

بمجرد إصلاح الخريطة، احتاجوا إلى قاعدة (خوارزمية) لتحديث تخمين الذكاء الاصطناعي أثناء لعبه للعبة.

في التعلم القياسي للذكاء الاصطناعي، نعتمد عادةً على خاصية "الانكماش" (Contraction). تخيل شريطاً مطاطياً ينكمش في كل مرة تسحبه فيها، لينتهي به الأمر بالانكماش إلى نقطة واحدة. هذا يضمن أن الذكاء الاصطناعي سيتعلم الإجابة.

ومع ذلك، وبسبب طبيعة "الانزلاق" الخاصة بالانحياز، فإن الشريط المطاطي في هذا النظام الجديد لا ينكمش. بدلاً من ذلك، يتصرف كجسم "غير متمدد" (Non-expansive). تخيل قضيباً معدنياً صلباً. إذا دفعت أحد طرفيه، يتحرك الطرف الآخر بنفس المقدار، لكن القضيب لا يقصر ولا يطول. إنه لا ينكمش طبيعياً نحو نقطة واحدة؛ بل يحافظ فقط على نفس المسافة.

أثبت المؤلفون أنه على الرغم من أن هذا "القضيب المعدني" لا ينكمش، إلا أن خوارزميتهم الجديدة لا تزال تعمل. لقد أثبتوا أن:

الخوارزمية محددة جيداً (Well-defined) (أي أنها منطقية رياضياً).
هي غير متمددة (Non-expansive) (أي أن الأخطاء لا تتزايد).
لا تزال تجد نقطة ثابتة (Fixed point) (حل مستقر) حيث يتوقف الذكاء الاصطناعي عن تغيير رأيه.

الحيلة العملية: تعلم "الكسب" أثناء العمل

كان هناك عقبة أخيرة. لاستخدام خوارزمية "الخريطة المنزلقة" المثالية هذه، يحتاج الذكاء الاصطناعي إلى معرفة "الكسب" (Gain) الدقيق لطرحه من المكافآت. ولكن في العالم الحقيقي، الذكاء الاصطناعي لا يعرف سرعة الكسب بعد؛ فهو يحاول تعلمها!

الحل: التكرار المزدوج (The Coupled Recursion)
أضاف المؤلفون عملية تعلم ثانية أبسط تعمل جنباً إلى جنب مع العملية الرئيسية.

الدماغ الرئيسي: يتعلم شكل توزيع الانحياز (عربة القطار).
المساعد (Sidekick): حاسبة بسيطة تقوم بتحديث تخمينها لمتوسط السرعة (الكسب) باستمرار بناءً على آخر النقاط المكتسبة.

لقد أثبتوا أن هذين الدماغين يمكنهما التواصل مع بعضهما البعض. يصبح "المساعد" أفضل في تخمين متوسط السرعة، مما يساعد "الدماغ الرئيسي" على تمركز عربة القطار بشكل صحيح. ورغم أن المساعد يقوم بالتخمين، إلا أن النظام بأكمله يظل مستقراً ويتقارب نحو الإجابة الصحيحة.

ما الذي اختبروه؟

لإثبات نجاح ذلك، أجروا تجارب:

لعبة بسيطة مكونة من 5 حالات: أنشأوا عالماً صغيراً وبسيطاً. وأظهروا أن طريقتهم الجديدة وصلت إلى الإجابة الصحيحة، بينما فشلت الطرق القدة التي حاولت فرض نقطة "صفر" أو تعثرت.
محاكاة البندول (Pendulum): اختبروا الطريقة على مهمة أكثر تعقيداً ومستمرة (موازنة بندول) باستخدام الشبكات العصبية. وحتى مع التعقيد المضاف، تعلمت طريقتهم توزيع الانحياز بشكل أفضل بكثير من النهج الساذج الذي تجاهل مشكلة "الانزلاق".

ملخص في جملة واحدة

ابتكر المؤلفون طريقة جديدة لتعلم المكافآت طويلة المدى للذكاء الاصطناعي عبر التعامل مع "عدم اليقين بشأن الصفر" كميزة وليس كخلل، وذلك باستخدام نهج "الخريطة المنزلقة" الذي يسمح للذكاء الاصطناعي بتعلم شكل الانحياز دون الحاجة لمعرفة نقطة البداية الدقيقة، مع تعلم متوسط سرعة اللعبة في الوقت ذاته.

ملخص تقني: التمثيلات الفئوية-الخارجة (Quotient-Categorical) المتوافقة مع معادلة بلمان لتوزيعات المكافأة المتوسطة في التعلم التعزيزي

1. بيان المشكلة

حقق التعلم التعزيزي التوزيعي (DRL) نجاحًا كبيرًا في عمليات ماركوف لاتخاذ القرار (MDPs) ذات الخصم، حيث تسهل الهندسة الانكماشية لمؤثر بلمان التحليل وتصميم الخوارزميات. ومع ذلك، فإن إطار المكافأة المتوسطة يفرض تحديًا بنيويًا جوهريًا للنمذجة التوزيعية.

في عمليات ماركوف لاتخاذ القرار ذات المكافأة المتوسطة، يعتمد التقييم على كائنين: الربح (المكافأة طويلة الأمد) والانحياز (دالة القيمة النسبية). يحقق الانحياز "معادلة بواسون"، وهي النظير لمعادلة بلمان في حالة المكافأة المتوسطة. ومن الخصائص الحرجة لمعادلة بواسون أن حلولها فريدة فقط حتى ثابت مضاف. هذا التباين في الإزاحة يخلق عائقًا أمام النمذجة التوزيعية القياسية: لا يمكن تعريف عائلة من القوانين الاحتمالية على $\mathbb{R}$ مرتبطة بالحالة بشكل مباشر مع أصل ثابت، لأن ترجمة (إزاحة) توزيع انحياز كل حالة بنفس المقدار لا ينبغي أن يغير الكائن المتعلم.

تركز أعمال التعلم التعزيزي التوزيعي الحالية للمكافأة المتوسطة غالبًا على تحسين معيار المكافأة نفسه أو تستخدم تمثيلات عددية. تعالج هذه الورقة الفجوة في بناء نظير توزيعي للانحياز متوافق مع بلمان يحترم تناظر الثابت المضاف، مما يتيح البرمجة الديناميكية التوزيعية وتعلم الفرق الزمني (TD) في نظام المكافأة المتوسطة.

2. المنهجية

2.1 صياغة الفضاء الخارج (Quotient-Space)

يقترح المؤلفون نمذجة قوانين الانحياز المرتبطة بالحالة بموجب الترجمات المشتركة.

الفضاء الخارج: ليكن $\mathcal{F}_S$ مجموعة من مجموعات القوانين الاحتمالية على $\mathbb{R}$ المرتبطة بالحالة. يتم تعريف علاقة تكافؤ $\approx$ بحيث أن $\eta \approx \zeta$ إذا كانت $\zeta$ هي ترجمة مشتركة لـ $\eta$ . يحافظ الفضاء الخارج الناتج $\mathcal{F}_S / \approx$ على تناظر الثابت المضاف لمعادلة بواسون.
المؤثر التوزيعي: يتم تعريف المؤثر التوزيعي للمكافأة المتوسطة $T$ على $\mathcal{F}_S$ . تثبت الورقة أن $T$ يتبادل مع الترجمات المشتركة، مما يؤدي إلى مؤثر محدد جيدًا على الفضاء الخارج $\mathcal{F}_S / \approx$ .

2.2 التمثيل الفئوي (Categorical Parameterization)

لجعل الفضاء الخارج قابلًا للتنفيذ حاسوبيًا، يقدم المؤلفون تمثيلًا فئويًا-خارجًا:

التمثيل: يتم تمثيل قانون الانحياز لكل حالة بواسطة توزيع فئوي على شبكة ثابتة $\Theta = \{\theta_1, \dots, \theta_d\}$ .
التكافؤ بالإزاحة (Shift Equivariance): يتم تعريف عائلة ممثلة كـ $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$ ، حيث $c$ هو إزاحة اختيارية. يتسم متجه المعاملات $p$ بكونه يميز فئة الخارج $[\eta_{p,c}]$ بشكل فريد، وبشكل مستقل عن $c$ .
الإسقاط: يتم تعريف إسقاط فئوي متوافق مع الإزاحة $\Pi_{\Theta_c}^C$ . تثبت الورقة أن إسقاط قانون مُزاح على شبكة مُزاحة يعطي نفس متجه المعاملات الذي يعطيه إسقاط القانون الأصلي على الشبكة الأصلية.

2.3 المؤثر المسقط وغير التمدد (Non-Expansiveness)

يعرف المؤلفون مؤثرًا مسقطًا $G_g$ على المعاملات الفئوية، والذي يقابل تطبيق المؤثر التوزيعي ثم الإسقاط مرة أخرى على الشبكة الفئوية.

المقياس: يتم تحليل التقارب باستخدام مقياس كرامر الإحداثي ( $\ell_{\Theta, C, \infty}$ )، والذي يتطابق مع مقياس كرامر القياسي على القوانين الممثلة.
الخاصية الرئيسية: على عكس مؤثرات التعلم التوزيعي ذي الخصم التي تكون انكماشية، فإن المؤثر المسقط $G_g$ في حالة المكافأة المتوسطة هو غير تمددي (non-expansive). تثبت الورقة أن $G_g$ محدد جيدًا، وغير تمدد في مقياس كرامر الإحداثي، ويقبل وجود نقاط ثابتة (عبر نظرية بروير للنقطة الثابتة).

2.4 عمليات التقريب العشوائي (SA)

بما أن المؤثر غير تمدد وليس انكماشيًا، فلا يمكن تطبيق حجج الانكماش القياسية. يحلل المؤلفون التكرارات المأخوذة من العينات كـ استرخاءات غير متزامنة للمؤثر المسقط:

التكرار الممركز (Centered Recursion): بافتراض أن الربح $\bar{r}^\pi$ معروف، يعرّفون تحديث TD أحادي الحالة (تكرار كراسوسيلسكي-مان ستوكاستيكي) باستخدام المكافآت الممركزة $B = R - \bar{r}^\pi$ . وقد ثبت أن خريطة المجال المتوسط لهذا التكرار غير تمددية وتتشارك في النقاط الثابتة مع $G$ .
التكرار المقترن (Coupled Recursion - ربح غير معروف): عندما يكون الربح غير معروف، يتم تعزيز التكرار بمقدر ربح عبر الإنترنت $g_k$ . يعرّف المؤلفون مقياسًا مشتركًا $d_\lambda$ يجمع بين الباقي الفئوي وخطأ الربح. يثبتون أن خريطة التحديث المقترنة غير تمددية في هذا المقياس المشترك، وأن نقاطها الثابتة تتوافق مع قوانين الانحياز الفئوية-الخارجية الصحيحة والربح الحقيقي.

3. المساهمات الرئيسية

الأساس الفضائي الخارج: تؤسس الورقة لفكرة أن الفضاء الخارج لمجموعات القوانين المرتبطة بالحالة عبر الترجمة المشتركة هو المجال الطبيعي لنظير توزيعي للانحياز القياسي.
مؤثر مسقط محدد جيدًا: تُعرّف خوارزمية إسقاط فئوي-خارج دقيقة، وتثبت أن المؤثر المسقط محدد جيدًا، وغير تمدد، ويمتلك نقاطًا ثابتة.
ضمانات التقارب:
- للمكافآت الممركزة (الربح معروف): تثبت الورقة التقارب شبه المؤكد (a.s.) وحدود التكرار في عدد محدود من الخطوات لتكرار TD تحت كل من أخذ العينات المستقل والمتماثل (i.i.d.) وعمليات ماركوف.
- للأرباح غير المعروفة: تقدم الورقة تكرارًا مقترنًا مع مقدر ربح عبر الإنترنت، وتثبت عدم التمدد والتقارب الماركوفي للمخطط المشترك.
الرؤية الهيكلية: تسلط الورقة الضوء على التباين الهيكلي بين التوزيعات الخارجة المثالية (حيث تسبب ثوابت المركز إزاحات مشتركة فقط) والتمثيلات الفئوية ذات الشبكة الثابتة العملية (حيث يمكن للإسقاط أن يغير المعاملات، مما يستلزم مركزية صحيحة).

4. النتائج التجريبية

تتحقق الورقة من ادعاءاتها النظرية من خلال تجربتين:

عملية ماركوف بخمس حالات: تجربة جدولية تقارن بين تكرارات KM الدقيقة، وتكرار SKM الممركز (i.i.d)، وتكرار SKM الممركز (ماركوف)، وتكرار SKM المقترن مع تقدير الربح.
- تؤكد النتائج أن التكرارات الدقيقة والاستوكاستيكية تتقارب نحو نفس النقاط الثابتة.
- ينجح التكرار المقترن في تعلم كل من توزيع الانحياز والربح.
- توضح دراسة الاستبعاد (ablation study) أن استخدام ثابت مركز خاطئ ( $g=0$ بدلاً من $\bar{r}^\pi$ ) يؤدي إلى التقارب نحو حل متدهور، مما يؤكد ضرورة المركزية الصحيحة في التمثيلات ذات الشبكة الثابتة.
Pendulum-v1 بحالة مستمرة: إثبات مفهوم باستخدام التقريب الوظيفي العصبي.
- يتفوق ناقد (critic) الـ "quotient-categorical" المقترح والممركز بالربح بشكل كبير على الناقد الساذج للمكافأة الخام من حيث بقايا المؤثر المسقط.
- ينجح تكرار الربح عبر الإنترنت المقترن في تفكيك الخطأ إلى مكونات فئوية ومكون ربح، بما يتوافق مع الحدود النظرية.

5. الأهمية والادعاءات

تدعي الورقة أنها تضع تقدير الانحياز التوزيعي للمكافأة المتوسطة على أسس متينة. تكمن أهميتها الأساسية في:

حل غموض الثابت المضاف للانحياز القياسي عبر تقديم صياغة فئوية-خارجة.
توفير أول نظير توزيعي للانحياز متوافق مع بلمان وقابل للاستخدام في البرمجة الديناميكية وتعلم الفرق الزمني في سياق المكافأة المتوسطة.
وضع ضمانات تقارب للخرائط غير التمددية في سياق التعلم التعزيزي التوزيعي، مما يسد الفجوة بين طرق النقطة الثابتة النظرية للمؤثرات غير التمددية وخوارزميات TD العملية.

يشير المؤلفون إلى أن هدفهم مكمل للأعمال السابقة التي تعمل على تحسين معيار المكافأة المتوسطة نفسها؛ بدلاً من ذلك، هم يعملون على تحسين الانحياز ككائن للتعلم. يركز النظر حاليًا على تقييم السياسة الثابتة ذات الحالات المحدودة والتدعيمات الفئوية الثابتة، مع تحديد استخدام تقريب الدوال الأكثر ثراءً وإعدادات التحكم كخطوات طبيعية تالية.