🤖 machine learning

A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

تقدم هذه المساهمة عامل متوسط توافقي معدل ومبتكر لحساب معدلات متوسط المكافأة بشكل صحيح في عمليات ماركوف لاتخاذ القرار غير المستقرة، مما يتيح خوارزميات تعلم تعزيزي قوية خالية من النماذج تتغلب على قيود النهج القائمة على النسب.

المؤلفون الأصليون: Erel Shtossel, Alicia Vidler, Uri Shaham, Gal A. Kaminka

نُشر 2026-05-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Erel Shtossel, Alicia Vidler, Uri Shaham, Gal A. Kaminka

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية بلغة بسيطة ومع استخدام تشبيهات من الحياة اليومية.

الصورة الكبيرة: مشكلة "عداد السرعة"

تخيل أنك سائق توصيل يحاول معرفة أي مسار هو الأسرع. لديك خياران:

المسار أ: تقود 10 أميال في 10 دقائق.
المسار ب: تقود 20 ميلاً في 20 دقيقة.

يبدو أن كلاهما يتطلب نفس الوقت لكل ميل (دقيقة واحدة لكل ميل). ولكن ماذا لو تغيرت حركة المرور؟ ماذا لو كان المسار (أ) سريعاً يوم الاثنين، لكنه تعرض لاختناق مروري لمدة ساعتين يوم الثلاثاء، بينما ظل المسار (ب) ثابتاً؟

في عالم الذكاء الاصطناعي (AI)، وتحديداً في التعلم التعزيزي (Reinforcement Learning)، يجب على الوكلاء (مثل الروبوتات أو بوتات التداول) تعلم أفضل "متوسط سرعة" (معدل المكافأة) عبر رحلة طويلة ولا نهائية. تجادل الورقة بأن الأدوات الحالية التي يستخدمها الذكاء الاصطناعي لحساب متوسط السرعة هذه معطلة عندما تكون الرحلة غير متوقعة.

الطريقة القديمة: خطأ "متوسط المتوسطات"

تدرس الورقة طريقتين موجودتين (تسمى SMART و Relaxed-SMART) تحاولان حساب أفضل متوسط سرعة.

الخلل: تقوم هذه الطرق بحساب متوسط السرعة عن طريق قسمة إجمالي المسافة المقطوعة على إجمالي الوقت المستغرق.
- تشبيه: تخيل أنك قدت 100 ميل في 10 ساعات. ستقول: "حسناً، سرعتك المتوسطة هي 10 أميال في الساعة".
- المشكلة: هذا يعمل جيداً إذا كانت سرعتك ثابتة. ولكن إذا تغيرت سرعتك بشكل كبير (أحياناً تكون عالقاً في الزحام لساعات، وأحياناً تنطلق بسرعة على الطريق السريع)، فإن مجرد قسمة إجمالي المسافة على إجمالي الوقت يمكن أن يعطي رقماً مضللاً. فهي تعامل رحلة مدتها 10 دقائق ورحلة مدتها 10 ساعات ببساطة كـ "رحلتين"، دون إدراك أن توقيت المكافأة أمر مهم.

يوضح المؤلفون أن الطرق القديمة تحسب الرياضيات بشكل غير صحيح عندما تكون مكافآتك (الأرباح المحققة) و(الوقت المستغرق) مرتبطين (على سبيل المثال، لا تحصل على مكافآت كبيرة إلا إذا انتظرت وقتاً طويلاً). فهي تفترض أن الاثنين ليس لهما علاقة ببعضهما البعض، مثل خلط التفاح بالبرتقال، رغم أنه في الواقع غالباً ما يكونان مرتبطين.

الحل الجديد: "المتوسط التوافقي"

يقترح المؤلفون طريقة جديدة لحساب المتوسط باستخدام أداة رياضية تسمى المتوسط التوافقي (Harmonic Mean).

التشبيه: فكر في رحلة ذهاب وإياب إلى وجهة ما.
- تقود في الذهاب بسرعة 20 ميلاً في الساعة.
- تقود في الإياب بسرعة 40 ميلاً في الساعة.
- الحساب الخاطئ (المتوسط الحسابي): $(20 + 40) / 2 = 30$ ميلاً في الساعة.
- الحساب الصحيح (المتوسط التوافقي): بما أنك قضيت وقتاً أطول في القيادة بالسرعة الأبطلة (20 ميلاً في الساعة)، فإن سرعتك الفعلية للرحلة بأكملها ستكون أقرب إلى 20 منها إلى 40. الإجابة الصحيحة هي تقريباً 26.7 ميلاً في الساعة.

المتوسط التوافقي هو الطريقة الصحيحة لمتوسط المعدلات (مثل السرعة أو الربح لكل دقيقة). ومع ذلك، هناك عقبة: المتوسط التوافقي القياسي ينهار إذا كان لديك سرعة صفر (لا يمكنك القسمة على صفر) أو إذا كانت لديك سرعات سالبة (القيادة للخلف). في الحياة الواقعية، غالباً ما يتلقى وكلاء الذكاء الاصطناعي مكافآت صفرية أو يخسرون أموالاً (مكافآت سالبة).

الابتكار: "المتوسط التوافقي المعدل"

لإصلاح الرياضيات المعطلة، اخترع المؤلفون متوسطًا توافقيًا معدلاً.

كيف يعمل: تخيل آلة حاسبة ذكية تقوم بفرز رحلاتك إلى ثلاث مجموعات:
1. الرحلات الإيجابية (حققت ربحاً).
2. الرحلات السلبية (خسرت مالاً).
3. الرحلات الصفرية (تعادلت النتائج).
تقوم الآلة بحساب "المتوسط التوافقي" للرحلات الإيجابية والرحلات السلبية بشكل منفصل. ثم تمزجهما معاً وتعامل الرحلات "الصفرية" كرحلات محايدة.
النتيجة: يمكن لهذه الآلة الحاسبة الجديدة التعامل مع البيانات الفوضوية في العالم الحقيقي حيث تخسر المال أحياناً، وتربح أحياناً أخرى، وتنتظر دون فعل شيء أحياناً أخرى. إنها تحدد "السرعة" الحقيقية لمكافآتك بشكل صحيح، حتى عندما تكون البيئة فوضوية.

الخوارزمية الجديدة: "Harmonic R-Learning"

باستخدام هذه الرياضيات الجديدة، أنشأ المؤلفون خوارزمية تعلم جديدة للذكال الاصطناعي تسمى Harmonic R-Learning.

ماذا تفعل: تتعلم كيفية اتخاذ القرارات في المواقف التي تستغرق فيها الأفعال أوقاتاً مختلفة (مثل الانتظار لارتفاع سعر السهم مقابل البيع فوراً).
لماذا هي أفضل: فهي لا ترتبك عندما يكون "المكافأة" و"الوقت" مرتبطين. إنها تدرك القيمة الحقيقية للفعل، بينما قد تنجذب الخوارزميات القديمة لرؤية إجراء بطيء ومخاطر على أنه رائع لمجرد أن إجمالي المكافأة كان مرتفعاً.

الإثبات: اختباران

اختبر المؤلفون خوارزميتهم الجديدة ضد الخوارماجيات القديمة في سيناريوهين:

اختبار "الزحام الوهمي": أنشأوا محاكاة حاسوبية بسيطة حيث بدا أحد المسارات جيداً للوهلة الأولى ولكنه كان في الواقع فخاً، بينما بدا مسار آخر بطيئاً ولكنه كان هو الفائز في المدى الطويل.
- النتيجة: ارتبكت الخوارزميات القديمة واختارت المسار الخاطئ. أما Harmonic R-Learning الجديدة فقد كشفت الخدعة واختارت المسار الصحيح.
اختبار تداول البيتكوين: استخدموا بيانات حقيقية لتداول البيتكوين. البيتكوين متقلب للغاية؛ الأسعار تقفز وتتراجع، وأحياناً تحتفظ بموقعك لفترة طويلة، وأحياناً لثانية واحدة فقط.
- النتيجة: عندما كان الوقت المستغرق والمال المكتسب مرتبطين (وهو سيناريو شائع في الواقع)، حققت الخوارزمية الجديدة أرباحاً أكثر من الخوارزميات القديمة. وعندما لم يكونا مرتبطين، كان أداء الخوارزمية الجديدة يضاهي القديم، مما يثبت عدم وجود عيوب في استخدامها.

الملخص

تقول الورقة: "الطريقة القديمة لحساب متوسط المكافآت في الذكاء الاصطناعي تشبه حساب متوسط السرعات دون مراع_ة المدة التي قضيتها عند كل سرعة. وهي تفشل عندما يكون العالم فوضوياً. لقد اخترعنا 'متوسط توافقي معدل' يمكنه التعامل مع البيانات الفوضوية (الأصفار والسوالب) ويوفر للذكاء الاصطناعي متوسط السرعة الصحيح، مما يساعده على اتخاذ قرارات أفضل في البيئات المعقدة والمتغيرة زمنياً".

ملخص تقني: صياغة المتوسط التوافقي للتعلم التعزيزي مع المكافأة المتوسطة في عمليات القرار شبه ماركوف (SMDPs)

1. بيان المشكلة

يتناول هذا العمل التحدي المتمثل في تحسين المكافأة المتوسطة، غير المخصومة في عمليات القرار شبه ماركوف (SMDPs) ذات الأفق اللانهائي. وخلافًا لعمليات ماركوف لاتخاذ القرار (MDPs) القياسية، حيث تستهلك الإجراءات وحدة زمنية ثابتة، تتضمن الـ SMDPs إجراءات تولد مكافآت ومدد زمنية (أزمنة بقاء) عشوائية ومتباينة. الهدف هو تعظيم معدل المكافأة المتوسطة (المكافأة لكل وحدة زمنية) بدلاً من إجمالي المكافأة التراكمية.

تعاني الخوارزميات الحالية القائمة على النماذج (Model-free)، وتحديداً SMART و Relaxed-SMART، من قيود حرجة عندما تكون المكافآت والمدد الزمنية غير مستقرة أو متكافئة (مرتبطة ببعضها):

SMART: تعتمد على المتوسط العيني طويل الأمد (إجمالي المكافأة مقسوماً على إجمالي الوقت). هذا النهج حساس للضجيج؛ فهو يفترض الاستقرار، وقد تهيمن عليه القيم المتطرفة، أو يفشل في التكيف مع تغيرات الأنظمة في البيئات غير المستقرة.
Relaxed-SMART: تحاول التعامل مع عدم الاستقرار باستخدام المتوسطات المتحركة الأسية (EMA) لكل من المكافآت والمدد الزمنية، ومن ثم تشكيل نسبتهما. ومع ذلك، يوضح هذا العمل أن هذا التقريب للمعدل المتوسط هو صحيح رياضياً فقط إذا كانت المكافآت والمدد الزمنية مستقلة. فإذا كانت مرتبطة (مرتبطة بشكل غير خطي)، فإن نسبة المتوسطات الحسابية تعطي تقديراً خاطئاً للمعدل المتوسط الحقيقي.

2. المنهجية

يقترح المؤلفون نهجاً جديداً يعتمد على المتوسط التوافقي (Harmonic Mean)، وهو العامل الصحيح نظرياً لتجميع المعدلات (على سبيل المثال، السرعة = المسافة / الزمن).

القصور في المتوسط التوافقي:
على الرغم من أن المتوسط التوافقي يمثل التجميع الصحيح للمعدلات، إلا أن تعريفه القياسي غير مناسب للتعلم التعزيزي (RL) العام بسبب:

أنه غير معرف للقيم الصفرية (القسمة على صفر).
أنه يفقد خاصية "الداخلية" (أن يقع المتوسط بين الحد الأدنى والأقصى) عندما تكون القيم ذات إشارات مختلطة (مكافآت موجبة وسالبة).

عامل المتوسط التوافقي المعدل ( $\mathcal{H}$ ):
للتغلب على هذه القيود، قدم المؤلفون عامل متوسط توافقي معدل ( $\mathcal{H}$ ). هذا العامل:

يقسم البيانات إلى ثلاث مجموعات: المكافآت الموجبة ( $X_+$ )، والمكافآت السالبة ( $X_-$ )، والمكافآت الصفرية ( $X_0$ ).
يحسب المتوسط التوافقي القياسي بشكل منفصل للمجموعات الموجبة والسالبة.
يحسب متوسطاً حسابياً موزوناً لهذه النتائج، مع معاملة القيم الصفرية كقيمة 0.
الخصائص النظرية: أثبت المؤلفون أن $\mathcal{H}$ هو متوسط عام (يستوفي خصائص الداخلية، والتطابق، والتماثل، والرتابة) ويعمم المتوسط التوافقي القياسي حيثما كان الأخير معرفاً. ومع ذلك، فقد أثبتوا أنه ليس متوسطاً شبه حسابي (quasi-arithmetic mean)، مما يميزه عن الفئة التي تضم المتوسطات الحسابية والهندسية والتوافقية التقليدية.

خوارزمية Harmonic R-Learning:
دمج المؤلفون $\mathcal{H}$ في خوارزمية تعلم تعزيزي قائمة على النماذج تسمى Harmonic R-Learning.

تتبع قواعد التحديث الهيكلية لـ R-Learning و SMART (تحديث قيم Q بناءً على المكافأة الهامشية بالنسبة للمعدل المتوسط).
بدلاً من تحديث المعدل المتوسط $\rho$ باستخدام متوسط متحرك أسي حسابي بسيط أو نسبة من المتوسطات الأسية، تقوم بإدخال متوسط توافقي متحرك أسي.
تتبع الخوارزمية مقلوبات المعدلات ( $r/\tau$ ) للمكافآت الموجبة والسالبة بشكل منفصل، وتقوم بحساب المتوسطات المتحركة الأسية لمقلوبات هذه المعدلات وأوزانها المرتبطة، ثم تعكسها لحساب التقدير الحالي لـ $\rho$ .

3. المساهمات الرئيسية

التحليل النظري للخوارزميات الحالية: يوضح هذا العمل رسمياً (عبر النظرية 1) أن نسبة المتوسطات الحسابية (المستخدمة في Relaxed-SMART) تتوافق مع المتوسط التوافقي فقط إذا كان التباين (Covariance) بين المكافآت ونسبة الزمن إلى المكافأة يساوي صفراً. في الإعدادات غير المستقرة أو المعتمدة على بعضها، يؤدي هذا إلى تقدير خاطئ للمعدل.
عامل مبتكر: تقديم عامل المتوسط التوافقي المعدل ( $\mathcal{H}$ )، الذي يتميز بالمتانة ضد القيم الصفرية والمكافآت ذات الإشارات المختلطة مع الحفاظ على الصحة الرياضية لتوسيط المعدلات.
التعميم الخوارزمي: تطوير Harmonic R-Learning، وهي خوارزمية تعميم لـ R-Learning في بيئات SMDP دون افتراضات الاستقرار أو الاستقلال التي تفرضها خوارزميات SMART و Relaxed-SMART.
البراهين البديهية: براهين تثبت أن $\mathcal{H}$ هو متوسط عام ولكنه ليس متوسطاً شبه حسابي، مما يوضح مكانته الرياضية بالنسبة للمتوسطات التقليدية.

4. النتائج التجريبية

قيم المؤلفون Harmonic R-Learning مقابل SMART و Relaxed-SMART في مجالين:

SMDP اصطناعي بحالتين:
- الإعداد: مهمة مستمرة بإجراءين. الإجراء (A) له مكافآت ومدد زمنية مستقلة. الإجراء (B) له مكافآت ومدد زمنية غير مستقرة ومرتبطة (باستخدام دوال جيب وجيب تمام منزاحة مع لوغاريتمات).
- النتيجة: في الإعدادات التي جعلت فيها العلاقة بين المكافأة والمدة من الصعب تحديد الإجراء الأمثل الحقيقي (الإجراء B) ضمن أفق التعلم، فشلت SMART و Relaxed-SMART (بانخفاض نسبة النجاح إلى 0% في الإعدادات الأكثر صعوبة). حافظت Harmonic R-Learning على معدل نجاح عالٍ عبر جميع تركيبات المعلمات وأظهرت متانة فائقة تجاه عدم الاستقرار والارتباط.
تداول البيتكوين (بيانات من العالم الحقيقي):
- الإعداد: بيئة شديدة التقلب وغير مستقرة باستخدام بيانات أسعار البيتكوين على مستوى الدقيقة (2012–2025). تضمنت المهمة الشراء/البيع بمدد زمنية عشوائية للإجراءات (5–45 ثانية). تم اختبار نسختين: واحدة بمدد زمنية عشوائية (مستقلة) وأخرى حيث تم تغيير المدة بناءً على حجم المكافأة (مرتبطة).
- النتيجة:
  - في النسخة المستقلة، أدت جميع الخوارزميات أداءً متشابهاً، كما هو متوقع نظرياً.
  - في النسخة المرتبطة (حيث أثر حجم المكافأة على المدة)، تفوقت Harmonic R-Learning بشكل كبير على كل من SMART و Relaxed-SMART، محققة معدل ربح أعلى عبر 21 جزءاً من البيانات. وهذا يؤكد الادعاء النظري بأن التقريب عبر نسبة المتوسطات يفشل عندما تكون المكافآت والمدد الزمنية مقترنة.

5. الأهمية والادعاءات

يزعم هذا العمل أن Harmonic R-Learning تمثل تصحيحاً ضرورياً للتعلم التعزيزي مع المكافأة المتوسطة في بيئات SMDP حيث تكون توزيعات المكافأة والمدة غير مستقرة أو مرتبطة ببعضها.

يُقال إن الطرق السابقة (SMART/Relaxed-SMART) معيبة جوهرياً تحت هذه الظروف المحددة لأنها تعتمد على تقريبات حسابية تتجاهل الارتباط بين حجم المكافأة والزمن.
يُقدم عامل المتوسط التوافقي المعدل كأداة صحيحة رياضياً لتوسيط المعدلات في التعلم التعزيزي، مما يوسع نطاق تطبيق R-Learning إلى سيناريوهات معقدة من العالم الحقيقي مثل التداول المالي حيث تشيع هذه الارتباطات.
يُوضع هذا العمل كتحسين نظري وتجريبي للحالة الراهنة (state of the art) للتحسين القائم على المكافأة المتوسطة في بيئات شبه ماركوف، معالِجاً فجوات "عدم الاستقرار" و"الارتباط" الموجودة في الأدبيات الحالية.