🤖 machine learning

Adaptive Multi-Horizon Reinforcement Learning

تقترح هذه الورقة طريقة تعلم تعزيزي متعددة الآفاق التكيفية تقوم باختيار ودمج الآفاق الزمنية ديناميكياً للتغلب على قيود عوامل الخصم الثابتة، مما يعزز كفاءة المعلمات والقدرة على التكيف في البيئات المعقدة والمتغيرة وسيناريوهات التعلم المستمر.

المؤلفون الأصليون: Manoosh Samiei, Doina Precup, Paul Masset

نُشر 2026-07-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Manoosh Samiei, Doina Precup, Paul Masset

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في عالم ما. لكي يتخذ قرارات جيدة، يحتاج الروبوت إلى معرفة مدى أهمية الاهتمام بالمستقبل مقارنة باللحظة الراهنة. في عالم علوم الحاسوب، وتحديداً في مجال يُسمى "التعلم التعزيزي" (حيث يتعلم الوكلاء من خلال التجربة والخطأ)، يتم التحكم في هذا التوازن عادةً بواسطة إعداد واحد ثابت يُسمى "عامل الخصم". فكر في الأمر كأنه زوج من النظارات ذات لون ثابت: إذا كان اللون داكناً جداً، فلن يرى الروبوت سوى ما هو أمام أنفه مباشرة وسيتجاهل أي شيء يحدث على بعد خطوات قليضات. وإذا كان اللون فاتحاً جداً، فسوف يتشتت انتباه الروبوت بالاحتمالات البعيدة لدرجة تجعله ينسى تفادي العقبة المباشرة التي أمامه. لفترة طويلة، افترض العلماء أن إعداداً واحداً ثابتاً كان كافياً لعملية التعلم بأكملها. ولكن إذا نظرت إلى كيفية تفكير البشر والحيوانات، فستجد أنهم يبدون أكثر ذكاءً بكثير؛ إذ يمكنهم التركيز (Zoom in) للتركيز على الأخطار المباشرة أو التوسع (Zoom out) للتخطيط لرحلة طويلة، والتبديل بين "نظاراتهم" الذهنية حسب الموقف. تسأل هذه الورقة البحثية سؤالاً بسيطاً ولكنه قوي: هل يمكننا بناء روبوت يمكنه تغيير نظاراته الخاصة أثناء العمل، بدلاً من أن يظل عالقاً بزوج واحد فقط؟

يقترح الباحثون، مانووش ساميي، ودوينا بريسب، وبول ماسيت، طريقة جديدة تسمى "التعلم التعزيزي المتكيف متعدد الآفاق". فبدلاً من إجبار الروبوت على اختيار طريقة واحدة فقط لرؤية المستقبل، فإنهم يمنحونه مجموعة كاملة من "إعدادات الرؤية" المختلفة (أو آفاق التخطيط) دفعة واحدة. تخيل فريقاً من المستشارين الخبراء، حيث يهتم أحد المستشارين بالخمس دقائق القادمة، وآخر يفكر في الساعة القادمة، وثالث يخطط لليوم التالي. يعمل عقل الروبوت حينها كمدير ذكي، يستمع إلى كل هؤلاء المستشارين ولكنه يولي اهتماماً أكبر للمستشار الذي يبدو رأيه أكثر منطقية للموقف الحالي. إذا كان الروبوت في متاهة حيث تتوزع المكافآت في أماكن متباعدة، فإنه يستمع أكثر إلى المخطط طويل الأمد. وإذا كان في فخ يتطلب منه التصرف بسرعة، فإنه يستمع إلى المخطط قصير الأمد.

اختبرت الورقة هذه الفكرة في عدة بيئات تشبه ألعاب الفيديو. أولاً، أظهروا أنه في الألغاز البسيطة، تتغير الطريقة "الأفضل" لرؤية المستقبل بناءً على التخطيط. فأحياناً تكون الرؤية القصيرة هي الأفضل، وأحياناً أخرى تكون الرؤية الطويلة هي الأفضل. ثم نظروا في مدى "ندرة" المكافآت — أي مدى صعوبة العث/إيجاد الأشياء الجيدة. ووجدوا أنه عندما كانت المكافآت موزعة على مسافات بعيدة، احتاج الروبوت إلى رؤية أطول للنجاح. وعندما كانت المكافآات متكررة وقريبة، كانت الرؤية الأقصر تعمل بشكل أفضل. أثبت هذا أن إعداداً واحداً ثابتاً لا يمكن أن يكون مثالياً لكل مهمة.

أخيراً، وضعوا نظام "المستشارين المتعددين" الجديد هذا تحت الاختبار في سيناريو تعلم مستمر، حيث كان على الروبوت التبديل بين ثلاث مهام مختلفة واحدة تلو الأخرى. كانت النتائج واعدة؛ فلم يكتفِ النظام بتعلم كل مهمة فحسب، بل استطاع تلقائياً تحديد "إعداد الرؤية" الذي يجب الوثوق به لكل تحدٍ جديد. فعندما تغيرت المهمة من جمع عناصر مبعثرة إلى الوصول إلى هدف محدد، قام "المدير الداخلي" للروبوت بتحويل انتباهه إلى المستشارين المناسبين. وفي المهمة الأخيرة والأكثر تعقيداً، نجح الروبوت في تعلم كيفية الحصول على جائزة كبيرة محدودة الوقت ثم جمع مكافآت أصغر، وهو إنجاز غالباً ما تفشل فيه الروبوتات ذات الإعداد الواحد الثابت. يشير المؤلفون إلى أن هذا النهج يجعل التعلم أكثر كفاءة وقدرة على التكيف، تماماً كما تتعامل الأدمغة البيولوجية مع العالم الحقيقي المتغير والفوضوي. وبينما تشير الورقة إلى أن النتائج تم قياسها في عمليات محاكاة وأظهرت بعض التباين اعتماداً على الظروف العشوائية للبداية، إلا أن الفكرة الجوهرية تظل قائمة: منح الوكيل القدرة على الجمع بمرونة بين منظورات زمنية مختلفة هو وسيلة قوية لتحسين اتخاذ القرار.

ملخص تقني: التعلم المعزز التكيفي متعدد الآفاق

بيان المشكلة

يتطلب اتخاذ القرار الفعال في البيئات المعقدة موازنة النتائج قصيرة المدى وطويلة المدى. في التعلم المعزز (RL) القياسي، يتم التحكم في هذه المقايضة بواسطة عامل خصم ثابت ( $\gamma$ )، مما يفرض أفق تخطيط واحد بخصم أسي. هذا الافتراض الساكن غالبًا ما يفشل في سيناريوهات التعلم المستمر حيث تتطور المهام والبيئات، مما يتطلب من الوكلاء التحول بين استراتيجيات اتخاذ القرار ذات الأفق القصير (النتائج الفورية) والأفق الطليد (المكافآت المتأخرة).

على النقييد من ذلك، تبدو الأنظمة البيولوجية وكأنها تدمج التنبؤات عبر آفاق زمنية متعددة وتعدل اعتمادها عليها بمرونة. تشير دراسات علم الأعصاب الحديثة إلى أن خلايا الدوبامين المتميزة ودوائر المخطط (striatal circuits) تشفر القيمة عبر أوقات خصم مختلفة. التحدي المركزي الذي تعالجه هذه الورقة هو: كيف يمكن للوكيل تكييف أفق التخطيط ديناميكيًا مع متطلبات المهام المختلفة، بشكل يشبه اتخاذ القرار المرن الملاحظ في الأنظمة البيولوجية؟

المنهجية

يقترح المؤلفون نهج التعلم المعزز متعدد الآفاق الذي يجمع بشكل تكيفي بين الآفاق الزمنية، مما يلغي الحاجة إلى الضبط اليدوي لعامل الخصم. تتضمن المنهجية الأساسية إطار عمل خليط قيم-Q (Mixture-of-Q-Values):

نقاد متعددون (خبراء): يحتفظ الوكيل بعدة دالات لقيمة الفعل، $Q_i(s, a)$ ، يتم تعلم كل منها بشكل مستقل باستخدام خوارزمية Expected SARSA( $\lambda$ ) الجدولية مع عامل خصم ثابت ومتميز $\gamma_i$ . يغطي هؤلاء الخبراء مجموعة من الآفاق الزمنية.
شبكة بوابية تعتمد على الحالة: تأخذ شبكة بوابية قابلة للتعلم تمثيل الحالة $x = \phi(s)$ وتحسب القيم المنطقية (logits) $z = Wx + b$ . يتم تطبيع هذه القيم عبر دالة softmax لإنتاج أوزان الخلط $w_i(s)$ لكل خبير.
دالة القيمة المختلطة: دالة القيمة النهائية هي مجموع مرجح:
$Q_{mix}(s, a) = \sum_{i=1}^{K} w_i(s) Q_i(s, a)$
ديناميكيات التعلم:
- يتم تحديث الخبراء الأفراد باستخدام $\gamma_i$ الخاص بكل منهم.
- يتم اشتقاق السياسة المختلطة $\pi(a|s)$ من $Q_{mix}$ باستخدام استراتيجية $\epsilon$ -greedy.
- يتم تحسين بارامترات الشبكة البوابية ( $W, b$ ) لتقليل خطأ الفرق الزمني (TD error) المربع لدالة القيمة المختلطة (حيث يستخدم التحديث $\gamma=1$ للمزيج). يسمح هذا للشبكة بتعلم أي أفق زمني هو الأكثر فعالية لحالة معينة.

المساهمات الرئيسية

اختيار الأفق التكيفي: قدمت الورقة آلية تختار وتزن الآفاق التخطيطية المتعددة ديناميكيًا بناءً على الحالة الحالية، بدلاً من الاعتماد على $\gamma$ واحد ثابت.
القابلية للتكيف في التعلم المستمر: تم تصميم الطريقة خصيصًا لإعدادات التعلم المستمر حيث تنتقل المهام بالتتابع، مما يتطلب من الوكيل إعادة تقييم المقياس الزمني الأمثل دون تدخل يدوي.
التحقق التجريبي من المبادئ البيولوجية: توفر الورقة أدلة تجريبية تدعم الفرضية القائلة بأن التعلم متعدد المقاييس التكيفي يحسن كفاءة المعلمات والقدرة على التكيف، مما يعكس المبادئ الملاحظة في اتخاذ القرار البيولوجي.

النتائج التجريبية

قيم المؤلفون النهج في بيئات MiniGrid، مع التركيز على ثلاث مهام متتالية في إعداد تعلم مستمر:

البحث عن الطعام (Foraging): جمع 40 مكافأة موزعة في شبكة.
الوصول إلى الهدف (Goal Reaching): الوصول إلى هدف عالي القيمة مع تجنب عقوبات الحمم البركانية.
الغرف الأربع (Four Rooms): مهمة مركبة تتضمن "جائزة كبرى" محدودة الوقت ومكافآت محلية.

النتائج الرئيسية:

الآفاق المثلى المعتمدة على المهمة: أظهرت التجارب أن عامل الخصم الأمثل يختلف بشكل كبير حسب المهمة وهيكل المكافأة.
- البحث عن الطعام: وُجد أن الآفاق الفعالة المثلى كانت 16–32 خطوة.
- الوصول إلى الهدف: تراوحت الآفاق المثلى بين 32–512 خطوة.
- الغرف الأربع: تطلب الأداء الأمثل أفقًا فعالًا قدره 128 خطوة.
ندرة المكافأة وإمكانية الوصول إليها: أظهرت الدراسة أنه مع زيادة تشتت المكافأة (ارتفاع التباين المكاني) وانخفاض تكرار المكافأة، يميل عامل الخصم الأمثل نحو قيم أكبر (آفاق أطول) للتخفيف من حدة الندرة.
أداء التعلم المستمر: في تجربة تبديل المهام المتتالية، حافظ نهج المزيج التكيفي باستمرار على أداء قريب من الأمثل (عائدات الحلقة بين 36 و40) عبر جميع المهام الثلاث.
سلوك البوابة: نجحت الشبكة البوابية في تعلم تخصيص أوزان أعلى لعوامل الخصم المحددة التي كانت مثالية للمهمة الحالية. على سبيل المثال، أعطت الأولوية للآفاق الأقصر لمهمة البحث عن الطعام والأطول لمهمة الجائزة الكبرى المقيدة بالوقت.
المتانة: تعلم الوكيل باستمرار جمع الجائزة الكبرى المقيدة بالوقت (هدف فرعي صعب)، بينما أظهر جمع المكافآت المحلية المتبقية بعض التباين اعتمادًا على البذرة العشوائية (random seed) وطول الحلقة المتبقي.

الأهمية والادعاءات

تدعي الورقة أن نهجها متعدد الآفاق التكيفي يقدم إطارًا مبتكرًا لدمج العديد من النقاد ذوي القدرات المتميزة. تكمن الأهمية الأساسية في:

إلغاء الضبط اليدوي: تزيل هذه الطة الحاجة إلى الضبط اليدوي لعامل الخصم، وهو أمر مفيد بشكل خاص في البيئات التي تتغير فيها هياكل المكافآت بمرور الوقت.
الملاءمة البيولوجية: تشير النتائج إلى أن الخصم الزمني التكيفي متعدد المقاييس هو مبدأ قابل للتطبيق لتحسين أنظمة التعلم الاصطناعية والبيولوجية، بما يتماشى مع النتائج في علم الأعصاب حول ترميز القيمة متعدد المقاييس.
الكفاءة في التعلم المستمر: أظهر النهج تحسنًا في القدرة على التكيف عند الانتقال بين مهام ذات متطلبات زمنية متباعدة، مما يشير إلى أن تعلم مزيج من الآفاق أكثر قوة من تعلم أفق واحد ثابت.

ظل المؤلفون متواضعين فيما يتعلق بالعمل المستقبلي، مشيرين إلى أن إجراء المزيد من التقييم عبر عدد أكبر من البذور (seeds) مطلوب لتوصيف التباين، وأن توسيع الإطار ليشمل مقربات الدوال ذات الشبكات العصبية وتكييف آثار الأهلية (eligibility traces) بشكل مشترك هي اتجاهات واعدة للتحقيق المستقبلي.