💻 computer science

Gradient-Free versus Gradient-Based Risk Constraints in Reinforcement Learning: A Reservoir Governance Case Study

تُظهر هذه الدراسة أنه في حوكمة الخزانات، يتفوق التحسين الخالي من التدرج (CEM) على الطرق القائمة على التدرج (SAC/PPO) في تقليل مخاطر الذيل لأنه يقيم مباشرة القيمة المعرضة للخطر المشروطة (CVaR) غير القابلة للاشتقاق، بينما تعاني النهج القائمة على التدرج من ضمانات سلامة تتضاءل هندسياً بسبب اعتمادها على بدائل تكلفة قابلة للاشتقاق.

المؤلفون الأصليون: Milad Tahavor, Soroush Amanna, Fatemeh Zabihi Jalali Zavareh, Milad Ghoroqi

نُشر 2026-08-04

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Milad Tahavor, Soroush Amanna, Fatemeh Zabihi Jalali Zavareh, Milad Ghoroqi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية قيادة سيارة، ولكن بقاعدة محددة للغاية وعالية الخطورة: يجب ألا ينفد منه الوقود أبداً. في عالم الذكاء الاصطناعي، يسمى هذا "التعلم المعزز" (Reinforcement Learning). يتعلم الروبوت من خلال التجربة، والحصول على مكافآت للقيادة الجيدة، وعقوبات على الأخطاء. ولكن إليك الجزء الصعب: ماذا لو كان هدف الروبوت هو تجنب لحظة واحدة كارثية — مثل نفاد الوقود عند قمة تلة شديدة الانحدار — بدلاً من مجرد استهلاك القليل من الوقود الزائد في المتوسط؟

لحل هذه المشكلة، يستخدم العلماء نوعين رئيسيين من "المعلمين" أو المحسنات لتدريب الروبوت. النوع الأول هو القائم على التدرج (Gradient-Based). فكر في هؤلاء كمعلمين يحبون الرياضيات والمنحنيات الناعمة. إنهم ينظرون إلى مسار الروبوت ويحاولون دفعه في الاتجاه الصحيح عن طريق حساب تغييرات طفيفة وسلسة. هم بارعون في تقليل متوسط الأخطاء، مثل "إجمالي الوقود المستخدم". النوع الثاني هو الخالي من التدرج (Gradient-Free). هؤلاء المعلمون يشبهون المدرب الذي يلقي بمجموعة من الاستراتيجيات المختلفة على المشكلة ثم يختار ببساطة أفضل ما نجح منها، دون الاهتمام بالرياضيات السلسة الكامنة وراءها. إنهم بارعون في التعامل مع القواعد الفوضوية التي تعتمد على مبدأ "الكل أو لا شيء".

السؤال الكبير الذي يطرحه هذا البحث هو: عندما تكون القاعدة هي "لا تسمح للخزان بأن يصبح فارغاً أبداً"، فأي معلم هو الأفضل حقاً؟ يفترض معظم الناس أن المعلمين القائمين على التدرج (المعتمدين على الرياضيات المكثفة) هم الأفضل لأنهم أكثر تطوراً. لكن هذا البحث يتعمق في سيناريو محدد من الواقع — وهو إدارة خزان مياه — ليرى ما إذا كان هذا الافتراض يصمد عندما تكون الرهانات متعلقة بتجنب كارثة شاملة، وليس مجرد انزلاق بسيط في المتوسط.

خزان المياه والمعلمان

تخيل خزان مياه عملاق يمد مدينة بالمياه. الهدف هو الحفاظ على مستوى المياه مثالياً: ليس مرتفعاً جداً (مما يهدر المياه) ولا منخفضاً جداً (مما يسبب جفافاً). "الروبوت" في هذه القصة هو برنامج الكمبيوتر الذي يقرر كمية المياه التي سيتم إطلاقها كل يوم. القاعدة صارمة: يجب ألا ينخفض مستوى المياه تحت "خط الخطر" أبداً. إذا حدث ذلك، ولو لثانية واحدة، فهي كارثة.

قام الباحثون بإعداد محاكاة رقمية لخزان المياه هذا وترك نوعين من معلمي الذكاء الاصطناعي يدربون الروبوت:

المعلمون السلسون (القائمون على التدرج): ويشمل ذلك خوارزميات تسمى SAC و PPO. يحاولون التعلم من خلال حساب "متوسط" تكلفة الأخطاء بمرور الوقت. يستخدمون حيلة رياضية تسمى "عامل الخصم" (discount factor)، مما يعني أنهم يهتمون كثيراً بالأخطاء التي تحدث الآن، ويهتمون بشكل أقل فأقل بالأخطاء التي تحدث لاحقاً في اليوم.
معلمو الحشود (الخالون من التدرج): تستخدم هذه المجموعة طريقة الإنتروبي المتقاطع (CEM). بدلاً من حساب الرياضيات السلسة، يقومون بتوليد حشد من 20 استراتيجية مختلفة، واختبارها جميعاً في المحاكاة، ثم يختارون ببساطة الفائزين لإنشاء الجيل التالي من الاستراتيجيات. هم لا يهتمون بالمنحنيات السلسة؛ هم فقط ينظرون إلى النتيجة النهائية.

المفاجأة الكبرى: تأثير "العمى"

وجد البحث نمطاً صادماً. في ثلاثة من أصل أربعة سيناريوهات مختلفة (مثل الطقس الطبيعي، أو سرقة المياه غير القانونية الكثيفة، أو الإدارة القوية)، كان معلم الحشود (CEM) أكثر أماناً بشكل صارم. فقد حافظ على مستوى المياه فوق خط الخطر في كثير من الأحيان أكثر من المعلمين السلسين.

في الواقع، كان المعلمون السلسون (SAC و PPO) أفضل في توفير المال (الحفاظ على مستوى المياه قريباً من الهدف المثالي)، لكنهم فعلوا ذلك من خلال اتخاذ مخاطر كبيرة. فغالباً ما كانوا يسمحون لمستوى المياه بالانخفاض بشكل خطير في نهاية اليوم، لمجرد أن رياضياتهم أخبرتهم أن الأمر "جيد" بما أنه حدث في وقت متأخر.

لماذا حدث هذا؟ يطلق المؤلفون على هذا "العمى الناجم عن الخصم" (Discount-Induced Blindness).

إليك التشبيه: تخيل أن المعلمين السلسين ينظرون إلى الجدول الزمني لليوم. لديهم قاعدة تقول: "خطأ في الساعة 9:00 صباحاً يساوي 100 نقطة سوء حظ. خطأ في الساعة 9:00 مساءً يساوي 10 نقاط فقط من سوء الحظ لأنه حدث لاحقاً". وبسبب هذا، يصبح المعلمون السلسون "عمياناً" عن الخطر في نهاية اليوم. إنهم يفكرون: "أوه، إذا نفدت المياه في الدقيقة الأخيرة، فليس الأمر سيئاً للغاية لأن الرياضيات تقول إن قيمتها أقل".

أما معلم الحشود (CEM)، فهو لا يستخدم هذه الحيلة الرياضية. إنه ينظر إلى اليوم بأكمله ويسأل: "هل انخفضت المياه تحت الخط ولو لمرة واحدة؟" إذا كانت الإجابة نعم، حتى لو لمرة واحدة، فهذا فشل. إنه يعامل الكارثة في الساعة 9:00 صباحاً تماماً كما يعامل الكارثة في الساعة 9:00 مساءً. وهذا ما يجعله أفضل بك كثيراً في منع تلك اللحظة الواحدة الكارثية.

الإثبات و"الإصلاح السحري" الذي لم ينجح

لم يكتف الباحثون بالتخمين؛ بل أثبتوا ذلك بالرياضيات. لقد أظهروا أنه بالنسبة للمعلمين السلسين، فإن الضمان بأننا "لن ننفد من الماء" يضعف ويضعف مع مرور الوقت. وبحلول نهاية اليوم، يكون ضمانهم صفرياً تقريباً.

ولاختبار ما إذا كان هذا مجرد مشكلة ضبط، حاولوا "إصلاح" المعلمين السلسين من خلال:

تغيير الخصم: أخبروا المعلمين السلسين أن يهتموا أكثر بنهاية اليوم. لم يساعد هذا كثيراً؛ حيث ظل الخطر مرتفعاً.
إضافة "ناقد توزيعي" (Distributional Critic): هذه ترقية متطورة حيث يحاول الذكاء الاصطناعي التنبؤ بـ "شكل" المخاطر، وليس فقط المتوسط. قام الباحثون ببناء نسخة جديدة من المعلم السلس يمكنها رؤية "ذيل" المخاطر (أسوأ السيناريوهات).
- النتيجة: للمفاجأة، لم يحل هذا المشكلة. في الواقع، في كل اختبار أجروه، جعلت هذه النسخة المتطورة الجديدة الخزان أكثر خطورة من المعلم السلس الأساسي. لقد ارتبك الذكاء الاصطناعي بسبب الضجيج في تنبؤاته الخاصة واتخذ قرارات أسوأ.

الاستثناء الوحيد: عندما يكون الخزان صغيراً جداً

كان هناك سيناريو واحد أدى فيه المعلمون السلسون أداءً جيداً: نظام "الإدارة الضعيفة". كان هذا وضعاً كان فيه الخزان صغيراً جداً والقواعد صارمة جداً لدرجة أنه لم يستطع أي ذكاء اصطناعي تجنب نفاد المياه. في هذه الحالة، كان معلم الحشود هو الخيار الأكثر أماناً والأقل تكلفة أيضاً، ببساطة لأن المشكلة كانت معطلة لدرجة أن المعلمين السلسين لم يجدوا طريقة ليكونوا "أذكى" من الحشد.

الخلاصة

إذاً، ماذا يعني هذا لمستقبل الذكاء الاصطناعي؟

إذا كنت تبني ذكاءً اصطناعياً لتقليل متوسط التكلفة (مثل إجمالي الوقود المستخدم أو إجمالي الانبعاثات)، فإن المعلمين السلسين القائمين على التدرج (SAC, PPO) رائعون. إنهم فعالون وجيدون في الرياضيات.

ولكن، إذا كنت تبني ذكاءً اصطناعياً لمنع فشل واحد كارثي (مثل تحطم طائرة، أو توقف قلب مريض، أو جفاف خزان مياه)، فإن البحث يقترح أن عليك توخي الحذر الشديد. قد يكون المعلمون السلسون التقليديون "عمياناً" عن أسوأ اللحظات بسبب كيفية حسابهم للوقت. في هذه الحالات، قد يكون معلم الحشود "الغبي" ولكن الشامل (CEM) هو الرهان الأكثر أماناً، أو أنك بحاجة إلى نظام توزيعي أكثر تعقيداً لم يصل بعد إلى مرحلة الكمال.

يخلص المؤلفون إلى أن اختيار المعلم المناسب لا يتعلق باختيار "أروع" أو أكثر الرياضيات تطوراً؛ بل يتعلق بمطابقة المعلم مع نوع الخطر المحدد الذي تحاول تجنبه. إذا كان الخطر عبارة عن كارثة مفاجئة لمرة واحدة، فقد تكون الرياضيات السلسة تنظر في الاتجاه الخاطئ تماماً.

ملخص تقني: القيود على المخاطر القائمة على التدرج مقابل الخالية من التدرج في التعلم المعزز

صياغة المشكلة
تتناول الورقة مشكلة حوكمة الخزانات المصاغة كعملية قرار ماركوف (MDP) مقيدة بالقيمة المشروطة للمخاطر (CVaR). يربط النظام الفيزيائي بين حجم الخزان $V(t)$ وحالة جودة الحوكمة $s(t)$ ، مع الخضوع لتدفقات داخلة وتبخر عشوائيين. يتمثل هدف التحكم في تقليل دالة التكلفة الإجمالية التي تتكون من خطأ التتبع (الانحراف عن الحجم المستهدف وجودة الحوكمة) وجهد التحكم.

القيد الحرج ليس على التكلفة التراكمية المتوقعة، بل على القيمة المشروطة للمخاطر (CVaR) لأقصى عجز خلال الحلقة (episode-maximum deficit)، ويُرمز له بـ $D(\tau) = \max_{0 \le k \le K} (V_{min} - V_k)_+$ . تمثل هذه الكمية أسوأ حدث استنزاف ضمن حلقة واحدة. تحقق المؤلفون مما إذا كان اختيار المحسن (Optimizer) — وتحديداً بين الطرق القائمة على الجمهرة (Population-based) الخالية من التدرج وطرق الممثل-الناقد (Actor-critic) القائمة على التدرج — يؤثر عندما يستهدف قيد السلامة هذا الدالة غير السلسة (Non-smooth) ذات الإحصاء الرتبي (Order-statistic).

المنهجية
تقارن الدراسة ثلاثة محسنات تم تدريبها على محاكي متطابق عبر أربعة أنظمة فيزيائية (المرجع، الإدارة الضعيفة، السحب غير القانوني المرتفع، والإدارة القوية):

طريقة CEM-Lagrangian (الخالية من التدرج): وهي طريقة "التقاطع المتعدد" (Cross-Entropy Method) القائمة على الجمهرة، والتي تحافظ على توزيع بحث فوق أوزان السياسة. تقوم بتقييم المرشحين عبر حساب مباشر ودقيق لـ CVaR غير القابل للاشتقاق لأقصى عجز في الحلقة عبر فرز المسارات التي تم أخذ عينات منها.
طرق SAC-Lagrangian و PPO-Lagrangian (القائمة على التدرج): وهي خوارزميات "الناقد-الناعم" (Soft Actor-Critic) و"تحسين السياسة القريبة" (Proximal Policy Optimization) المعدلة للسلامة. ومن الأهمية بمكان أن هذه الطرق لا يمكنها الانتشار العكسي (Backpropagate) عبر الحد الأقصى الجاري لـ $D(\tau)$ . بدلاً من ذلك، تستبدل القيد بـ تكلفة مضافة مخصومة متوقعة $C_\gamma(\tau) = \sum \gamma^k c_k$ ، حيث $c_k$ هو العجز لكل خطوة. وهي تستخدم مضاعف لاغرانج لفرض ميزانية على هذه التكلفة البديلة.

تتضمن الورقة أيضاً تحليلاً نظرياً لظاهرة "العمى الناجم عن الخصم" (Discount-induced blindness) وإعادة تطبيق مستقل بخمس بذور (Five-seed replication) باستخدام نسخة محاكي منفصلة. تقدم عملية إعادة التطبيق هذه نسخة مطورة تسمى PPO-Dist، والتي تستخدم ناقداً للسلامة يعتمد على انحدار الكميات (Quantile-regression/Distributional) حقيقي، مُدرب لتقدير ذيل توزيع التكلفة المستقبلية (Cost-to-go)، بدلاً من مجرد تقدير متوسطها.

المساهمات الرئيسية

إعادة التقييم التجريبي: يوضح المؤلفون أن الاستنتاجات السابقة التي فضلت الطرق القائمة على التدرج كانت غير مكتملة لأنها قيمت الأداء بناءً على جهد التحكم وحده. عند التقييم بناءً على هدف التدريب الكامل (التتبع + الجهد) ومقياس المخاطر الحقيقي (CVaR لأقصى عجز)، يظهر نمط حاد وقابل للتكرار: تحقق طريقة CEM بشكل صارم مخاطر ذيل (Tail risk) أقل من أي متغير من متغيرات SAC أو PPO في ثلاثة من الأنظمة الأربعة، حتى عند مقارنة السياسة الأقل تحفظاً في CEM بأكثر سياسات الطرق القائمة على التدرج تحفظاً. وعلى العكس من ذلك، تحقق طرق SAC و PPO تكلفة إجمالية أقل ولكن على حساب مخاطر ذيل أعلى بكثير في هذه الأنظمة.
الإثبات النظري (العمى الناجم عن الخصم): تثبت الورقة أن قيد التكلفة المضافة المخصومة يوفر ضماناً احتمالياً على العجز في الخطوة الواحدة يتلاشى هندسياً مع مؤشر الوقت $k$ (النظرية 5.6). وتحديداً، يصبح الحد $P(c_k > \epsilon) \le d_{max}/(\gamma^k \epsilon)$ غير ذي جدوى (يتجاوز 1) مع زيادة $k$ . في المقابل، يوفر قيد CVaR المباشر على الحد الأقصى للحلقة ضماناً موحداً زمنياً. وهذا يفسر لماذا تفشل الطرق القائمة على التدرج، المقيدة ببدائل مضافة، في منع أحداث الاستنزاف في أواخر الحلقة.
تحليل الاستقرار: يضع المؤلفون نظريات الوجود في الحلقة المغلقة، والاستقرار التقاربي المحلي، والاستقرار العملي الاحتمالي للسياسات المنشورة لجميع المحسنات، مما يظهر أن الاستقرار هو خاصية لفئة السياسة (المستمرة ليبشيتز - Lipschitz continuous) وليس لخوارزمية التدريب.
تجربة الناقد التوزيعي: في إعادة التطبيق المستقلة، تم اختبار ناقد توزيعي (Distributional critic) كمي مُدرب (PPO-Dist). وخلافاً للأمل في سد الفجوة، أظهرت سياسة PPO-Dist المقيدة باستمرار مخاطر محققة أعلى من نظيرتها غير المقيدة عبر جميع البذور الخمس. يشير هذا إلى أن ضجيج تقدير الكميات بنموذج مونت كارلو (Monte-Carlo quantile estimation noise)، وليس عدم ضبط لاغرانج، هو العائق الأساسي أمام الطرق القائمة على التدرج في هذا السياق.

النتائج

ترتيب المخاطر: عبر ثلاثة من أربعة أنظمة فيزيائية (المرجع، السحب غير القانوني المرتفع، والإدارة القوية)، فإن ترتيب المخاطر هو بشكل صارم CEM < SAC < PPO. طريقة CEM هي المتحكم الأكثر أماناً؛ بينما PPO هو الأقل أماناً.
ترتيب التكلفة: في نفس الأنظمة الثلاثة، تحقق طرق SAC و PPO تكاليف إجمالية أقل من CEM.
الاستثناء: في نظام "الإدارة الضعيفة"، حيث تشبع القيود الفيزيائية قدرة المتحكم على منع الاستنزاف، تكون طريقة CEM هي الأكثر أماناً والأرخص تكلفة في آن واحد. هنا، ينهار المقايضة بين السلامة والتكلفة، وتختفي الميزة الهيكلية للطرق الخالية من التدرج فيما يتعلق بالتكلفة.
دراسات الاستئصال (Ablation Studies): تغيير عامل الخصم $\gamma$ لناقد السلامة في PPO يغير مضاعف لاغرانج المطلوب لفرض الميزانية، ولكنه لا يغير بشكل كبير الـ CVaR المحقق، مما يشير إلى أن إشارة التحسين ضعيفة جداً لاستهداف أحداث العجز النادرة وعالية القيمة.
إعادة التطبيق: تؤكد إعادة التطبيق بخمس بذور ترتيب المخاطر بدلالة إحصائية ( $p < 0.05$ ) وتكشف أن فشل الناقد التوزيعي قوي تجاه تصحيحات القياس في تحديث الصعود المزدوج (Dual-ascent update).

الأهمية والادعاءات
تدعي الورقة أن اختيار المحسن ليس مجرد مسألة كفاءة، بل هو أمر محدد بنيوياً بطبيعة دالة المخاطر.

بالنسبة لـ القيود المضافة والمتوقعة (مثل إجمالي الانبعاثات)، فإن طرق لاغرانج القائمة على التدرج مناسبة وفعالة.
بالنسبة لـ قيود الإحصاء الرتبي والحالات القصوى (مثل أقصى استنزاف، أو التباعد بين الطائرات)، فإن الطرق القائمة على التدرج التي تعتمد على بدائل مضافة هي عاجزة بنيوياً عن توفير ضمانات سلامة موحدة زمنياً بسبب "العمى الناجم عن الخصم".
يجادل المؤلفون بأنه لمثل هذه المشكلات، من الضروري بنيوياً استخدام طريقة قائمة على الجمهرة (مثل CEM) تقيم المقياس غير السلس الحقيقي، أو يجب ترقية الطريقة القائمة على التدرج باستخدام ناقد سلامة توزيعي حقيقي قادر على استنباط تقديرات الذيل (Bootstrapping tail estimates) (وليس مجرد كميات مونت كارلو). ومع ذلك، تشير الدراسة إلى أن تنفيذ الأخير أمر غير بسيط ويعاني حالياً من ضجيج التقدير عالي التباين.

تخلص الورقة إلى أن التفوق الملحوظ لـ CEM في تقليل مخاطر الذيل ليس نتاج ضبط المعلمات، بل هو نتيجة أساسية لكيفية تقريب بنيات الممثل-الناقد القائمة على التدرج لقيود السلامة، وتحديداً في الأنظمة التي يوجد فيها مقايضة حقيقية بين التكلفة ومخاطر الذيل.