🤖 machine learning

Boundary-Seeking Policy Gradient for Safe Reinforcement Learning

تقدم هذه الورقة "تدرج السياسة الباحث عن الحدود" (BSPG)، وهو منهج من الدرجة الأولى للتعلم المعزز الآمن يعمل صراحةً على دفع السياسات نحو قيود السلامة النشطة من خلال الجمع بين صعود المكافأة المماسي ومكون طبيعي مُوقَّع، مما يحقق مكافآت أعلى والتزاماً أدق بالحدود مقارنة بالنماذج المرجعية الحالية مع استيفاء شروط كيه كيه تي (KKT).

المؤلفون الأصليون: Chenhua Fan, Jiahui Zhu, Yuhang Zhang, Honghao Wei

نُشر 2026-08-12

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chenhua Fan, Jiahui Zhu, Yuhang Zhang, Honghao Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يلعب لعبة فيديو عالية المخاطر. الهدف بسيط: الحصول على أعلى درجة ممكنة. لكن هناك عقبة: هناك قاعدة صارمة في اللعبة وهي أنه لا يمكن للروبوت أن ينفد منه الشحن قبل نهاية المستوى. إذا نفد الشحن، يخسر فوراً. هذا هو عالم التعلم المعزز الآمن (Safe Reinforcement Learning). في هذا المجال، يعلم العلماء الحواسيب كيفية اتخاذ القرارات من خلال تركها تجرب الأشياء وتتعلم من أخطائها، ولكن مع وجود شبكة أمان. التحدي يكمن في إيجاد التوازن المثالي: دفع الروبوت ليكون جريئاً وذكياً قدر الإمكان للحصول على النقاط، مع الحفاظ على كونه آمناً بما يكفي لعدم كسر القواعد أبداً.

لفترة طويلة، كانت الطريقة القياسية لتعليم هذه الروبوتات هي إخبارها: "لا تكسري القواعد"، والأمل في أن تكتشف بنفسها مدى قربها من الحافة دون السقوط. الأمر يشبه إخبار لاعب السيرك على الحبل المشدود: "لا تسقط"، ولكن دون إعطائه عموداً للمساعدة في التوازن. غالباً ما كان الروبوت يلعب بحذر شديد، مبتعداً كثيراً عن حافة حد البطارية، مما يجعله يضيع الكثير من النقاط المحتملة. كان الأمر يشبه قيادة سيارة بسرعة 20 ميلاً في الساعة في منطقة مسموح فيها بـ 60 ميلاً في الساعة فقط للتأكد من عدم وقوع حادث.

تقدم ورقة بحثية جديدة طريقة أكثر ذكاءً لتعليم هذه الروبوتات، تسمى تدرج السياسة الباحث عن الحدود (Boundary-Seeking Policy Gradient - BSPG). أدرك المؤلفون، تشينهوا فان، وجياهوي جو، ويوهانغ تشانغ، وهونغهاو وي، أن أفضل طريقة للفوز ليست البقاء في منتصف المنطقة الآمنة، بل الرقص مباشرة على حافة خط الخطر. لقد وجدوا أنه عندما يلعب الروبوت بشكل مثالي، يجب عليه استهلاك كامل ميزانية الأمان الخاصة به—مثل لاعب السيرك على الحبل الذي يستخدم كل بوصة من الحبل للحفاظ على توازنه، بدلاً من الالتصاق بسياج الأمان.

تقترح الورقة البحثية "حركة رقص" جديدة للروبوت. فبدلاً من مجرد محاولة تجنب الحافة، يتم إعطاء الروبوت تعليمات محددة في نفس الوقت. أولاً، يتعلم التحرك جانبياً على طول حافة خط الأمان لجمع المزيد من النقاط دون فقدان التوازن. ثانياً، يتلقى "دفعة" لطيفة تجذبه نحو الخط إذا ابتعد كثيراً، أو تدفعه للعودة إذا اقترب كثيراً من السقوط. هذه "الدفعة" مميزة لأنها تعمل من كلا الجانبين: إذا كان الروبوت حذراً للغاية، تقول له الدفعة: "تقدم قليلاً!" وإذا كان متهوراً للغاية، تقول له: "تراجع!"

لقد أثبت الباحثون رياضياً أن هذه الطريقة تعمل. فقد أظهروا أنه بمرور الوقت، سيستقر "مقياس سلامة" الروبوت تماماً عند الحد الأقص، وليس دونه. كما أظهروا أن هذه الطريقة أفضل من التقنيات السابقة، التي كانت غالباً ما تترك الروبوت يلعب بأمان مفرط. وفي اختباراتهم، باستخدام لعبة ملاحة قياسية، ساعدت الطريقة الجديدة الروبوت على الحصول على درجات أعلى مع البقاء على حافة حد الأمان تماماً، مما أثبت أنه يمكنك أن تكون آمناً وطموحاً في آن واحد.

قصة الروبوت الآمن

المشكلة: فخ "الأمان الزائد"
تخيل أنك تدرب روبوتاً على قيادة شاحنة توصيل. الشاحنة لديها خزان وقود، والقاعدة هي: "يجب أن تصل إلى الوجهة ومعك 5 جالونات من الوقود على الأقل". إذا وصلت ومعك 0 جالون، ستتحطم. إذا وصلت ومعك 5 جالونات، فأنت في أمان.

كانت الطرق القديمة لتدريب الروبوتات تشبه والداً قلقاً يقود السيارة. كانوا يخبرون الروبوت: "تأكد من وجود 5 جالونات على الأقل". الروبوت، وبسبب خوفه من التحطم، كان يتوقف عن القيادة بمجرد أن يتبقى لديه 10 جالونات. كان يصل بأمان، لكنه كان يهدر 5 جالونات من الوقود التي كان يمكن استخدامها للقيادة بشكل أسرع أو اتخاذ مسار أفضل. كان آمناً، لكنه لم يكن بارعاً جداً في عمله.

تجادل الورقة البحثية بأن هذا هدر. الروبوت "المثالي" يجب أن يصل ومعه 5 جالونات بالضبط. يجب أن يستخدم كل قطرة وقود يمكنه استخدامها للحصول على أفضل أداء، حتى يقف تماماً على حافة المنحدر. لكن الوصول إلى هناك صعب. إذا حاول الروبوت الاقترب من الحافة، فقد يسقط بالخطأ ويتحطم. وإذا بقي بعيداً جداً، فسيضيع نقاطاً.

الحل: رقصة الخطوتين
ابتكر مؤلفو هذه الورقة استراتيجية جديدة تسمى تدرج السياسة الباحث عن الحدود (BSPG). فكر في الأمر كتعليم الروبوت رقصة من خطوتين.

الخطوة الجانبية (الحركة المماسية): تخيل الروبوت واقفاً على حبل مشدود. الجزء الأول من الرقصة هو التحرك على طول الحبل. هذا يساعد الروبوت على الحصول على المزيد من النقاط (مثل جمع العملات المعدنية على السلك) دون الاقتراب من الحافة أو الابتعاد عنها. الأمر يتعلق فقط بالتحسن في اللعبة مع البقاء آمناً.
الدفعة (الحركة العمودية): الجزء الثاني هو دفعة خاصة تحافظ على الروبوت فوق الحبل.
- إذا كان الروبوت يقف بعيداً جداً في "المنطقة الآمنة" (لديه الكثير من الوقود المتبقي)، فإن الدفعة تدفعه برفق للأمام نحو الحافة. تقول له: "لديك وقود إضافي، استخدمه للحصول على مزيد من النقاط!"
- إذا كان يتأرجح قريباً جداً من السقوط (يستهلك الكثير من الوقود)، فإن الدفعة تسحبه للخلف. تقول له: "احذر! أنت تقترب من التحطم!"

هذا يختلف عن الطرق القديمة. الطرق القديمة كانت تقول عادةً: "إذا كنت على وشك التحطم، توقف!" لم يكن لديها وسيلة لقول: "إذا كنت آمناً أكثر من اللازم، اذهب أبعد قليلاً!" هذه الطريقة الجديدة تعامل حد الأمان مثل مغناطيس يجذب الروبوت من كلا الجانبين، مما يبقيه متوازناً تماماً على الحافة.

ماذا وجدوا؟
لم يكتفِ المؤلفون بالتخمين بأن هذا سينجح؛ بل قاموا بالحسابات لإثبات ذلك. لقد أظهروا أنه إذا استخدمت هذه الرقصة الجديدة، فسوف يتوقف الروبوت عن التسكع وسيستقر تماماً على حافة حد الأمان. لقد أثبتوا أن "مقياس سلامة" الروبوت سيقترب أكثر فأكثر من الصفر (مما يعني أنه يمتلك بالضبط الكمية الصحيحة من الوقود المتبقي) مع تعلمه.

كما اختبروا ذلك في محاكاة حاسوبية تسمى Safety-Gymnasium، وهي تشبه لعبة فيديو لاختبار سلامة الروبوتات. في هذه اللعبة، كان على الروبوت التنقل في متاهة. قارنوا طريقتهم الجديدة (BSPG) بطريقتين شائعتين أخريين:

الطرق القديمة كانت تشبه الوالد القلق: جعلت الروبوت بعيداً عن منطقة الخطر، مما ترك الكثير من النقاط ضائعة.
الطريقة الجديدة (BSPG) كانت تشبه لاعب السيرك الماهر على الحبل المشدود. لقد حصلت على درجات أعلى بكثير لأنها استخدمت تقريباً كل "ميزانية الأمان" المسموحة لها للتحرك بشكل أسرع وأذكى.

لماذا هذا مهم؟
هذه الورقة البحثية مهمة لأنها تغير طريقة تفكيرنا في السلامة. لفترة طويلة، اعتقدنا أن السلامة تعني البقاء بعيداً عن الخطر. تُظهر هذه الورقة أن السلامة الحقيقية تعني معرفة مكان الخطر تماماً وتعلم المشي بجانبه مباشرة دون السقوط. وهذا يسمح للروبوتات بأن تكون أكثر كفاءة وفعالية، سواء كانت تقود السيارات، أو تدير شبكات الطاقة، أو تلعب الألعاب، دون كسر القواعد أبداً.

يؤكد المؤلفون بحذر شد أن هذا يعمل بشكل مثالي في نماذجهم الرياضية ومحاكاتهم الحاسوبية. لقد أظهروا أن الروبوت يتعلم الالتصاق بخط الأمان بإحكام، محققاً أفضل أداء ممكن مع البقاء آمناً. إنها خطوة كبيرة للأمام في تعليم الآلات كيف تكون شجاعة ولكن غير متهورة.

ملخص تقني لورقة بحثية: تدرج السياسة الباحث عن الحدود للتعلم المعزز الآمن (BSPG)

بيان المشكلة

يهدف التعلم المعزز الآمن (Safe RL) إلى تعظيم المكافأة التراكمية مع استيفاء القيود التشغيلية، والتي تُصاغ عادةً كعمليات ماركوف لاتخاذ القرار المقيد (CMDPs). وتتمثل إحدى الخصائص الهيكلية الجوهرية لـ CMDPs في أنه عندما يكون القيد نشطاً عند النقطة المثلى (أي عندما ينتهك معظم مكافأة غير مقيد القيد)، فإن السياسة المثلى تقع تماماً على حدود المجموعة الممكنة ( $J_c(\pi) = d$ ).

تفشل الطرق الحالية غالباً في استغلال هذه البنية بفعالية:

الطرق الثنائية-الأولية (Primal-Dual methods) (مثل PPO-Lagrangian): تعتمد على مضاعفات متعلمة للتحكم بشكل غير مباشر في مسافة السياسة عن الحدود، مما يؤدي غالباً إلى ديناميكيات تذبذبية أو الاستقرار في الجزء الداخلي الممكن مع وجود فائض غير مستغل من التكلفة.
طرق الإسقاط/الأولية (Primal/Projection methods) (مثل CPO، وCRPO): تفرض إمكانية التنفيذ ولكنها تعاملها كشرط أحادي الجانب؛ فهي لا تنظم صراحةً مقدار ميزانية التكلفة المتبقية التي يجب استغلالها لتحسين المكافأة.
طرق تلاعب التدرج (Gradient-manipulation methods) (مثل ESPO، وPCRPO): تقوم بمحاذاة تدرجات المكافأة والتكلفة ولكنها لا تستخدم صراحةً بقايا القيد الموقعة (signed constraint residual) لدفع السياسة نحو الحد النشط.

وبناءً على ذلك، غالباً ما تستقر التحديثات القياسية في الجزء الداخلي الصارم للمجموعة الممكنة، مما يترك مكاسب محتملة في المكافأة غير مستغلة لأن السياسة تفشل في استغلال ميزانية التكلفة الكاملة.

المنهجية: تدرج السياسة الباحث عن الحدود (BSPG)

يقترح المؤلفون تدرج السياسة الباحث عن الحدود (BSPG)، وهو طريقة من الدرجة الأولى مصممة لدفع تحديثات السياسة صراحةً نحو حد القيد النشط مع تحسين المكافأة على طوله. تقوم الطريقة بتفكيك اتجاه التحديث إلى مكونين متعامدين:

المكون المماسي ( $g_r^\perp$ ):
يعمل هذا المكون على تحسين المكافأة مع الحفاظ على التكلفة من الدرجة الأولى. ويتم اشتقاقه عبر إسقاط تدرج المكافأة ( $g_r$ ) على الفضاء المماسي لمستوى مجموعة التكلفة، مع إزالة المكون الموازي لتدرج التكلفة ( $g_c$ ):
$g_r^\perp = g_r - \frac{\langle g_r, g_c \rangle}{\|g_c\|^2} g_c$
يضمن هذا أن الحركة على طول هذا الاتجاه لا تغير هدف التكلفة محلياً.
المكون العمودي ( $g_b$ ):
ينظم هذا المكون مسافة السياسة عن الحد بناءً على بقايا القيد الموقعة ( $\hat{\delta} = J_c(\pi_\theta) - d$ ).
$g_b = -\hat{\delta} \cdot \frac{g_c}{\|g_c\| + \epsilon}$

إذا كانت السياسة غير ممكنة ( $\hat{\delta} > 0$ )، فإن $g_b$ يشير للداخل لتقليل التكلفة.
إذا كانت السياسة ممكنة تماماً ( $\hat{\delta} < 0$ )، فإن $g_b$ يشير للخارج لزيادة التكلفة نحو الحد.
هذا التنظيم الموقّع يضمن أن السياسة تسعى بنشاط للوصول إلى الحد من كلا الجانبين، بدلاً من التوقف عشوائياً في الداخل.

التفسير اللاغرانجي الضمني:
يسمح اتجاه التحديث المشترك بصيغة لاغرانج جبرية:
$g_{up} = \nabla_\theta [J_r(\pi_\theta) - \lambda_t J_c(\pi_\theta)]$
حيث يتم اشتقاق المضاعف $\lambda_t$ جبرياً بواسطة هندسة التدرج المحلي وإشارة الحد، بدلاً من كونه متغيراً ثنائياً يتم تعلمه. وهذا يتجنب عدم الاستقرار المرتبط بتعلم المتغيرات الثنائية.

التنفيذ:
في الممارسة العملية، يتم تقدير البقايا الدقيقة $\delta$ باستخدام شبكة قيمة التكلفة ( $V_c$ ) مع تصحيح دفعة (batch residual correction) (المعادلة 19). تم تنفيذ الخوارزمية فوق PPO، مع إدخال معلمتين فائقتين فقط: معامل جذب الحد ( $\eta$ ) وعتبة قطع (clipping threshold) للبقايا.

المساهمات الرئيسية

توصيف بنية الحدود: تثبت الورقة رسمياً أنه عندما لا يكون أي معظم مكافأة غير مقيد ممكناً، فإن كل سياسة مثلى مقيدة يجب أن تقع تماماً على حد القيد النشط ( $J_c(\pi) = d$ ). كما أنها تقيس كمياً مكسب المكافأة المحلي المتاح من ميزانية التكلفة غير المستخدمة عندما تكون تدرجات المكافأة والتكلفة متوافقة إيجابياً.
خوارزمية BSPG وتحليل التقارب:
- يثبت المؤلفون أنه تحت ظروف التدرجات الدقيقة وشروط الانتظام، تتقارب بقايا القيد إلى الصفر من كلا الجانبين بحد زمن أفقي قدره $O(1/\sqrt{T})$ .
- يوضحون أن المكون المماسي هو اتجاه صالح لصعود المكافأة على طول الحد.
- يصفون أي تسلسل معاملات متقارب بأنه نقطة استقرار على مجموعة القيد النشط، مما يحقق شروط كاروش-كون-تاكر (KKT) إذا كان الحد هو معلم محلي فوق المجموعة الممكنة.
التحقق التجريبي: في مهمة الملاحة Safety-Gymnasium ، حقق BSPG مكافأة أعلى من النماذج المرجعية (CRPO، ESPO) مع تتبع حد القيد بشكل أكثر إحكاماً، مما يدل على استخدام أكثر كفاءة لميزانية السلامة.

النتائج

نظرياً: يؤكد التحليل أن BSPG يدفع البقايا إلى الصفر، مما يضمن أن السياسة لا تبقى في الجزء الداخلي الصارم. معدل تقارب البقايا هو $O(1/\sqrt{T})$ . أي تشغيل متقارب يحقق شروط KKT للمسألة المقيدة.
تجريبياً: في التجارب على SafetyPointGoal1-v0 ، حقق BSPG أعلى مكافأة لكل حلقة (episodic reward) بين النماذج المرجعية المقارنة. والأهم من ذلك، أظهر مقياس "القرب من الحد" (مقدار البقايا $|\hat{C} - d|$ ) أن BSPG ظل باستمرار أقرب إلى حد القيد من CRPO وESPO، اللذين استقرا بشكل محافظ في الجزء الداخلي الممكن.

الأهمية والادعاءات

تدعي الورقة أن BSPG يعالج فجوة محددة في التعلم المعزز الآمن: الفصل بين تحسين المكافأة على طول مستوى التكلفة وبين التنظيم الموقّع عبر مستويات التكلفة.

على عكس الطرق الموجودة التي تصادق على إمكانية التنفيذ ولكنها لا تصف قيمة القيد عند التقارب، يستهدف BSPG صراحةً الحد النشط.
توفر الطريقة آلية لتحويل "ميزانية التكلفة غير المستخدمة" إلى مكافأة عندما تكون التدرجات متوافقة، وهي قدرة غالباً ما تفتقدها الطرق التي تتوقف عند أول نقطة ممكنة.
توفر الورقة ضمانات نظرية للتحديث المثالي للتدرج، مما يظهر أن الطريقة تنظم السياسة طبيعياً للوصة إلى الحد دون الحاجة إلى متغير ثنائي متعلم.
يشير المؤلفون إلى أن النظرية تنطبق على التحديث المثالي ولا تدعي التقارب العالمي لأي فئات سياسة غير محدبة أو ضمانات تعقيد العينات للتنفيذ العشوائي لـ PPO، مما يحافظ على نطاق متواضع فيما يتعلق بالقيود النظرية.