🤖 machine learning

Safe In-Context Reinforcement Learning

تقدم هذه الورقة البحثية SCARED، وهي الطريقة الأولى التي تضمن التعلم التعزيزي الآمن داخل السياق من خلال تمكين الوكلاء من التكيف مع المهام الخارجة عن التوزيع دون تحديثات للمعلمات، مع الالتزام الصارم بميزانيات السلامة المحددة من قبل المستخدم عبر نهج ثنائي يعتمد على العقوبة الدقيقة.

المؤلفون الأصليون: Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك متدرباً آلياً عبقرياً. لقد أمضيت شهوراً في تدريب هذا المتدرب في فصل دراسي (التدريب المسبق) على آلاف الألغاز المختلفة. الآن، ترسل هذا المتدرب إلى العالم الحقيقي لحل ألغاز جديدة تماماً لم يراها من قبل.

المشكلة: فخ "وقت الاختبار"
عادةً، عندما يواجه الروبوت لغزاً جديداً، فإنه يحاول التعلم أثناء العمل عن طريق تعديل إعدادات دماغه الداخلية (تحديث المعلمات). لكن هذا الأمر محفوف بالمخاطر في العالم الحقيقي. تخيل روبوتاً يتعلم قيادة سيارة؛ إذا حاول "التعلم" عبر الاصطدام ببعض الجدرانا لتحديد القواعد، فستكون كارثة. أيضاً، في بعض الأحيان، تكون أجهزة الروبوت بسيطة جداً بحيث لا تستطيع إجراء عمليات حسابية معقدة أثناء القيادة.

الحل الموجود: تعلم "السياق"
هناك طريقة أحدث تسمى التعلم المعزز داخل السياق (ICRL) تحل مشكلة "التعلم" دون تغيير الدماغ. فبدلاً من تحديث كوده البرمجي الداخلي، يكتفي الروبوت بالنظر إلى تاريخه القريب. الأمر يشبه إنسان يقرأ دليلاً تعليمياً: "أوه، لقد اصطدمت بجدار للتو، لذا يجب أن أتجه يساراً في المرة القادمة". يصبح الروبوت أكثر ذكاءً كلما جمع المزيد من التاريخ، وكل ذلك دون إعادة كتابة برمجياته الخاصة.

القطعة المفقودة: السلامة
يشير البحث إلى وجود فجوة كبيرة: بينما تعتبر طريقة "قراءة الدليل" هذه رائعة، إلا أنه لم يجد أحد طريقة لضمان بقاء الروبوت آمناً أثناء قراءته للدليل. إذا كان الروبوت يتعلم كيفية التنقل في متاهة جديدة، فقد يمشي بالخطأ نحو حفرة نار أثناء محاولته اكتشاف مكان المخرج. نحن بحاجة إلى وسيلة لإخبار الروبوت: "يمكنك الاستكشاف، ولكن يجب أن تظل ضمن ميزانية محددة من 'نقاط الخطر'".

الحل: SCARED
يقدم المؤلفون طريقة جديدة تسمى SCARED (التعلم السياقي التكيفي الآمن عبر العقوبة المزدوجة الدقيقة). فكر في SCARED كأنها مشرف سلامة صارم ولكن متعاون يرافق الروبوت في رحلته.

إليك كيف تعمل SCARED، باستخدام تشبيهات بسيطة:

ميزانية السلامة (المحفظة):
تخيل أن لدى الروبوت محفظة تحتوي على مبلغ ثابت من "أموال السلامة" (الميزانية). في كل مرة يقوم فيها الروبوت بشيء ينطوي على مخاطرة (مثل الاقتراب من عائق)، فإنه ينفق القليل من المال. إذا نفدت الأموال، فسيكون في ورطة. تعلم SCARED الروبوت كيفية إدارة هذه المحفظة بشكل مثالي.
"التكلفة المتبقية" (الميزانية المتبقية):
الروبوت لا ينظر فقط إلى مقدار المال المتبقي لديه؛ بل ينظر أيضاً إلى مقدار ما يحتاج إلى ادخاره لبقية الرحلة. وهذا ما يسمى "التكلفة المتبقية" (Cost-to-Go).

ميزانية عالية: إذا أعطى المستخدم الروبوت ميزانية سلامة ضخمة، فإن SCARED تخبر الروبوت: "انطلق! كن جريئاً! يمكنك المخاطرة للحصول على المكافأة بشكل أسرع".
ميزانية منخفضة: إذا أعطاه المستخدم ميزانية ضئيلة، فإن SCARED تهمس له: "كن حذراً جداً. تحرك ببطء. لا تأخذ أي مخاطر".
يتعلم الروبوت تعديل شخصيته بناءً على هذه الميزانية، وكل ذلك دون تغيير كود دماغه.

التدريب (المحاكاة):
قبل إرسال الروبوت إلى الخارج، تقوم SCARED بتدريبه في بيئة محاكاة. هي لا تعلم الروبوت الفوز فحسب، بل تعلمه الفوز مع البقاء ضمن ميزانية السلامة. وهي تستخدم خدعة رياضية (عقوبة دقيقة) تعمل كغرامة ثقيلة. إذا حاول الروبوت كسر القواعد أثناء التدريب، فإن "الغرامة" تكون عالية جداً لدرجة أن الروبوت يتعلم تجنب ذلك فوراً.

النتائج: ماذا حدث؟
اختبر المؤلفون SCARED في سيناريوهات صعبة للغاية حيث كان على الروبوت التنقل في متاهات بها عوائق لم يراها من قبل (مهام خارج نطاق التوزيع).

أفضل من المنافسين: الطرق الأخرى كانت إما متهورة جداً (تكسر قواعد السلامة) أو حذرة جداً (تفشل في الحصول على المكافأة). وجدت SCARED التوازن المثالي.
قابلة للتكيف: عندما قام الباحثون بتغيير ميزانية السلامة، غيرت SCARED سلوكها فوراً. لم تكن بحاجة إلى إعادة التدريب؛ بل نظرت فقط إلى الميزانية الجديدة وعدلت استراتيجيتها.
قوية ومتينة: حتى عندما كانت البيئة فوضوية ووضعت العوائق في أنماط غريبة وغير متوقعة، حافظت SCARED على سلامة وفعالية الروبوت.

باختة الكلام
يقدم هذا البحث طريقة لجعل الوكلاء الذكيين قادرين على تعلم مهام جديدة على الطاير من خلال النظر في تجاربهم الماضية، ولكن مع "حبل سلامة" مدمج. إنها تضمن أنه بينما يتعلم الوكيل كيفية القيام بوظيفة جديدة، فإنه لن يتجاوز أبداً الخطوط الحمراء نحو المناطق الخطرة، ويمكن إخباره بأن يكون مستكشفاً حذراً أو مغامراً جريئاً بمجرد تغيير رقم واحد فقط.

ملخص تقني: التعلم المعزز الآمن داخل السياق (SCARED)

1. صياغة المشكلة

تتناول الورقة البحثية فجوة حرجة في التعلم المعزز داخل السياق (ICRL). بينما يسمح ICRL للوكلاء بالتكيف مع مهام جديدة خارج نطاق التوزيع (OOD) وقت الاختبار دون تحديث معاملات الشبكة العصبية (بالاعتماد بدلاً من ذلك على سياق متوسع من تاريخ التفاعل)، فإن سلامة عملية التكيف هذه تظل غير مستكشفة. في عمليات النشر في العالم الحقيقي (مثل الذكاء الاصطناំ المادي/Embodied AI)، يجب على الوكلاء ليس فقط تعظيم المكافآت، بل أيضاً الالتزام بقيود السلامة أثناء مراحل الاستكشاف والتكيف، وليس فقط في السياسة النهائية.

قام المؤلفون بصياغة هذا كـ ICRL آمن ضمن إطار عملية ماركوف المقيدة (CMDP). الهدف هو تدريب سياسة $\pi_\theta$ مسبقاً بحيث، عند نشرها على CMDP جديد وقت الاختبار:

يعظم الوكيل المكافأة التراكمية المتوقعة.
يظل التكلفة التراكمية المتوقعة $G_c(\tau_k)$ لكل حلقة اختبار $k$ أقل من ميزانية محددة من قبل المستخدم $\delta$ .
يتكيف الوكيل حصرياً من خلال السياق (تاريخ التفاعل) دون أي تحديثات للمعاملات ( $\theta$ تظل ثابتة).

يكمن التحدي في أن طرق ICRL الحالية تفتقر إلى آليات لدمج إشارات التكلفة، بينما تعتمد طرق Meta-RL الآمنة الموجودة على تحديثات المعاملات، مما يتعارض مع فرضية "عدم تحديث المعاملات" الخاصة بـ ICRL ويخاطر بالنسيان الكارثي.

2. المنهجية: SCARED

يقترح المؤلفون SCARED (التعلم السياقي التكيفي الآمن عبر العقوبة الدقيقة المزدوجة)، وهي أول طريقة مصممة للتكيف الآمن داخل السياق تحت إطار CMDP.

الآلية الجوهرية

يستخدم SCARED نهج التدريب المسبق المعزز عبر الإنترنت (Online Reinforcement Pretraining). بدلاً من تقطير خوارزميات RL الآمنة الموجودة (والذي يتطلب بيانات غير متصلة بالإنترنت ومحاكاة)، يقوم SCARED بتحسين الشبكة لتعظيم العوائد مع احترام قيود السلامة عبر توزيع من الـ CMDPs.

المكونات التقنية الرئيسية:

الاشتراط السياقي (Contextual Conditioning): تعتمد السياسة $\pi(\cdot | S_t, H_t, G_{c,t})$ على تاريخ التفاعل $H_t$ والتكلفة المتبقية للوصول (CTG)، والمعرفة بأنها الميزانية المتبقية للتكلفة في الحلقة الحالية ( $G_{c,t} = \delta - \sum_{i=1}^t C_i$ ). هذا يسمح للوكيل بتعديل سلوكه بناءً على مقدار ميزانية السلامة المتبقية.
التحسين المزدوج للعقوبة الدقيقة (Exact-Penalty Dual Optimization): لحل مشكلة التحسين المقيدة، يحول SCARED المشكلة الأولية إلى شكل مزدوج. وخلافاً لطرق لاغرانج القياسية التي تخصص مضاعفاً لكل حلقة (مما يؤدي إلى عدم الاستقرار وتحديثات غير متساوية)، يستخدم SCARED مضاعف لاغرانج واحداً $\lambda$ لجميع الحلقات.
هدف البديل المعدل (Modified Surrogate Objective): لمنع العقوبة المفرطة للحلقات التي تستوفي القيود بالفعل، قدم المؤلفون لاغرانج معدلاً باستخدام عامل الجزء الموجب $[x]_+ = \max\{x, 0\}$ :
$\mathcal{L}_\Sigma(\pi, \lambda) = \mathbb{E}_\pi \left[ \sum_{k=1}^K G(\tau_k) \right] - \lambda \sum_{k=1}^K [g_k(\pi)]_+$
حيث $g_k(\pi) = \mathbb{E}_\pi[G_c(\tau_k)] - \delta$ .
التحديثات التكرارية: تستخدم الطريقة بنية (Actor-Critic) (تم تنفيذها باستخدام DDPG في التجارب) مع تحديثات تكرارية للسياسة والمضاعف:
$\lambda_{t+1} = [\lambda_t + \eta \max_k g_k(\pi_{t+1})]_+$
يضمن مخطط التحديث هذا زيادة $\lambda$ فقط عندما تُنتهك القيود، مما يؤدي إلى استقرار التحسين.

الضمانات النظرية

تثبت الورقة أنه تحت افتراضات الانتظام القياسية (المحدودية، الاستمرارية، وفجوة الازدواج الصفري)، فإن النقاط الثابتة لمخطط تحسين SCARED تتوافق تماماً مع السياسات الممكنة المثلى للمشكلة المقيدة الأصلية. وهذا يضمن أن الطريقة تستوفي قيود السلامة مع تعظيم المكافآت.

3. الإعداد التجريبي والمعايير

لتقييم التعميم خارج نطاق التوزيع (OOD) بصرامة، قدم المؤلفون معايير تحدي تتجاوز مجرد الاستيفاء البسيط:

SafeDarkRoom & SafeDarkMujoco: بيئات (Grid-world) وتحكم مستمر حيث يتم توزيع العوائق والأهداف باتجاه المركز أثناء التدريب المسبق، وباتجاه الحافة أثناء الاختبار. وهذا يخلق تحولاً توزيعياً كبيراً (تم إثباته عبر مسافة التباين الكلي وKL Divergence) يتطلب قدرة حقيقية على الاستقراء (Extrapolation).
SafeVelocity: معيار بأسلوب Meta-RL حيث يتم حجب السرعات المستهدفة أثناء التدريب وتقييمها في وقت الاختبار.

النماذج المرجعية (Baselines):

تقطير الخوارزمية الآمنة (Safe AD): نموذج ICRL قوي يقوم بمحاكاة مسارات RL الآمنة غير المتصلة بالإنترنت باستخدام Transformer، مشروطاً بـ (Return-To-Go (RTG و (Cost-To-Go (CTG.
Safe Meta-RL: يتضمن MAML مع عقوبة و SafeMeta، واللذان يتكيفان عبر تحديثات المعاملات أثناء التقييم.

4. النتائج الرئيسية

عبر جميع المعايير، أظهر SCARED أداءً متفوقاً في التكيف الآمن داخل السياق:

التعلم الآمن الناشئ: يحسن SCARED باستمرار المكافأة التراكمية ويقلل تكلفة الحلقة مع نمو تاريخ التفاعل (السياق). إنه يتفوق على جميع النماذج المرجعية في إعدادات OOD.
- أظهر Safe AD أداءً تنافسياً في البيئات الأبسط (SafeDarkRoom) ولكنه يتدهور في المجالات المستمرة المعقدة (SafeDarkMujoco, SafeVelocity)، فاشلاً في تقليل التكاليف بفعالية.
- تفشل طرق Safe Meta-RL في تحقيق سلوكيات تعلم آمنة رغم تحديثات المعاملات، مما يشير إلى أن تكيف المعاملات وحده غير كافٍ بدون تاريخات التفاعل عبر الحلقات.
التكيف المشروط بالميزانية: يتفاعل SCASEC بنشاط مع ميزانية السلامة (CTG).
- تثير أهداف CTG الأعلى استكشافاً أكثر عدوانية وعوائد أعلى.
- تثير أهداف CTG الأدنى سلوكاً متحفظاً يركز على السلامة.
- تفشل النماذج المرجعية (Safe AD و Meta-RL) في إظاء هذا السلوك المتسق مع تعديل الميزانية؛ فأداؤها لا يتناسب بشكل مناسب مع ميزانيات التكلفة المتغيرة.
رؤى التحليل الاستئصالي (Ablation Insights):
- طول السياق: يستفيد SCARED من تسلسلات السياق الأطول، بينما يتدهور أداء Safe AD مع السياقات الأطول. هذا يشير إلى أن التعلم عبر الإنترنت يتعامل مع تخصيص الائتمان طويل الأمد بشكل أفضل من التقطير غير المتصل بالإنترنت في هذا الإعداد.
- حجم النموذج: SCARED قوي تجاه تغيرات حجم النموذج، بينما يعد Safe AD حساساً للغاية.
- حجم مجموعة البيانات: Safe AD حساس جداً لحجم مجموعة البيانات، حيث يفشل في التعلم على مهام OOD ذات البيانات المحدودة، بينما يتعلم SCARED مباشرة من التفاعل مع البيئة.

5. الأهمية والادعاءات

تدعي الورقة أنها أول عمل يدرس ويحل مسألة سلامة ICRL. وتتمثل مساهماتها الرئيسية في:

صياغة المشكلة: صياغة Safe ICL كمسألة CMDP حيث يحدث التكيف دون تحديث المعاملات.
المنهجية: تقديم SCARED، الذي يمكّن الوكلاء من موازنة المكافأة وقيود السلامة حصرياً من خلال التعلم داخل السياق، باستخدام نهج مزدوج للعقوبة الدقيقة للتعامل مع القيود باستقرار.
المعايير: توفير معايير OOD صارمة تختبر قدرات الاستقراء بدلاً من مجرد الاستيفاء.
الأثر العملي: تعالج الورقة عائقاً حرجاً أمام النشر الفعلي لـ ICRL (مثل الروبوتات)، حيث يكون إعادة التدريب غير عملي والاستكشاف غير الآمن أثناء التكيف أمراً غير مقبول.

يحافظ المؤلفون على نبرة متواضعة، مع الإقرار بأنه بينما يلبي SCARE قيود CMDP، فإنه لا يلغي المخاطر في البيئات ذات المخاطر غير المنمذجة أو الظروف العدائية، ويجب أن يُستكمل بالإشراف البشري.