🤖 machine learning

TRAM: Test-Time Risk Adaptation with Mixture of Agents

تقترح هذه الورقة البحثية طريقة TRAM، وهي طريقة للتكيف في وقت الاختبار دون الحاجة لتحديثات، تقوم بتركيب مكتبة ثابتة من السياسات المحايدة للمخاطر ديناميكيًا لتكوين وكيل مدرك للمخاطر عبر تقييم وخلطها بناءً على مكافأة الهدف وقيود المخاطر القائمة على الإشغال، مما يضمن السلامة والمواءمة دون الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Mohamad Fares El Hajj Chehade, Amrit Singh Bedi, Amy Zhang, Hao Zhu

نُشر 2026-05-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mohamad Fares El Hajj Chehade, Amrit Singh Bedi, Amy Zhang, Hao Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء فريق من السائقين الخبراء. خلال تدريبهم، علمتهم كيفية القيادة بكفاءة للوصول إلى وجهات مختلفة. لم تعلمهم أن يكونوا "حذرين" أو "متهورين" بشكل محدد؛ بل علمتهم فقط كيفية القيادة بشكل جيد. هؤلاء هم سياسات المصدر (Source Policies) الخاصة بك.

الآن، تخيل أنك أرسلت هؤلاء السائقين إلى مدينة جديدة. فجأة، تغيرت القواعد:

ربما هناك منطقة أعمال إنشائية جديدة (خطر) يتعين عليهم تجنبها.
ربما تقول بلدية المدينة: "لا تقودوا بسرعة تزيد عن 20 ميلاً في الساعة بالقرب من المدارس" (عتبة المخاطر).
ربما يقول مدير جديد: "قد تماماً مثل تلك السيارة المملة والآمنة التي هناك" (مرجع سلوكي).

عادةً، إذا تغيرت القواعد، يتعين عليك إرسال جميع سائقيك للعودة إلى مدرسة تعليم القيادة ليعيدوا تعلم كل شيء. وهذا يستغرق وقتاً، ومالاً، وقدرة حوسبية.

TRAM (التكيف مع المخاطر في وقت الاختبار عبر خليط من الوكلاء) هو طريقة جديدة للتعامل مع هذا الأمر دون الحاجة لإرسال أي شخص للعودة إلى المدرسة.

الفكرة الجوهرية: "الموزع الذكي"

بدلاً من إعادة تدريب السائقين، يعمل TRAM كـ موزع فائق الذكاء في لحظة النشر.

المكتبة: تحتفظ بسائقي الأصليين (سياسات المصدر) كما هم تماماً. إنهم "محايدون تجاه المخاطر"، مما يعني أنهم يعرفون كيفية القيادة لكن لم يُجبروا على أن يكونوا حذرين للغاية أو عدوانيين للغاية. هذا يحافظ على مهاراتهم متنوعة ومفيدة.
كتاب القواعد الجديد: عندما تصل إلى المدينة الجديدة، تحدد قواعد السلامة الجديدة ("المخاطر").
بطاقة التقييم: عند كل تقاطع (كل نقطة اتخاذ قرار)، ينظر الموزع إلى جميع السائقين المتاحين ويسأل:
- "ما مدى سرعة وصول السائق (أ) بنا إلى الهدف؟"
- "ما مقدار المخاطرة التي يتخذها السائق (أ) مع منطقة الإنشاءات الجديدة؟"
- "ما مقدار المخاطرة التي يتخذها السائق (ب)؟"
المسار المنسوج: يختار الموزع أفضل سائق لهذه اللحظة تحديداً.
- إذا كان الطريق خالياً، فقد يختار أسرع سائق.
- إذا ظهر خطر ما، فإنه ينتقل فوراً إلى السائق الذي يعرف كيفية التنقل في ذلك الخطر المحدد بأمان.
- إذا عاد الطريق آمناً مرة أخرى، فإنه يعود إلى السائق السريع.

النتيجة هي سياسة منسوجة (Stitched Policy): رحلة واحدة تتم عبر التبديل بين مختلف السائقين الخبراء أثناء الحركة، مما يخلق مساراً يتسم بالكفاءة والأمان في آن واحد، وكل ذلك دون تغيير سطر واحد من الكود في عقول السائقين.

لماذا لا يتم التدريب على السلامة منذ البداية؟

تجادل الورقة البحثية بأن تدريب السائقين ليكونوا "آمنين" في وقت مبكر جداً هو فكرة سيئة.

مشكلة "الإفراط في الحذر": إذا دربت سائقاً لتجنب "التباين" (Uncertainty)، فقد يصبح خائفاً من أي نتوء في الطريق لدرجة أنه قد لا يغادر المرآب أبداً. سيفقد قدرته على اتخاذ المخاطر الضرورية لإنجاز المهام.
مشكلة "النوع الخاطئ من الأمان": السائق المدرب على تجنب "التباين" قد لا يفهم أن القيادة عبر منطقة حمراء معينة هي أمر خطير. قد يفكر: "أنا أقود بسلاسة شديدة، لذا أنا آمن"، حتى لو كان يقود مباشرة نحو جدار.

يحل TRAM هذه المشكلة من خلال الحفاظ على السائقين متنوعين ومرنين أثناء التدريب، وتطبيق "فلتر السلامة" المحدد فقط عند بدء المهمة الفعلية.

كيف يعمل الأمر (المثال التشبيهبي)

فكر في السائقين كأنهم آلات موسيقية مختلفة في أوركسترا.

التدريب: تعلم الكمان والطبول والمزمار كيفية عزف نوتاتهم بشكل مثالي. أنت لا تخبرهم بعد بأن يعزفوا "بحزن" أو "بصوت عالٍ".
النشر: تدخل قاعة الحفلات وتقول: "اليوم، نحتاج إلى أغنية حزينة وهادئة".
دور TRAM: بدلاً من إعادة تعليم الآلات، يقرر المايسترو (TRAM) فوراً: "يجب أن تعزف الفلوت اللحن، لكن الطبول يجب أن تعزف بهدوء شديد، والكمان يجب أن يحافظ على نغمة منخفضة".
النتيجة: تتغير الموسيقى فوراً لتناسب الحالة المزاجية دون أن يحتاج الموسيقيون لإعادة تعلم آلاتهم.

ما تثبته الورقة البحثية فعلياً

اختبر المؤلفون هذه الفكرة بعدة طرق:

عوالم الشبكة (Gridworlds): ألعاب متاهة بسيطة حيث أضافوا "مناطق خطر" جديدة بعد تدريب الوكلاء. نجح TRAM في تجنبها بينما فشلت الطرق الأخرى.
الروبوتات (Reacher & Safety-Gymnasium): التحكم في أذرع روبوتية. عندما ظهرت دائرة "منطقة محظورة" جديدة على الشاشة، قام TRAM بتعديل حركات الروبوت لتجنبها، بينما إما اصطدمت الطرق الأخرى أو كانت بطيئة جداً.
النماذج اللغوية الكبيرة (LLMs): استخدموا هذا لتعديل روبوتات الدردشة بالذكاء الاصطناعي. إذا كان روبوت الدردشة يولد إجابات "عالية المخاطر" أو غير متوافقة مع معايير السلامة، يمكن لـ TRAM تبديل استراتيجية التوليد إلى استراتيجية أكثر أماناً، دون إعادة تدريب نماذج الذكاء الاصطناي الضخمة.

العقبة (القيود)

الورقة البحثية صريحة بشأن ما ليس عليه TRAM:

إنه ليس عصا سحرية تحل كل مشاكل السلامة الممكنة بشكل مثالي.
يعتمد على امتلاك "مكتبة" جيدة من السائقين (سياسات المصدر) منذ البداية. إذا كان جميع سائقيك سيئين، فلن يستطيع الموزع جعلهم جيدين.
إنه "طريقة بديلة" (Surrogate method). إنه تقريب جيد جداً يقوم بدمج السلوكيات الموجودة، لكنه لا يضمن رياضياً حلاً مثالياً لكل سيناريو مستقبلي ممكن. ومع ذلك، فإنه يوفر طريقة قابلة للقياس لمعرفة مدى قربه من الحل المثالي.

الملخص

TRAM هو أسلوب يسم لك أخذ مكتبة من وكلاء الذكاء الاصطناعي المدربين مسبقاً والمرنين، وتكييفهم فوراً مع قواعد السلامة الجديدة في لحظة الاستخدام. يفعل ذلك من خلال العمل كلوحة تحكم ذكية، تختار أفضل سلوك موجود للموقف الحالي، بدلاً من إجبار الوكلاء على العودة إلى المدرسة وإعادة تعلم كل شيء. الأمر يتعلق بـ التكيف أثناء العمل بدلاً من إعادة التدريب من الصفر.

ملخص تقني: TRAM (التكيف مع المخاطر عبر خلط الوكلاء في وقت الاختبار)

1. صياغة المشكلة

تعالج الورقة فجوة حرجة في نشر التعلم المعزز (RL): غالبًا ما تتغير مواصفات السلامة بعد التدريب. قد يتم تدريب وكيل على مجموعة من المهام المصدرية، ولكن يتم نشره في بيئة ذات خرائط مخاطر جديدة، أو عتبات مخاطر معدلة، أو قيود توافق سلوكي مختلفة (مثل سلوك مرجعي جديد).

تعتمد طرق التعلم المعزز الحالية الحساسة للمخاطر عادةً على تثبيت نموذج المخاطر (مثل التباين، أو القيمة المتوقعة المشروطة عند مستوى معين CVaR، أو قيد محدد) خلال مرحلة التدريب. هذا النهج يتسم بالهشاشة لأن:

التخصص المفرط: التدريب باستخدام وسيط مخاطر محدد (مثل تباين العائد) يمكن أن يؤدي إلى انهيار تنوع السياسات المصدرية، مما يلغي السلوكيات التي قد تكون آمنة بموجب مواصفات مخاطر مختلفة ومستقبلية.
التمثيل غير الكافي للمخاطر: تفشل المخاطر القائمة على التباين في التقاط المخاطر المكانية (مثل القرب من حاجز)، أو الانحراف السلوكي عن مرجع ما، أو التقلبات المحلية، خاصة في البيئات الحتمية حيث يكون تباين عائد المسار صفرًا.
تكاليف إعادة التدريب: يتطلب التكيف مع مواصفة مخاطر جديدة عادةً إعادة تدريب أو ضبط دقيق (fine-tuning)، وهو أمر مكلف حاسوبيًا وغالبًا ما يكون غير ممكن بمجرد نشر النموذج.

تصيغ الورقة المشكلة كـ تكيّف عند النشر بدون تحديث (zero-update deployment-time adaptation). الهدف هو إعادة استخدام مكتبة ثابتة من السياسات المصدرية المحايدة للمخاطر $\{\pi_j\}$ لتلبية دالة مخاطر $\rho(\pi)$ محددة حديثًا في وقت الاختبار دون تعديل أي من معاملات المصدر. الهدف هو تعظيم العائد المتوقع $J(\pi)$ مع مراعاة قيد المخاطر $\rho(\pi) \le \delta$ ، ويتم تقريبه عبر بديل مُعاقب:
$\max_{\pi} \tilde{J}_c(\pi) = J(\pi) - c \rho(\pi)$

2. المنهجية: TRAM

تقوم طريقة TRAM المقترحة بفصل تدريب المصدر عن مواصفات المخاطر. وهي تعمل في مرحلتين:

المرحلة 1: تدريب المصدر المحايد للمخاطر
يتم تدريب السياسات المصدرية على مهام مصدرية ذات صلة باستخدام أهداف معيارية محايدة للمخاطر. هذا يحافظ على "غلاف سلوكي" متنوع، مما يضمن أن المكتبة تحتوي على نطاق واسع من توزيعات الإشغال (أنماط زيارة الحالة-الفعل) التي يمكن إعادة دمجها لاحقًا.

المرحلة 2: تسجيل المصدر والتركيب في وقت الاختبار
عند النشر، لا تقوم TRAM بإعادة التدريب. بدلاً من ذلك، تقوم ببناء سياسة منشورة $\pi_T$ عن طريق اختيار الأفعال من مكتبة المصدر بناءً على قاعدة تركيب مسجلة للمصدر (source-scored composition rule).

تقييم المخاطر: لكل سياسة مصدر $\pi_j$ $π_{j}$ ، تقوم TRAM بحساب درجة مخاطر عالمية مخزنة تعتمد على الإشغال $\rho(d_{\pi_j})$ $ρ (d_{π_{j}})$ . وهذا يسمح بوظائف مخاطر مرنة معرفة عبر إشغالات الحالة-الفعل المخصومة $d_\pi$ $d_{π}$ ، مثل:
- التعرض للحواجز: الوقت المستغرق بالقرب من منطقة خطر.
- الانحراف السلوكي: تباعد KL عن سلوك مرجعي آمن.
- التقلب المحلي: التقلبات لكل خطوة في الإشغال.
تقدير القيمة: يتم تقدير قيمة المهمة المستهدفة $Q^{\pi_j}_T(s, a)$ لكل مصدر عند الحالة الحالية $s$ . يمكن القيام بذلك بكفاءة باستخدام الميزات اللاحقة (Successive Features - SFs) عبر حاصل ضرب نقطي $Q^{\pi_j}_T(s, a) = \psi_{\pi_j}(s, a)^\top w_T$ ، أو عبر عمليات المحاكاة (rollouts)/النقاد (critics).
اختيار الفعل: يتم اختيار الفعل المنشور عن طريق تعظيم درجة المصدر المعدلة بالمخاطر:
$S_j(s, a) = Q^{\pi_j}_T(s, a) - c \rho(d_{\pi_j})$
$\pi_T(a|s) \in \arg\max_{b \in A} \max_{j \in [n]} S_j(s, b)$
يمكن أن يتغير المصدر النشط على طول المسار، مما يخلق سياسة "مخيطة محليًا" (locally stitched) تستجيب للحالة الحالية ومواصفات المخاطر المحددة.

الضمانات النظرية:
تؤطر الورقة TRAM صراحةً كـ بديل مسجل للمصدر قابل للتتبع (tractable source-scored surrogate)، وليس كمحسن دقيق لمشكلة التحكم في الإشغال الكاملة للسياسة المخيطة.

الحدود المحلية: يوفر التحليل النظري (النظرية 4.1) حدودًا على عدم المثالية لسياسة TRAM بالنسبة للسياسة المحايدة للمخاطر المثلى. يعتمد الحد على عدم التطابق في المكافأة المحلية بين الهدف وأفضل مصدر مطابق، بالإضافة إلى حد يتناسب مع وزن عقوبة المخاطر $c$ وثابت ليبشيتز لدالة المخاطر.
عدم تطابق غلاف المصدر: تقر الورقة بأن الإشغال الفعلي للسياسة المخيطة قد يختلف عن الغلاف المحدب لإشغالات المصدر. يقدم الملحق C مصطلح "عدم تطابق الخياطة" ( $\epsilon_{stitch}$ ) الذي يجسّر الفجوة بين مخاطر المصدر المخزنة والمخاطر الفعلية للسياسة المنشورة.

3. المساهمات الرئيسية

صياغة التكيف بدون تحديث عند النشر: تصيغ الورقة إطار التكيف لسياسات المصدر الثابتة لمواجهة مخاطر الإشغال المحددة حديثًا دون تحديث المعاملات.
خوارزمية TRAM: تقديم قاعدة تركيب مسجلة للمصدر تدعم أنواعًا متنوعة من المخاطر (الحواجز، التباعد، التقلبات) في وقت الاختبار، على عكس الطرق المرتبطة ببدائل ثابتة مثل التباين.
الأسس النظرية:
- إثبات أن تدريب المصدر المحايد للمخاطر يقلل من الندم في أسوأ حالات مخاطر النشر (النظرية 4.3)، مما يحافظ على أوسع غلاف إشغال قابل لإعادة الاستخدام.
- ضمانات نقل محلية تفصل جودة نقل المكافأة عن عقوبة مخاطر النشر.
- تحليل "عدم تطابق الخياطة" بين مخاطر المصدر المخزنة ومخاطر السياسة الفعلية.
التحقق التجريبي: عرض النتائج عبر أربعة مجالات متميزة:
- عوالم الشبكة (Gridworlds): التحقق من نمذجة المخاطر التعبيرية (المخاطر المكانية، التقلبات لكل خطوة) حيث تفشل الأساليب القائمة على التباين.
- MuJoCo Reacher: تقليل انتهاكات الحواجز في التحكم المستمر مع الحفاظ على أداء الهدف.
- Safety-Gymnasium: تحقيق احتمالات أقل لارتطام الحواجز مقارنة بالنماذج المجمدة والأساليب المرجعية القائمة على التباين.
- محاذاة النماذج اللغوية الكبيرة (LLM Alignment): تكييف نماذج لغوية ثابتة بحجم 7B مع قيود مخاطر سلوكية جديدة (KL تجاه مرجع آمن) دون ضبط دقيق، مما يظهر تحسنًا في المحاذاة مقارنة بالتعظيم الصرف للمكافأة.

4. النتائج

تظهر التجارب أن TRAM يحسن باستمرار سلامة النشر (تقليل التعرض للخطر أو ارطدام الحواجز) مع الحفاظ على أداء المكافأة، دون الحاجة إلى إعادة التدريب.

في عوالم الشبكة، نجحت TRAM في تجنب المخاطر المكانية والتكيف مع ظروف المخاطر المتغيرة، بينما ظلت الأساليب المرجعية (مثل RaSF) محافظة بشكل موحد أو فشلت في اكتشاف المخاطر المكانية.
في Reacher، قللت TRAM معدلات الفشل من 85% إلى 26% عند إدخال حاجز جديد بعد التدريب، مع تأثير ضئيل على المسافة إلى الهدف.
في Safety-Gymnasium، حققت TRAM أدنى احتمال لارتطام الحاجز (0.209 مقابل 0.502 للأساليب المرجعية) وCVaR معياري تنافسي.
في محاذاة LLM، أنتجت TRAM استجابات فضلتها مقارنات GPT-4 الزوجية على سياسات النقل الخالية من المخاطر، مما يثبت أن الطريقة يمكنها منع الإفراط في تحسين نموذج المكافأة في الفضاءات النصية عالية الأبعاد.

5. الأهمية والادعاءات

تدعي الورقة أن TRAM توفر طبقة نشر نمطية (modular deployment layer) لأنظمة التعلم المعزز. تكمن أهميتها الأساسية في نقل قرار المخاطر من مرحلة التدريب إلى مرحلة النشر.

النمطية: تسم ت للمشغلين تحديد متطلبات السلامة (خرائط المخاطر، المراجع السلوكية) بعد تعلم السلوكيات المصدرية بالفعل.
الكفاءة: تتجنب التكلفة الحسابية لإعادة التدريب أو حل مشكلات MDP المقيدة الجديدة عند وقت الاختبار، معتمدة بدلاً من ذلك على تسجيل المصدر السريع.
الأمانة بشأن النطاق: يتسم المؤلفون بالتواضع في ادعاءاتهم، حيث يذكرون صراحة أن TRAM هي طريقة بديلة (surrogate). فهي لا تدعي حل مشكلة التحكم في الإشغال الكاملة للسياسة المخيطة بدقة، بل توفر حداً قابلاً للقياس للفجوة بين تقريب غلاف المصدر والمخاطر الفعلية، مما يجعلها وسيلة عملية للسيناريوهات التي تكون فيها مواصفات المخاطر ديناميكية وإعادة التدريب محظورة.

يشير العمل إلى أنه بالنسبة للعديد من سيناريوهات النشر (الروبوتات، الملاحة، النماذج اللغوية الكبيرة)، فإن الحفاظ على مكتبة متنوعة ومحايدة للمخاطر من السلوكيات وتكوينها عبر تسجيل وقت الاختبار هو استراتيجية أكثر قوة من تدريب سياسات متخصصة واعية بالمخاطر لكل قيد مستقبلي محتمل.