ملخص تقني: من الرفض إلى التعافي: نهج قائم على نظرية التحكم لحواجز الحماية في الذكاء الاصطناي التوليدي

بيان المشكلة

تعتمد حواجز الحماية الحالية للنماذج التوليدية، وخاصة وكلاء النماذج اللغوية الكبيرة (LLM)، بشكل أساسي على تصنيف المخرجات بناءً على مجموعات بيانات مصنفة ومعايير محددة بشرياً. هذه الآليات القائمة على "الوسم والحظر" (flag-and-block) تتسم بالهشاشة أمام المواقف الخطرة المستحدثة وتفتقر إلى مسار للتعافي. فعند اكتشاف حالة غير آمنة، يكون الرد القياسي هو الرفض (حظر المخرج). ومع ذلك، في البيئات الوكيلية (agentic settings) حيث يتفاعل وكيل الذكاء الاصطناعي مع العالم المادي أو البيئات الرقمية المعقدة (مثل القيادة الذاتية، أو التجارة الإلكترونية)، يمكن أن يكون الرفض في حد ذاته خطيراً. فعلى سبيل المثال، قد يؤدي رفض وكيل الذكاء الاصطنا الاصطناعي لتوجيه سيارة ذاتية القيادة وهي تقترب من عائق بسرعة عالية إلى وقوع حادث بسبب عدم اتخاذ إجراء.

يجادل المؤلفون بأن سلامة الذكاء الاصطناعي التوليدي هي في الأساس مسألة اتخاذ قرار متسلسل. فالنتائج الضارة لا تنشأ من مخرجات نصية معزولة، بل من التفاعلات المتطورة بين وكيل الذكاء الاصطناي وبيئته وتبعاتها اللاحقة (مثل الخسارة المالية، أو الاصطدام المادي). تفشل حواجز الحماية الحالية في مراعاة هذه العواقب طويلة المدى ومتعددة الخطوات، حيث تعتمد غالباً على وسائط نصية أو تسميات محاكاة أحادية الخطوة لا تلتقط الحالة الحقيقية للعالم.

المنهجية

يقترح الورقة البحثية نهجاً قائماً على نظرية التحكم لسلامة الذكاء الاصطناعي، حيث يتم صياغة حواجز الحماية كـ مرشحات سلامة تنبؤية تعمل ضمن التمثيل الكامن (القائم على النص) للوكيل في العالم.

1. الصياغة كمسألة اتخاذ قرار متسلسل

يصيغ المؤلفون التفاعل بين وكيل LLM وبيئته كـ عملية ماركوف لاتخاذ القرار تحت الملاحظة الجزئية (POMDP):

• الحالة ($s$): حالة العالم الحقيقية (مثل الهندسة الفيزيائية، أو الرصيد البنكي).
• الإجراء ($a_{AI}$): مخرج الوكيل، ويمثله تسلسل من الرموز (tokens).
• الملاحظة ($o_{AI}$): رؤية الوكيل النصية للعالم (مثل HTML، أو أوصاف المشهد).
• هامش الفشل ($\ell_F$): دالة تشفر المسافة إلى مجموعة الفشل $\mathcal{F}$ (مثل الاصطدام، أو الإفلاس) في فضاء النتائج، وليس في فضاء الرموز.

الهدف هو تحديد المجموعة الكامنة القصوى الآمنة ($\Omega^*$)، وهي مجموعة الحالات الكامنة التي يوجد منها سياسة (policy) لتجنب الفشل إلى أجل غير مسمى. ويتم توصيف ذلك من خلال دالة قيمة السلامة ($V^\star$)، والتي تمثل أفضل هامش سلامة يمكن للوكيل تحقيقه من حالة معينة.

2. حواجز الحماية التنبؤية كمرشحات سلامة

يعمل حاجز الحماية المقترح، والذي يسمى ReGuard، كـ "توبل" (tuple) مرشح سلامة $(\pi_{\text{rec}}, \Delta, \phi)$:

• مراقب السلامة ($\Delta$): آلية تنبؤية تقيم ما إذا كان الإجراء المرشح سيؤدي إلى انتهاك مستقبلي للسلامة. وهي مشتقة من دالة قيمة السلامة $Q^\star$.
• سياسة الاحتياط ($\pi_{\text{rec}}$): سياسة تصحيحية تملي إجراءً بديلاً آمناً عندما يكتشف المراقب إجراءً غير آمن.
• مخطط التدخل ($\phi$): الآلية التي تبدل بين سياسة الوكيل الأساسي وسياسة الاحتياط.

الأهم من ذلك أن هذا الإطار يعمل في الفضاء الكامن للنموذج اللغوي الكبير، مما يجعله مستقلاً عن النموذج (model-agnostic). فهو لا يتطلب الوصول إلى أوزان النموذج الأساسي أو بيانات تدريبه، مما يسمح باستخدام نفس حاجز الحماية حول نماذج LLM مختلفة.

3. التدريب عبر التعلم التعزيزي المرتكز على السلامة

لحساب حواجز الحماية هذه على نطاق واسع، يقترح المؤلفون إطار عمل لـ التعلم التعزيزي (RL) المرتكز على السلامة باستخدام شبكات Q العميقة المزدوجة (DDQN):

• الهدف: يتم تدريب النموذج لتوليد الرموز مباشرة من دالة Q المرتكزة على السلامة لتعظيم هدف السلامة.
• التدريب مقابل الاستدلال:
  • التدريب: يولد النموذج الرموز مباشرة من دالة Q المرتكزة على السلامة لتعظيم هدف السلامة.
  • الاستدلال: يقوم النظام بدمج قيم الـ (logits) للنموذج الأساسي (لضمان التماسك) مع قيم Q المتعلمة للسلامة (لضمان السلامة). وهذا يضمن توليد الوكيل لنصوص متنوعة ومتماسكة مع الالتزام بقيود السلامة.
• الوعي بالتبعات: تُشتق إشارة المكافأة من النتائج النهائية (مثل الاصطدام الفعلي أو تجاوز الميزانية) بدلاً من التصنيف النصي الفوري، مما يمكّن حاجز الحماية من تعلم استراتيجيات سلامة طويلة الأمد.

المساهمات الرئيسية

1. الصياغة: يصيغ البحث سلامة الذكاء الاصطناعي التوليدي كمسألة اتخاذ قرار متسلسل ويقدم حواجز الحماية التنبؤية كتعميم لمرشحات السلامة القائمة على نظرية التحكم لنماذج LLM.
2. وصفة تدريب قابلة للتوسع: يقترح طريقة عملية لتدريب حواجز حماية LLM عبر التعلم التعزيزي المرتكز على السلامة، مما ينتج آلية سلامة واحدة يمكن نشرها عبر وكلاء LLM متعددين دون الحاجة لإعادة التدريب.
3. التحقق التجريبي: من خلال التجارب في محاكاة القيادة الذاتية، والتجارة الوكيلية، ومساعدة السائق بالذكاء الاصطناعي، يوضح المؤلفون أن حواجذ الحماية الواعية بالتبعات تتفوق على النماذج المرجعية "الوسم والحظر" في كل من إنفاذ السلامة وأداء المهام.

النتائج التجريبية

قيم المؤلفون ReGuard في ثلاثة مجالات:

1. القيادة الوكيلية (Agentic Driving)

• الإعداد: يتحكم وكيل LLM في مركبة مسطحة للملاحة بين العوائق.
• النتائج: حقق ReGuard نسبة نجاح 77.3% ونسبة فشل 18.8%، متفوقاً بشكل كبير على النماذج المرجعية ذات المحاولة الصفرية (مثل GPT-4o: نسبة نجاح 31.7%، وفشل 68.2%) والنماذج المحدودة الرؤية (myopic baselines).
• النتيجة الرئيسية: كان مراقب ReGuard أكثر دقة (قيمة F1: 0.99) وأقل تحفظاً من النماذج المرجعية، حيث حدد بشكل صحيح حالات عدم الأمان القابلة للتعافي التي فاتتها النماذج الأخرى.

2. التجارة الوكيلية (Agentic Commerce)

• الإعداد: يدير وكيل LLM عربة تسوق للبقاء تحت ميزانية قدرها 50 دولاراً.
• النتائج: حقق ReGuard نسبة نجاح 87.5%، مساوياً لأداء GPT-4o ومتفوقاً بشكل كبير على نماذج Llama الأصغر (62.5%).
• النتيجة الرئيسية: نجح ReGuard في تعلم كيفية إزالة عناصر محددة عالية التكلفة للبقاء ضمن الميزانية، بينما كانت النماذج الأساسية غالباً ما تزيل العناصر دون النظر في الإجمالي النهائي، مما يؤدي إلى انتهاكات الميزانية.

3. سائق الذكاء الاصطناعي في المقعد الخلفي (Backseat AI Driver)

• الإعداد: يعمل وكيل LLM كمستشار لإنسان (يتم محاكاته بواسطة LLM آخر) يتحكم في سيارة. يجب على الوكيل تقديم نصائح نصية لضمان السلامة.
• النتائج: عندما عمل كدرع، حسن ReGuard نسبة النجاح من 44.9% إلى 64.2% لشخصية "لا أحد" (none)، ومن 26.4% إلى 41.6% لشخصية "عاجل" (urgent).
• النتيجة الرئيسية: تعلم ReGuard توليد نصائح تعافي سياقية (مثل التأكيد على الاستعجال لشخص بشري متشكك) بدلاً من مجرد رفض العمل.

الأهمية والادعاءات

يزعم البحث أن حواجز الحماية القائمة على نظرية التحكم تقدم بديلاً مبدئياً وديناميكياً لنماذج "الوسم والحظر" الاستاتيكية المهيمنة حالياً في سلامة الذكاء الاصطناعي. ومن خلال نقل التركيز من حظر النص غير الآمن إلى التنبؤ بالمسارات غير الآمنة وتصحيحها، فإن النهج المقترح:

• يُمكّن التعافي: يوفر مساراً للسلامة حتى عندما يدخل الوكيل بالفعل في حالة خطرة، بدلاً من فرض الرفض الذي قد يكون غير ممكن أو خطيراً.
• يحافظ على الأداء: على عكس الأنظمة القائمة على الرفض التي غالباً ما تضعف أداء المهام، يحافظ ReGuard على معدلات نجاح عالية للمهام مع ضمان السلامة.
• يتعمم: الطبيعة المستقلة عن النموذج لحاجز الحماية تسمح بتطبيقه على بنيات LLM ومهام متنوعة دون إعادة تدريب النموذج الأساسي.

يخلص المؤلفون إلى أنه بينما يعتمد نهجهم على الوصول إلى المحاكيات للتدريب (وهو قيد حالي)، فإنه يؤسس لإطار عمل جديد لسلامة الذكاء الاصطناعي يعامل السلامة كخاصية مستمرة وقابلة للتعافي في اتخاذ القرار المتسلسل، بدلاً من كونها تصنيفاً ثنائياً لمخرجات النص.