RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards
تقدم الورقة البحثية RePolicy، وهو وكيل حماية قائم على التعلم التعزيزي يستدعي ديناميكياً سياسات سلامة محددة السياق لإنشاء أحكام سلامة مستندة إلى أسس واقعية، مما يظهر قدرة فائقة على التكيف وأداءً في الكشف عبر معايير متنوعة مقارنة بطرق التلقين والضبط الدقيق الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، ظهر جيل جديد من الأنظمة التي تفعل ما هو أكثر من مجرد الإجابة على الأسئلة أو كتابة النصوص. هذه هي الوكلاء المستقلون (autonomous agents)، وهي كيانات رقمية قادرة على تخطيط مهام معقدة، واستخدام أدوات برمجية، والتفاعل مع العالم الخارجي لتحقيق أهداف محددة. تخيل مساعداً شخصياً لا يمكنه فقط حجز رحلة طيران، بل يمكنه أيضاً تصفح موقع إلكتروني، وتعبئة النماذج، وإدارة تقويم دون توجيه بشري مستمر. ومع ازدياد قدرة هؤلاء الوكلاء، ترتفع معها مخاطر سلامتهم. لم يعد الخطر مقتصرًا على جملة واحدة غير لائقة؛ بل يتعلق بتسلسل من الأفعال التي قد تبدو غير ضارة في عزلتها، ولكنها قد تؤدي إلى نتيجة ضارة عندما تُجمع معاً. إن ضمان تصرف هؤلاء الوكلاء بأمان يتطلب نظاماً يمكنه مراقبة رحلتهم بأكملها، وفهم قواعد الطريق، والتدخل قبل أن يتحول الخطأ إلى كارثة.
لسنوات، اعتمد النهج القياسي للحفاظ على سلامة هؤلاء الوكلاء على قواعد ثابتة أو مطالبات بسيطة. كان المطورون يبرمجون نظام السلامة بقائمة ثابتة من السلوكيات المحظورة أو يطلبون من النموذج مراجعة عمله مقابل مجموعة عامة من الإرشادات. ومع ذلك، فإن العالم الحقيقي معقد للغاية بحيث لا يمكن لقائمة واحدة متغيرة من القواعد تغطية كل موقف. فالمهمة التي تعتبر آمنة في سياق معين قد تكون خطيرة في سياق آخر، اعتماداً على من يسأل، وما هي الأدوات المتاحة، أو أي قوانين تسري. علاوة على على ذلك، فإن سياسات السلامة نفسها تتغير بمرور الوقت. والاعتماد على نموذج يحفظ ببساطة مجموعة ثابتة من القواعد غالباً ما يجعله مرتبكاً عندما يواجه سيناريو جديداً أو مزيجاً من القواعد التي لم يسبق له رؤيتها. الأمر يشبه محاولة التنقل في مدينة باستخدام خريطة تظهر فقط الشوارع التي زرتها بالفعل؛ فعندما تنعطف في شارع جديد، لا تقدم لك الخريطة أي مساعدة.
ولحل هذه المشكلة، طور الباحثون طريقة جديدة تسمى RePolicy. فبدلاً من معاملة قواعد السلامة كقائمة نصية سلبية تُقرأ، يعامل هذا النظام القواعد كأدوات نشطة يجب على مدقق السلامة اختيارها واستخدامها. الفكرة الجوهرية هي تعليم نظام السلامة كيفية النظر في موقف معين، ومسح مكتبة من القواعد المتاحة، واختيار القاعدة التي تنطبق فعلياً. وبمجرد اختيار القاعدة الصحيحة، يقرأ النظام تفاصيلها المحددة ويستخدم تلك المعلومات لاتخاذ حكم نهائي حول ما إذا كان سلوك الوكيل آمناً أم لا. يحول هذا النهج عملية التحقق من السلامة من تمرين قراءة سلبي إلى عملية اتخاذ قرار نشطة، حيث يتعلم النظام معرفة أي قاعدة يجب أن يسحبها من الدرج للمهمة المطلوبة.
بنى الباحثون هذا النظام من خلال إنشاء مجموعة بيانات ضخمة تضم أكثر من 20,000 مثال. تضمنت هذه الأمثلة سجلات مفصلة لوكلاء يؤدون مهام، مقترنة بقواعد السلامة المحددة التي تحكم تلك المهام. قاموا بتصنيف كل سجل لإظهار القاعدة التي يجب تطبيقها بالضبط ولماذا. وباستخدام هذه البيانات، علموا النظام أولاً أساسيات كيفية قراءة الموقف وإيجاد قاعدة مطابقة من خلال عملية التعلم الخاضع للإشراف، بشكل مشابه لكيفية تعلم الطالب من الكتاب المدرسي. ومع ذلك، فإن مجرد حفظ الأمثلة ليس كافياً للتعامل مع الطبيعة غير المتوقعة للمهام في العالم الحقيقي. ولدفع النظام إلى أبعد من ذلك، طبق الباحثون تقنية تُعرف بالتعلم المعزز. في هذه المرحلة، سُمح للنظام بممارسة اتخاذ القرارات بشكل متكرر. فعندما يختار القاعدة الصحيحة ويتخذ حكم السلامة الصحيح، يحصل على مكافأة. وعندما يختار القاعدة الخاطئة أو يغفل عن خطر ما، يتلقى عقوبة. وبمرور الوقت، تعلم النظام صقل خياراته، وأصبح أفضل في التمييز بين القواعد التي تبدو متشابهة ولكنها تنطبق على مواقف مختلفة.
تضمن جزء حاسم من هذا التدريب خدعة ذكية لمنع النظام من استغلال الطرق المختصرة. فخلال الممارسة، كان الباحثون يمزجون قواعد غير ذات صلة وسياسات "وهمية" (decoy) بجانب القواعد الصحيحة. أجبر هذا النظام على فهم سياق أفعال الوكيل حقاً بدلاً من مجرد التخمين بناءً على القواعد الموجودة في القائمة. فإذا لم يستطع النظام التمييز بين قاعدة ذات صلة وقاعدة وهمية، فإنه سيفشل في الاختبار. ضمن هذا الأمر أن النظام النهائي تعلم تحديد السياسة التي تحكم موقفاً ما بناءً على تفاصيل المهمة، وليس فقط بناءً على وجود كلمات مفتاحية.
وعند اختباره مقابل ستة معايير مختلفة مصممة لتقييم سلامة الوكلاء، تفوق النظام الجديد بشكل كبير على الأساليب الحالية. فقد حقق دقة عالية في اكتشاف السلوكيات غير الآمنة عبر مجموعة واسعة من السيناريوهات، متفوقاً على نماذج الذكاء الاصطناعي العامة وأدوات السلامة المتخصصة. وفي أربعة من الاختبارات الستة، احتل المرتبة الأولى، مما أظهر تحسناً واضحاً في قدرته على رصد المخاطر التي فاتتها الأنظمة الأخرى. ولعل الأهم من ذلك، أظهر النظام قدرة قوية على استدعاء سياسة السلامة الصحيحة حتى عندما تغيرت قائمة القواعد المتاحة أو عندما تغير السياق. فهو لم يقم بالتخمين فحسب؛ بل اختار بنشاط القاعدة الصحيحة واستخدم محتواها لتبرير قراره.
تشير الدراسة إلى أنه من خلال تعليم أنظمة السلامة كيفية اختيار وتطبيق القواعد بنشاط، بدلاً من مجرد قراءتها بسلبية، يمكننا إنشاء حراس أكثر تكيفاً وموثوقية للوكلاء المستقلين. يسمح هذا النهج لآلية السلامة بالتطور جنباً إلى جنب مع الوكلاء الذين تحميهم، والتعامل مع الأدوات الجديدة واللوائح المتغيرة دون الحاجة إلى إعادة برمجتها بالكامل. وبينما لا يعد النظام حلاً مثالياً ولا يزال يعتمد على جودة القواعد المقدمة إليه، إلا أن النتائج تشير إلى مسار واعد. فمن خلال تحويل استدعاء سياسة السلامة إلى مهمة تعلم، قطع الباحثون خطوة مهمة نحو ضمان بقاء الوكلاء الاصطناعيين تحت السيطرة من خلال معايير سلامة واضحة، مدركة للسياق، وفعالة، مع زيادة استقلاليتهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.