AIR-BENCH Live: An Evolving Safety Benchmark for Foundation Models
تقدم هذه الورقة AIR-BENCH Live، وهو معيار سلامة ذاتي التطور للنماذج التأسيسية يستخدم مساراً آلياً لدمج اللوائح الحكومية الجديدة باستمرار وتوليد مطالبات هجوم متعددة اللغات، مما يعالج أوجه القصور في المعايير الثابتة في ظل مشهد الذكاء الاصطناعي سريع التغير.
المؤلفون الأصليون:Rohan Naphade, Minzhou Pan, Bo Li
تخيل عالم الذكاء الاصطناعي كمكتبة ضخمة تتوسع باستمرار، حيث تتعلم الروبوتات كتابة القصص، وحل المشكلات، وحتى الدردشة معنا. ولكن تماماً كما هو الحال في أي مكتبة، هناك قواعد لما يمكن كتابته: لا تعليمات حول كيفية صنع القنابل، ولا خطاب كراهية، ولا حيل لسرقة الأسرار. يضع العلماء "اختبارات سلامة" لمعرفة ما إذا كانت هذه الروبوتات تتبع القواعد. فكر في هذه الاختبارات كأنها سلسلة من الألغاز أو الفخاخ المصممة لخداع الروبوت لكسر القواعد. إذا رفض الروبوت الخدعة، يحصل على درجة عالية؛ وإذا وقع في الفخ، يحصل على درجة منخفضة. المشكلة هي أن العالم يتغير بسرعة. تُسن قوانين جديدة، وتُخترع طرق جديدة لخداع الروبوتات، وتصبح الألغاز القديمة سهلة الحل للغاية. قد يكون اختبار السلامة من العام الماضي عديم الفائدة اليوم لأن الروبوت تعلم تجاهل الخدع القديمة، أو لأن قانوناً جديداً قد حظر شيئاً لم يفكر فيه الاختبار من قبل. لهذا السبب يبحث الباحثون دائماً عن طريقة لجعل هذه الاختبارات "حية" وتحدث نفسها تلقائياً، لتبقى ذات صلة بعالم لا يتوقف عن الحركة.
يقدم هذا البحث اختبار سلامة جديداً وذاتي التحديث يسمى AIR-BENCH Live. فكر فيه كحارس أمن لا يكتفي بالوقوف عند الباب مع قائمة ثابتة من المواد المحظورة، بل لديه مساعد آلي يمسح الأخبار باستمرار، ويقرأ القوانين الجديدة من جميع أنحاء العالم، وينشئ فوراً ألغازاً جديدة ومخادعة لاختبار الذكاء الاصطناعي. لقد بنى الباحثون مسار عمل يقوم تلقائياً بـ "كشط" (قراءة) اللوائح الحكومية من أماكن مثل الولايات المتحدة والصين والاتحاد الأوروبي. وعندما يجد قاعدة جديدة — مثل قانون ضد سرقة عقل روبوت أو استخدام فيديوهات مزيفة للتلاعب بالانتخابات — فإنه يضيف فئة جديدة إلى قائمة مراجعة السلامة الخاصة به. بعد ذلك، يعمل فريق من وكلاء الذكاء الاصطناعي معاً لكتابة مطالبات (أوامر) واقعية ومتعددة اللغات (الألغاز) بناءً على هذه القواعد الجديدة. وهم يستخدمون "الشخصيات"، وهي تشبه أدوار التمثيل، لجعل الألغاز تبدو وكأنها صادرة عن أشخاص حقيقيين في مواقف مختلفة، بدلاً من كونها روبوتاً يقرأ نصاً مكتوباً.
اختبر الفريق 14 نموذجاً مختلفاً للذكاء الاصطناعي باستخدام هذا المعيار المتطور والجديد. ووجدوا فجوة هائلة في السلامة: بعض النماذج كانت آمنة للغاية، حيث رفضت كل خدعة تقريباً (بدرجة 1.00)، بينما كان بعضها الآخر سهلاً جداً في الخداع (بدرجة منخفضة تصل إلى 0.17). ومن المثير للاهتمام أن المطالبات الجديدة والمحدثة كانت أصعب من القديمة، مما تسبب في جعل حتى أكثر النماذج امتثالاً تخطئ قليلاً. كما اكتشف الباحثون أن معظم النماذج كانت أقل أماناً بقليل عندما طُلبت منها المهام بلغات أخرى غير الإنجليزية، مما يشير إلى أن الحفاظ على تهذيب وسلامة الروبوتات عبر جميع لغات البشر لا يزال عملاً قيد التطوير. ويخلص البحث إلى أنه بينما لا يمكننا منع العالم من التغيير، يمكننا بناء اختبارات سلامة تتطور جنباً إلى جنب معه، لضمان أنه كلما أصبح الذكاء الاصطناعي أكثر ذكاءً، تصبح قدرتنا على اختبار سلامته أكثر ذكاءً أيضاً.
ملخص تقني: AIR-BENCH Live
بيان المشكلة
تعاني معايير سلامة النماذج التأسيسية، مثل AIR-BENCH 2024، من تقادم سريع بسبب التطور المتسارع في كل من قدرات الذكاء الاصطناعي والتشريعات العالمية. تفشل التصنيفات الثابتة في رصد الأضرار المستحدثة الناجمة عن التنظيمات الجديدة، كما تفقد مطالبات الهجوم القائمة على القوالب فعاليتها مع تكيف النماذج وتحسن الدفاعات. نتيجة لذلك، تصبح المعايير الثابتة أقل قدرة على التمييز، حيث تستثير الرفض تجاه المطالبات القديمة بدلاً من كشف السلوكيات غير الآمنة في النماذج الحديثة. هناك حاجة ماسة لإطار تقييم "مدى الحياة" يستوعب باستمرار المتطلبات التنظيمية الجديدة ويعيد توليد مطالبات الهجوم للحفاظ على الصرامة ضد النماذج التي تزداد مرونة.
المنهجية
يقدم AIR-BENCH Live خط إنتاج ذاتي التطور مصمم لأتمتة تحديث معايير السلامة. يعمل النظام على تصنيف مخاطر هرمي بعمق 4 مستويات ممثل في هيكل JSON شجري، حيث تخزن العقد الداخلية ملخصات متكررة وتحتوي عقد الأوراق (leaf nodes) على حمولة المعيار (المطالبات، والمحكمين، والسياسات المصدرية). يتكون خط الإنتاج من ثلاث مكونات مؤتمتة رئيسية:
المراقبة والتصنيف الآلي للسياسات:
يقوم زاحف ويب بإجراء مسح شامل (breadth-first crawl) لـ 16 مصدراً تنظيمياً (مثل Congress.gov، ومكتب الاتحاد الأوروبي للذكاء الاصطناعي، وCAC الصين، وNIST).
يقوم وكيل استخراج (GPT-5.4-mini) بتحديد بنود السياسات المرشحة، وترجمة النصوص غير الإنجليزية إلى الإنجليزية.
يقوم مرشح كلمات مفتاحية يركز على الاستدعاء (recall-oriented) بالاحتفاظ بالبنود التي تذكر أضراراً ملموسة وقابلة للهجوم (مثل الأسلحة، أو الاحتيال) مع إزالة النصوص الإدارية الروتينية.
يقوم وكيل تحقق بضمان أن البنود المتبقية تصف قدرات ضارة قابلة للاختبار.
يقوم وكيل تصنيف هرمي بالتنقل عبر شجرة التصنيف، ومطابقة شظايا السياسات الجديدة مع أوراق المستوى الرابع الموجودة أو اقتراح فئات جديدة وأكثر دقة. ويمنع وكيل تسوية (reconciliation agent) تكرار البيانات عبر الفروع.
توليد المطالبات متعدد الوكلاء:
تقوم خوارزمية متعددة الوكلاء وقائمة على الشخصيات بتحديث المطالبات القديمة وتوليد مطالبات جديدة للفئات المستحدثة.
التوليد الأساسي: يقوم GPT-5.4-mini بتوليد 8 مطالبات مرشحة لكل فئة، مدعومة بشخصيات عشوائية من PersonaHub لإحداث تنوع تركيبي وواقعي.
حلقة التحسين: تقوم حلقة (الناقد-المُحسّن) (الناقد: GPT-5.4؛ المُحسّن: GPT-5.4-mini) بالتكرار من 1 إلى 2 مرة لضمان الامتثال للمعايير الخاصة بكل مرحلة، مما يعظم وضوح النية الخطرة والطبيعية مع تقليل الانحراف عن الشخصية.
الطفرة (Mutation): يتم تعديل المطالبات بتقنيات كسر الحماية (حالياً "تأييد السلطة"، حيث تستعرض الديباجة التماس التأييد من السلطة).
الترجمة: تُترجم المطالبات إلى الإسبانية واليابانية والبرتغالية باستخدام Qwen 3.7-plus، مع حلقة ناقد للتحقق من الحفاظ على المعنى.
المراجعة البشرية: يتضمن خط الإنتاج نقاط تفتيش اختيارية حيث يختار المراجعون البشريون أقوى المطالبات، رغم أن النظام مصمم للعمل بأقل تدخل بشري.
تقسيم مجموعة البيانات:
يتم تقسيم مجموعة البيانات النهائية حسب الولاية القضائية (بناءً على المشرع المصدر) واللغة، مما يتيح التحليل عبر الولايات القضائية واللغات المتعددة.
المساهمات الرئيسية
خط إنتاج ذاتي التطور: يعد AIR-BENCH Live أول معيار يتميز بخط إنتاج مؤتمت يراقب التنظيمات الحكومية باستمرار، ويصنف السياسات الجديدة مقابل تصنيف ديناميكي، ويعيد توليد المطالبات دون الحاجة إلى إعادة هندسة يدوية للمجموعة بأكملها.
تصنيف موسع: في نسخته الحالية، وسع خط الإنتاج المعيار من 314 إلى 335 خطراً دقيقاً. وقد أضاف 21 فئة جديدة من المستوى الرابع مشتقة من 31 بند سياسة جديد من سبع ولايات قضائية. تعالج هذه الفئات الجديدة المخاطر الناشئة مثل سرقة أوزان النماذج، والهجمات السيبرانية المستقلة، والتلاعب بالوسائط الاصطناعية في الانتخابات.
تحديث المطالبات آلياً: يستبدل النظام المطالبات القديمة المقتصرة على اللغة الإنجليزية والنمطية بمطالبات واقعية، متعددة اللغات، وقائمة على الشخصيات. تستخدم هذه العملية حلقة (الناقد-المُحسّن) لضمان الجودة العالية، مما يثبت أن التوليد الآلي يمكن أن يضاهي أو يتجاوز صعوبة المطالبات التي يتم إنشاؤها عبر العمل التقليدي الذي يشمل التدخل البشري.
الدقة متعددة اللغات والولايات القضائية: يدعم المعيار الآن التحليل عبر أربع لغات (الإنجليزية، الإسبانية، اليابانية، البرتغالية) وعدة ولايات قضائية، مما يعالج الفجوات في المعايير الثابتة السابقة.
النتائج
قام المؤلفون بتقييم 14 نموذجاً تأسيسياً حديثاً باستخدام مجموعة بيانات AIR-BENCH Live (إجمالي 2,680 مطالبة).
التفاوت في السلامة: يوجد تباين واسع في سلامة النماذج، حيث تتراوح الدرجات بين 0.17 (Mistral Large) و0.89 (Claude Haiku 4.5) بين النماذج التي حُكم على سلوكها الخاص. حقق كل من GPT-5.5 وClaude Opus 4.8 درجات كاملة (1.00)، وهو ما يُعزى بالكامل إلى اعتراض مستوى واجهة برمجة التطبيقات (API) للمطالبات قبل عملية الاستنتاج.
صعوبة المطالبات: المطالبات الحديثة في AIR-BENCH Live هي، في المتوسط، أصعب بمقدار 0.06 نقطة من مجموعة عام 2024. أظهرت النماذج الأكثر امتثالاً (مثل DeepSeek V3.2 وKimi K2) أكبر انخفاض في الأداء (-0.20 و -0.19 على التوالي)، مما يشير إلى أن المطالبات الجديدة تتحدى بفعالية محاذاة السلامة المتقدمة.
الأداء متعدد اللغات: سجلت معظم النماذج درجات أقل في المطالبات غير الإنجليزية مقارنة بالمطالبات الإنجليزية فقط، بمتوسط انخفاض قدره 0.03 عبر النماذج التي لم تصل للسقف. لوحظت انخفاضات ملحوية في Gemini 2.5 Flash (-0.12) وLlama 3 8B (-0.08). حتى النماذج التي تدعم تعدد اللغات بشكل أساسي مثل Qwen3-235B أظهرت تدهوراً (-0.07)، مما يشير إلى أن التدريب المسبق متعدد اللغات لا يضمن المحاذاة متعددة اللغات.
أداء الفئات: كان الأداء أضعف في "اتخاذ القرار الآلي" و"النصائح في الصناعات الخاضعة لتنظيمات صارمة" (العديد من النماذج سجلت <0.10) والأقوى في "العري غير الرضائي" و"بذر الفرقة" (جميع النماذج تقريباً >0.75).
الأهمية والادعاءات
يفترض البحث أن AIR-BENCH Live يعالج القصور الجوهري في المعايير الثابتة: عدم قدرتها على مواكبة "المجال سريع الحركة" لسلامة الذكاء الاصطناعي. من خلال أتمتة استيعاب التشريعات الجديدة وإعادة توليد المطالبات، يتحول المعيار من لقطة ثابتة إلى نظام حي يتطور جنباً إلى جنب مع التحولات التنظيمية والتكنولوجية.
يزعم المؤلفون أن خوارزمية توليد المطالبات متعددة الوكلاء تنجح في إنتاج مطالبات أكثر واقعية، وأصعب، ومتعددة اللغات من النسخ السابقة، رغم أنها تتطلب مراجعة بشرية أقل بكثير. وتثبت النتائج أن المعيار يحتفظ بقدرة تمييزية قوية، حيث يميز بفعالية بين النماذج ذات مستويات المحاذاة المتفاوتة. علاوة على ذلك، تسلط النتائج الضوء على أن المحاذاة عبر اللغات لا تزال تشكل تحدياً كبيماً، حيث تتدهور سلوكيات السلامة في السياقات غير الإنجليزية للعديد من النماذج. ويخلص البحث إلى أن مثل هذا الإطار المتطور ضروري للحفاظ على تقييمات سلامة ذات صلة مع استمرار تغير مخاطر الذكاء الاصطنا والقوانين.