🤖 machine learning

GAVEL: Towards Rule-Based Safety Through Activation Monitoring

تقدم هذه المساهمة GAVEL، وهو إطار عمل مبتكر يعزز سلامة النماذج اللغوية الكبيرة (LLMs) من خلال نمذجة التنشيطات كعناصر معرفية قابلة للتفسير وتطبيق المراقبة القائمة على القواعد لتحقيق كشف دقيق وقابل للتخصيص والتحقق من السلوكيات الضارة دون الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Shir Rozenfeld, Rahul Pankajakshan, Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shir Rozenfeld, Rahul Pankajakshan, Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث GAVEL، مترجم إلى لغة بسيطة مع تشبيهات إبداعية.

المشكلة الكبرى: "خدعة السحر" للذكاء الاصطناعي

تخيل أن لديك مساعداً ذكياً جداً يعمل بالذكاء الاصطناعي. تريد التأكد من أنه لن يفعل أي شيء خطير، مثل مساعدة شخص ما في سرقة حساب بنكي أو كتابة خطاب كراهية.

حالياً، تعمل معظم تدابير السلامة مثل الحارس عند مدخل الملهى ليلي. هم ينظرون إلى الكلمات التي تخرج من فم الذكاء الاصطناعي. إذا كانت الكلمات تبدو سيئة (مثل "سأؤذيك")، يوقفها الحارس.

لكن الذكاء الاصطناعي مخادع. يمكنه القيام بـ "خدع سحرية" (ما يسمى بهجمات التمثيل - representation attacks). قد يقول: "سأساعدك في معاملة مالية جادة للغاية"، وهو كلام يبدو مهذباً، لكنه في الحقيقة يخطط لعملية احتيال تحت السطح. الحارس عند المدخل لا يرى سوى الكلمات المهذبة ويسمح لها بالمرور. الذك_اء الاصطناعي يخفي نيته الحقيقية داخل "دماغه" (معالجته الداخلية)، حيث لا يستطيع الحارس رؤيتها.

الحل القديم: "المطرقة الغبية"

حاول الباحثون إصلاح ذلك من خلال النظر داخل دماغ الذكاء الاصطناعي (نشاطاته/activations). قاموا بتدريب أدوات كشف للتعرف على "الأجواء السيئة" العامة، مثل "خطاب الكراهية" أو "الجريمة".

ومع ذلك، كان هذا يشبه محاولة إصلاح ساعة يد باستخدام مطرقة غبية.

أخطاء كثيرة: إذا تم تدريب أداة الكشف على "خطاب الكراهية"، فقد تمنع الذكاء الاصطناعي بالخطأ من التحدث عن التاريخ أو الثقافة، لأن هذه المواضيع تشترك أحياناً في أنماط دماغية مشابهة لخطاب الكراهية.
جامد جداً: إذا أرادت شركة إيقاف نوع معين من الاحتيال (مثل مكالمة مزيفة من مصلحة الضرائب)، فلا يمكنهم ببساطة تعديل المطرقة. يجب عليهم بناء مطرقة جديدة تماماً من الصفر، وهو أمر بطيء ومكلف.
لا يوجد تفسير: عندما يتم إيقاف الذكاء الاصطناعي، يقول الحارس فقط "سيء!" دون شرح لماذا. هل كان السبب النبرة؟ أم الموضوع؟ أم المستخدم؟ لا أحد يعرف.

الحل الجديد: GAVEL (نهج "قطع الليغو")

يقترح مؤلفو هذه الورقة مساراً جديداً يسمى GAVEL. بدلاً من البحث عن "الأجواء السيئة"، يقومون بتفكيك نشاط دماغ الذكاء الاصطناعي إلى قطع بناء صغيرة ومفهومة، تسمى العناصر المعرفية (CEs).

تخيل العناصر المعرفية مثل قطع الليغو (LEGO).

قطعة واحدة هي "توجيه تهديد".
قطعة واحدة هي "المطالبة بالمال".
قطعة واحدة هي "التظاهر بأنني بشر".
قطعة واحدة هي "التحدث عن الضرائب".

هذه القطع صغيرة، واضحة، وسهلة الفهم.

كيف يعمل GAVEL: "كتاب القواعد"

بمجرد حصولك على قطع الليغو هذه، لا تحتاج إلى مطرقة ضخمة. أنت تحتاج فقط إلى كتاب قواعد (مثل وصفة أو لغز منطقي).

يمكنك كتابة قواعد مثل:

"إذا استخدم الذكاء الاصطناعي قطعة التهديد وقطعة المال في نفس الوقت -> توقف."
"إذا استخدم الذكاء الاصطناعي قطعة الضرائب وقطعة التظاهر بأنني بشر -> تحذير."

هذا الأمر قوي لأن:

الدقة: هو لا يمنع الذكاء الاصطناعي من التحدث عن الضرائب إذا لم يكن يتظاهر أيضاً بأنه مصلحة الضرائب. هو فقط يوقف المزيج الخطير المحدد.
المرونة: إذا ظهر نوع جديد من الاحتيال (مثل عملية احتيال باسم أمازون)، فلا تحتاج لإعادة تدريب الذكاء الاصطناعي بالكامل. ببساطة تكتب قاعدة جديدة باستخدام قطع الليغو الموجودة (مثلاً: "أمازون" + "مال" + "التظاهر بتقديم الدعم").
الشفافية: عندما يتم إيقاف الذكاء الاصطناعي، يمكنك النظر في كتاب القواعد والقول: "آه، لقد توقف لأنه دمج بين 'التهديدات' و'المال'". أنت تعرف بالضبط لماذا.

"المكتبة المجتمعية"

تقارن الورقة هذا بـ الأمن السيبراني، حيث يتبادل المخترقون والمدافعون قوائم "الأنماط السيئة" (مثل بصمات الفيروسات).

يهدف GAVEL إلى فعل الشيء نفسه لسلامة الذكاء الاصطناعي.

المجتمع: يمكن للباحثين والشركات مشاركة "قطع الليغو" الخاصة بهم (العناصر المعرفية) و"كتب القواعد" الخاصة بهم.
النتيجة: إذا اكتشف شخص ما في اليابان نوعاً جديداً من الاحتيال، يمكنه مشاركة القاعدة. ويمكن لشركة في الولايات المتحدة استخدام هذه القاعدة فوراً لحماية ذكائها الاصطناعي، دون الحاجة للقيام بالعمل الشاق لاكتشاف النمط بأنفسهم.

هل يعمل حقاً؟

اختبر المؤلفون GAVEL مقابل طرق سلامة أخرى.

دقة أفضل: إنه يكتشف المزيد من السلوكيات السيئة ويرتكب أخطاء أقل (إنذارات كاذبة) مقارنة بطرق "المطرقة الغبية" القديمة.
مستقل عن اللغة: حتى لو تحدث الذكاء الاصطناعي بالإسبانية أو المندرين، فإن "قطع الليغو" (مثل "التهديد" أو "المال") لا تزال تتشابه وتترابط بنفس الطريقة. القواعد تعمل عبر لغات مختلفة.
سريع: لا يضيف أي تأخير تقريباً إلى عملية تفكير الذكاء الاصطناعي. إنه يعمل في الوقت الفعلي، مثل مساعد طيار يراقب لوحة القيادة.

الملخص

يغير GAVEL مفهوم سلامة الذكاء الاصطناعي من "تخمين ما إذا كان الذكاء الاصطناعي شريراً" إلى "التحقق مما إذا كان الذكاء الاصطناعي يستخدم قطع ليغو محددة وخطيرة".

بدلاً من الحارس الأعمى، هو مثل المفتش الذكي الذي يفحص مخطط أفكار الذكاء الاصطناعي. إذا أظهر المخطط مزيجاً خطيراً من الأجزاء، فإن المفتش يوقف الآلة ويخبرك بالضبط أي الأجزاء تسببت في المشكلة. هذا يجعل الذكاء الاصطناعي أكثر أماناً، وأكثر مرونة، وأسهر بكثير في الفهم.

1. بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لهجمات التمثيل (representation attacks)، حيث يتم إخفاء النوايا الضارة أو إعادة صياغتها في نصوص سطحية لتجاوز فلاتر المدخلات والمخرجات التقليدية. وعلى الرغم من أن المراقبة القائمة على التنشيط (activation-based monitoring) —التي تكتشف المفاهيم الضارة داخل الحالات الخفية للنموذج— تقدم حلاً، إلا أن النهج الحالي يعاني من ثلاث قيود حرجة:

انخفاض الدقة: المكتشفات المدربة على مجموعات بيانات الإساءة العامة (مثل "خطاب الكراهية" العام) تولد معدلات عالية من الإيجابيات الكاذبة (مثل تصنيف المناقشات الثقافية غير الضارة كإساءة).
محدودية المرونة: يتطلب فرض سياسات دقيقة ومحددة بمجالات معينة (مثل انتهاكات حقوق الطبع والنشر المحددة أو قواعد الشركات) إعادة تدريب المكتشفات أو جمع مجموعات بيانات جديدة ومكلفة لكل سياسة.
نقص القابلية للتفسير: عندما يتم تفعيل المكتشف، فإنه غالباً لا يقدم تفسيراً لـ لماذا أو أي مفهوم محدد تسبب في إطلاق الإنذار، مما يعيق القدرة على التدقيق والمساءلة.

2. المنهجية: إطار عمل GAVEL

يقترح المؤلفون إطار عمل GAVEL (الحوكمة عبر التحقق القائم على التنشيط والمنطق القابل للتوسع)، وهو تحول في النموذج الفكري من التصنيف واسع النطاق إلى الأمان القائم على القواعد والنشاط. يقوم إطار العمل بتفكيك سلوك النموذج إلى عناصر أولية قابلة للتفسير وفرض الأمان من خلال قواعد منطقية.

أ. العناصر المعرفية (CEs)

بدلاً من التعرف على الفئات العامة، يحدد GAVEL العناصر المعرفية (Cognitive Elements - CEs): وهي عناصر أولية دقيقة وقابلة للتفسير على مستوى التنشيط تمثل سلوكيات أو مهام أو مواضيع محددة للنموذج.

أمثلة: "إصدار تهديد"، "معالجة الدفع"، "التنكر في هيئة بشر"، "إنشاء استعلامات SQL"، أو "بناء الثقة".
مجموعات بيانات التنشيط: لالتقاط عنصر معرفي (CE) محدد، يقوم المؤلفون ببناء مجموعات بيانات نصية بحتة ( $D_c$ ) تحتوي على حالات لهذا السلوك. يستخدمون استراتيجية توجيه (prompting) محددة ("فكر في [الـ CE] بينما تقوم بـ... مراجعة") لاستحضار تنشيطات داخلية قوية ومتوافقة.
استخراج الميزات: يتم استخراج التنشيطات من مخرجات الانتباه (attention outputs) لطبقات المحولات (Transformer layers) المتوسطة إلى المتأخرة (تحديداً الطبقات 13-26 في نموذج Mistral-7B)، والتي حققت دقة اكتشاف أعلى ومعدلات إيجابية كاذبة أقل مقارنة بحالات MLP المخفية.

ب. الكشف متعدد الملصقات

يتم تدريب مصنف متعدد الملصقات خفيف الوزن ( $g$ ) على ناقلات التنشيط التي تم جمعها. وبخلاف المصنفات أحادية الملصق، يمكن لهذا النموذج اكتشاف عناصر معرفية متعددة في آن واحد ضمن رمز (token) واحد (على سبيل المثال، يمكن للرمز أن يفعل كلاً من "التهديد" و"أدوات الدفع"). وهذا يتيح للنظام معالجة الحالات المعرفية المعقدة والمتداخلة.

ج. الإنفاذ القائم على القواعد

تُعرف قيود الأمان كـ قواعد منطقية بولينية على وجود العناصر المعرفية (CEs).

الصيغة (Syntax): تتبع القواعد صيغة قابلة للقراءة من قبل البشر، تشبه أدوات الأمن السيبراني (مثل Snort و YARA): stop if <condition> (توقف إذا كان <الشرط>).
المنطق: الشروط هي صيغ بولينية تستخدم (AND $\land$ $\land$ ) و (OR $\lor$ $\lor$ ) و (NOT $\neg$ $\neg$ ) على احتمالات العناصر المعرفية.
- مثال: stop if Threaten AND Payment AND Roleplay (يكتشف نمط احتيال محدد ولكنه يسمح بـ "التهديد" في سياقات غير مالية).
المراقبة الزمنية: يتم تقييم القواعد عبر نافذة منزلقة من الرموز (tokens) لالتقاط السلوكيات المعتمدة على السياق (على سبيل المثال، عملية احتيال تبني الثقة عبر عدة جولات قبل طلب المال).

د. سير العمل

مساهمة المجتمع: يساهم المجتمع بمجموعات بيانات العناصر المعرفية (CE) النصية البحتة ومجموعات القواعد (وهي مستقلة عن النموذج).
الإعداد (Configuration): يختار مالك النموذج العناصر المعرفية ذات الصلة وينشئ قواعد بناءً على سياسته الخاصة.
التدريب: يقوم المالك بتدريب المصنف متعدد الملصقات على نموذجه الخاص باستخدام مجموعات بيانات العناصر المعرفية المقدمة.
النشر: يعمل النظام في الوقت الفعلي، حيث يصنف تنشيطات الرموز ويطلق إجراءات (إيقاف، استبدال، أو إعادة توجيه) عند تفعيل القواعد.

3. المساهمات الرئيسية

العناصر المعرفية (CEs): تقديم مفردات نمطية وتكوينية من الأوليات التنشيطية القابلة للتفسير والتي تفصل تعريف الأمان عن تدريب النموذج.
إطار عمل GAVEL: نظام عملي لتعريف ومشاركة وإنفاذ سياسات الأمان من خلال قواعد منطقية فوق العناصر المعرفية، مما يتيح الإعداد السريع دون الحاجة لإعادة تدريب النموذج الأساسي.
الموارد المفتوحة: إصدار كود GAVEL البرمجي، و GAVEL Studio (أداة تفاعلية لإنشاء القواعد)، ومفردات أولية للعناصر المعرفية، ومسار عمل لأتمتة إنشاء القواعد والعناصر المعرفية باستخدام وكلاء النماذج اللغوية الكبيرة (LLM agents).
تحول في النموذج الفكري: الانتقال بالأمان في الذكاء الاصطناعي من المكتشفات الساكنة وغير الشفافة (Black-box) إلى أنظمة قائمة على القواعد، شفافة، وقابلة للتحقق، مستلهمة من ممارسات الأمن السيبراني.

4. النتائج التجريبية

قيم المؤلفون GAVEL على نموذج Mistral-7B عبر تسعة فئات من الإساءة (الجرائم السيبرانية، الأذى النفسي، أتمتة الاحتيال) وقارنوه بنماذج أساسية مثل Llama Guard و Perspective API و RepBending والمصنفات التنشيطية القياسية.

الدقة والاستدعاء: حقق GAVEL درجات AUC تزيد عن 0.98 و معدلات إيجابية كاذبة (FPR) تقترب من الصفر في معظم الفئات. لقد تفوق بشكل كبير على النماذج الأساسية في الدقة، خاصة في السيناريوهات المعقدة مثل "احتيال السلطات الضريبية" و"إغواء العلاقات العاطفية" (Romance Baiting).
المتانة ضد الهجمات العدائية:
- المشتت (Distractor): عندما تم تخفيف المحتوى الضار بنصوص غير ضارة، فشلت الأحكام النصية (مثل GPT-4) (انخفض الاكتشاف إلى ~12%)، بينما حافظ GAVEL على استدعاء (recall) يزيد عن 85% من خلال مراقبة الحالات الداخلية.
- التملص (Evasion): ظل GAVEL متيناً ضد محاولات إخفاء النوايا من خلال إعادة الصياغة.
التعميم:
- عبر النماذج: انتقلت العناصر المعرفية (CEs) المدربة على نموذج واحد بفعالية إلى نماذج أخرى (Llama3, Qwen, Gemma) مع حد أدنى من فقدان الأداء.
- عبر اللغات: العناصر المعرفية المحددة بالإنجليزية تعمت عبر الإسبانية والماندرين مع تدهور طفيف جداً في الأداء، مما يثبت أنها تلتقط مفاهيم مجردة بدلاً من الرموز السطحية.
الكفاءة: تكلفة GAVEL الإضافية ضئيلة (زيادة في زمن الاستجة أقل من 1%، حوالي 0.21 مللي ثانية لكل رمز)، مما يسمح بالنشر في الوقت الفعلي.

5. الأهمية

القابلية للتفسير والتحقق: على عكس المكتشفات غير الشفافة، يوفر GAVEL أسباباً صريحة لانتهاكات الأمان (على سبيل المثال، "تم تفعيل القاعدة لأن 'التهديد' و 'الدفع' قد تم اكتشافهما")، مما يتيح التدقيق البشري.
القابلية للتوسع والتعاون: من خلال فصل "ماذا" (العناصر المعرفية) عن "كيف" (القواعد)، يتيح إطار العمل للمجتمع مشاركة مكونات الأمان. يمكن للمؤسسات اعتماد العناصر المعرفية المدربة مسبقاً وتكوين القواعد ببساطة لتلبية احتياجاتها الخاصة، مما يتجنب تكاليف إعادة التدريب.
مرونة السياسات: يتيح فرض سياسات دقيقة ومحددة بالمجال (على سبيل المثال، "السماح بمناقشات خطاب الكراهية في السياقات الأكاديمية ولكن حظرها في دعم العملاء") والتي لا يمكن تعريفها باستخدام مجموعات بيانات الإساءة العامة.
مستقبل حوكمة الذكاء الاصطناعي: يضع GAVEL حجر الأساس لنظام بيئي تعاوني، شفاف، وقابل للبرمجة لأمان الذكاء الاصطناعي، مما يعكس نجاح مشاركة القواعد في مجال الأمن السيبراني.