What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
تكشف هذه الورقة أن كواشف الامتثال الحالية تعاني من "العمى عن القواعد"، حيث تفشل في الاعتماد فعلياً على القواعد التنظيمية المعلنة بدلاً من الميزات السطحية، وتثبت أن حتى "درجة الامتثال الداخلي" (ICS) المقترحة والخالية من التدريب تفتقر إلى المتانة ضد النماذج المرجعية التافهة والهجمات التكيفية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالمنا الرقمي الحديث، تعمل نماذج اللغات الكبيرة كمحركات قوية لتوليد النصوص، من صياغة رسائل البريد الإلكتروني إلى الإجابة على الأسئلة المعقدة. ومع ذلك، عندما تُستخدم هذه الأدوات في مجالات منظمة مثل التمويل أو الرعاية الصحية أو القانون، يجب أن تتبع قواعد مكتوبة صارمة. فالبنك، على سبيل المثال، قد يضع سياسة تقضي بوجوب حذف البيانات الشخصية في غضون تسعين يومًا. ولضمان اتباع الذكاء الاصطناعي لهذه السياسة، غالبًا ما تقوم الشركات بنشر "نماذج حارسة" (guard models) — وهي مصنفات متخصصة مدربة على مسح مخرجات الذكاء الاصطناعي وتحديد أي انتهاكات. والأمل هو أن تقرأ هذه الحراس القاعدة المحددة المقدمة وتتحقق مما إذا كانت إجابة الذكاء الاصطناعي تطابقها. وإذا كان الحارس يعمل بشكل صحيح، فيجب ألا يحدد وجود انتهاك لمجرد أن الموضوع يبدو خطرًا، بل فقط عندما تُكسر القاعدة المحددة.
لقد وضع فريق من الباحثين من "ليكسي لابس" (Lexsi Labs) هدفًا لاختبار ما إذا كانت نماذج الامتثال هذه تفهم حقًا القواعد التي يُفترض بها إنفاذها. وقد استقصوا ظاهرة أطلقوا عليها اسم "العمى عن القواعد" (rule blindness). ويحدث هذا عندما يعطي الكاشف نفس الحكم بغض النظر عن القاعدة التي يُفترض به التحقق منها. تخيل حارس أمن في متحف يوقف كل زائر يحمل حقيبة حمراء، ليس لأن الحقائب الحمراء ممنوعة، بل لأن الحارس تعلم ببساطة ربط اللون الأحمر بالخطر. فإذا غير المتحف القاعدة لتمنع الحقائب الزرقاء، فإن الحارس الأعمى عن القواعد سيستمر في إيقاف الحقائب الحمراء ويتجاهل الزرقاء، متجاهلًا تمامًا التعليمات الجديدة. أراد الباحثون معرفة ما إذا كانت الحراس الرقمية التي تحمي بياناتنا تعاني من المشكلة نفسها.
بدأ الفريق باختبار مجموعة واسعة من نماذج الحراسة الموجودة ومجسات التنشيط (activation probes) — وهي أدوات تسترق النظر داخل الآليات الداخلية للذكاء الاصطناعي لتخمين نواياه. واستخدموا طريقة الاختبار المقابل للواقع (counterfactual testing)، والتي تتضمن تغيير المدخلات بطرق محددة لمعرفة كيفية تفاعل النظام. وفي تجاربهم، أخذوا سيناريو حيث تم الاحتفاظ بالبيانات لمدة أربعمائة يوم، وهو ما ينتهك بوضوح قاعدة التسعين يومًا. ثم استبدلوا قاعدة التسعين يومًا تلك بقاعدة أخرى مختلفة تمامًا وغير ذات صلة، أو حتى أزالوا القاعدة تمامًا. ومن المثير للدهشة، أن نماذج الحراسة حددت الانتهاك بنفس التكرار، وبنفس درجة الثقة، حتى عندما كانت القاعدة الحاكمة غائبة أو متغيرة. كانت الكواشف تتبع السيناريو — حقيقة الاحتفاظ بالبيانات لفترة طويلة جدًا — بدلاً من تتبع القاعدة المحددة التي جعلت ذلك انتهاكًا. ولم يقتصر هذا الفشل على نوع واحد من النماذج؛ بل ظهر في المصنفات الأمنية الثابتة التي لا ترى القاعدة على الإطلاق، وحتى في الحراس "المشروطين بالسياسة" المتطورين المصممين صراحةً لقراءة واتباع قواعد مخصصة. أحد هذه الحراس حدد موقع القاعدة في النص بدقة تتراوح بين 91 إلى 95 في المئة من المرات، ومع ذلك فإن حكمه النهائي لم يتغير إلا بصعوبة عندما تم استبدال القاعدة بأخرى تسمح بهذا السلوك.
ولفهم ما كانت تقرأه هذه الأنظمة بالفعل، قام الباحثون ببناء معيار جديد مخصص لهذا الغرض. لقد أنشأوا اختبارًا يعتمد فيه الجواب تمامًا على التفاعل بين قاعدة محددة وسيناريو محدد، مما يضمن أن نص القاعدة أو نص السيناريو وحده لا يمكنه التنبؤ بالنتيجة. على سبيل المثال، قد تنص قاعدة على أن البنك يمكنه تبسيط عمليات التدقيق للحسابات التي تقل عن ألف دولار، بينما تضع قاعدة أخرى الحد عند خمسة آلاف دولار. إذا وصف السيناريو حسابًا بمبلغ ألفي دولار، فإن الحكم يعتمد تمامًا على القاعدة المفعلة. وعندما أجروا اختباراتهم على هذا المعيار غير المختلط (unconfounded benchmark)، لم يؤدِ أي كاشف فعال جربوه، بما في ذلك أداة البحث الجديدة الخاصة بهم، أفضل من الصدفة العشوائية. النظام الوحيد الذي نجح هو نموذج لغة كبيرة سمحت لها بالتفكير خطوة بخطوة، وتفكيك المشكلة قبل إعطاء إجابة. وهذا يشير إلى أن الكواشف السريعة والآلية لم تكن تجمع بين القاعدة والسيناريو، بل كانت ببساطة تتعرف على إشارة عامة لـ "الانتهاك" بناءً على السمات السطحية للنص.
ثم قدم الباحثون أداة جديدة لا تتطلب تدريبًا تسمى "درجة الامتثال الداخلي" (Internal Compliance Score). تقرأ هذه الطريقة إشارات التنشيط الداخلية للذكاء الاصطناعي مباشرة، وتتطلب عشرة أزواج فقط من الأمثلة للمعايرة. وهي رخيصة وسريعة للغاية، ولا تحتاج إلى إعادة تدريب أو خطوات معالجة إضافية. ووجدوا أن هذه الأداة كانت ممتازة في ترتيب الاستجابات المرشحة، مما يساعد في اختيار الإجابة الأكثر امتثالاً من قائمة الخيارات. وفي الاختبارات، حسنت معدل النجاح في مهام اتباع التعليمات بمقدار خمس نقاط مئوية. ومع ذلك، فإن نفس العمى عن القواعد الذي عانت منه الحراس الأخرى أثر أيضًا على هذه الدرجة الجديدة. فعندما تم حذف القاعدة أو استبدالها، ظلت الدرجة دون تغيير. كانت الأداة تقيس فعليًا شعورًا عامًا بالخطر بدلاً من الالتزام المحدد بالقاعدة المكتوبة. علاوة على ذلك، اكتشف الباحثون أن هذه الميزة كانت هشة؛ إذ يمكن لهجوم ذكي ومتكيف أن يخدع النظام بسهًا عبر إضافة كلمات محددة إلى نهاية الاستجابة، مما يؤدي إلى انخفاض الدرجة إلى مستويات عشوائية.
كما كشفت الدراسة عن مشكلة أعمق في كيفية قياس الامتثال حاليًا. فقد فحص الباحثون سبعة معايير عامة تُستخدم لاختبار هذه الأنظمة ووجدوا أن أربعة منها كانت "متدهورة معجميًا" (lexically degenerate). وهذا يعني أن التصنيفات المتعلقة بما إذا كانت الاستجابة ممتثلة أم لا كانت مدمجة في النص نفسه، غالبًا من خلال الطريقة التي كُتب بها السينال أو الطريقة التي سُرد بها الحكم. برنامج حاسوبي بسيط يقوم فقط بعد الكلمات، دون فهم أي قواعد، يمكنه حل هذه المعايير بدقة عالية. وهذا يعني أن العديد من الادعاءات السابقة حول قدرة النموذج على اتباع القواعد كانت في الواقع ادعاءات حول قدرته على التعرف على كلمات أو تراكيب جمل معينة. وخلص الباحثون إلى أنه بينما تعد هذه الكواشف مفيدة لفرز وترتيب الاستجابات، إلا أنه لا يمكن الوثوق بها لاتخاذ قرارات قانونية أو تدقيقية بناءً على قواعد محددة. فهي تقدم مظهر الضمان المرتبط بقاعدة محددة، ولكنها في الواقع عمياء عن القواعد التي يُفترض بها إنفاذها. وينتهي البحث بنشر الأدوات والبروتوكولات المستخدمة في هذه الاختبارات، مما يسمح للآخرين بفحص الأنظمة المستقبلية بحثًا عن هذا النوع من العمى قبل نشرها في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.