Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring
تقدم هذه الورقة "govllm"، وهو إطار عمل مفتوح المصدر يطبق مبدأ "الحوكمة من خلال المقاييس" لتمكين المراقبة المستمرة لامتثال النماذج اللغوية الكبيرة بموجب قانون الذكاء الاصطناعي للاتحاد الأوروبي، وذلك عبر استخدام مجموعة من النماذج اللغوية الصغيرة المتخصصة كقضاة تنظيميّين لتوليد إشارات امتثال في الوقت الفعلي وتحديد حالات عدم اليقين للتحكيم البشري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث بعنوان "الحوكمة من خلال المقاييس: إطار عمل وقت التشغيل للمراقبة المستمرة لامتثال النماذج اللغوية الكبيرة" (govllm)، مترجمة إلى لغة يومية مع استخدام التشبيهات.
المشكلة الكبرى: "خيال الامتثال"
تخيل أنك اشتريت سيارة. قبل أن تقودها خارج المعرض، يقوم ميكانيكي بفحصها ويقول لك: "هذه السيارة آمنة". توقع أنت الأوراق وتقود سيارتك بعيداً.
تجادل الورقة بأن أنظمة الذكاء الاصطناعي الحالية تُعامل مثل تلك السيارة. يقوم المطورون باختبار الذكاء الاصطناعي مرة واحدة، ويعلنون أنه "ممتثل" للقوانين (مثل قانون الذكاء الاصطناعي في الاتحاد الأوروبي)، ثم يطلقون سراحه في العالم الحقيقي. يسمي المؤلفون هذا بـ "خيال الامتثال".
الواقع: الذكاء الاصطناعي ليس سيارة ثابتة؛ بل هو أشبه بحيوان أليف. فهو يتعلم، ويتغير، ويتفاعل مع طريقة معاملتك له. مجرد كونها كانت "آمنة" يوم الثلاثاء لا يعني أنها لن تقول شيئاً غير قانوني أو خطير يوم الجمعة عندما يخدعها مستخدم أو يطرح عليها سؤالاً غريباً. تقول الورقة إننا بحاجة للتوقف عن معاملة الامتثال كختم يُوضع لمرة واحدة، والبدء في معاملته كـ جهاز مراقبة نبضات القلب المستمر.
الحل: govllm (لوحة تحكم الحوكمة)
بنى المؤلفون أداة مفتوحة المصدر تسمى govllm. فكر فيها كلوحة تحكم مثبتة داخل نظام الذكاء الاصطناعي تراقب كل ما يقوله الذكاء الاصطناعي في الوقت الفعلي.
بدلاً من انتظار تدقيق سنوي، يقوم govllm بفحص كل إجابة يقدمها الذكاء الاصطناعي، في تلك اللحظة تماماً، ليرى ما إذا كانت تخالف القواعد.
كيف يعمل: "لجنة القضاة"
في قاعة المحكمة، لا تعتمد على قاضٍ واحد لتقرير قضية معقدة؛ بل لديك هيئة محلفين. يفعل govllm الشيء نفسه.
القضاة المتخصصون: بدلاً من ذكاء اصطناعي واحد يفحص كل شيء، يستخدم النظام لوحة من نماذج الذكاء الاصطناعي الأصغر والمتخصصة.
- أحد نماذج الذكاء الاصطناعي هو خبير الخصوصية (يتحقق مما إذا كانت البيانات الشخصية تتسرب).
- والآخر هو حارس الأمن (يتحقق مما إذا كان شخص ما يحاول اختراق النظام).
- وآخر هو مسؤول سهولة الوصول (يتحقق مما إذا كانت اللغة واضحة وعادلة).
- ومدقق الشفافية (يتحقق مما إذا كان الذكاء الاصطناعي يكذب بشأن كونه بشراً).
مفهة "الملف الشخصي كـ هيئة محلفين": لكل مهمة محددة (مثل كتابة ملخص طبي مقابل تلخيص تقرير بنكي)، يختار النظام "هيئة المحلفين" المحددة المطلوبة لهذه الوظيفة. فهو لا يستخدم قاضياً عاماً لكل شيء.
"إشارة عدم اليقين": هذه ابتكار رئيسي. عادةً، إذا اختلف اثنان من القضاة، نفترض أن أحدهما مخطئ ونختار الأغلبية.
- لمسة govllm الخاصة: إذا اختلف القضاة المتخصصون، يتعامل النظام مع هذا الاختلاف كـ علامة خطر. يقول: "مهلاً، القواعد ضبابية هنا. نحن البشر بحاجة للتدخل واتخاذ القرار". إنه يحول الارتباك إلى إشارة للإشراف البشري، بدلاً من محاولة إخفاء الارتباك.
التجارب: اختبار القضاة
اختبر المؤلفون هذا النظام باستخدام أربعة نماذج ذكاء اصطناعي صغيرة ومفتوحة المصدر (تتراوح من 1.7 مليار إلى 7 مليارات معلمة) تعمل بالكامل على جهاز كمبيوتر محمول عادي. لم يستخدموا خوادم سحابية ضخمة؛ أرادوا إثبات أن هذا يمكن أن يعمل محلياً وبخصوصية.
أنشأوا "بنك اختبارات" مكون من 49 سؤالاً وإجابة مخادعة (مثل اختبار القيادة للذكاء الاصطناعي) تغطي خمسة مجالات قانونية رئيسية.
النتائج الرئيسية:
- الحجم لا يهم: أكبر ذكاء اصطناعي (7 مليارات معلمة) كان في الواقع الأسوأ كقاضٍ. النماذج الأصغر والأكثر تخصصاً غالباً ما قامت بعمل أفضل. كون النموذج "ذكياً" بمعناه العام لم يجعله جيداً في اتباع قواعد قانونية محددة.
- فخ "الترتيب": كانت القضاة حساسة بشكل مفاجئ لـ كيفية طرح الأسئلة. إذا قمت بتغيير ترتيب الأسئلة، انخفضت درجات بعض القضاة بنسبة 25%. هذا يوضح أن نماذج الذكاء الاصطناعي الصغيرة يمكن أن ترتبك بسهولة بسبب هيكلية المطالبة (prompt).
- لا يوجد قاضٍ مثالي: لم يكن أي نموذج ذكاء اصطناعي واحداً مثالياً في كل شيء. بعضها كان رائعاً في اكتشاف تسريبات الخصوصية لكنه سيء في اكتشاف التلاعب. أثبت هذا أن نهج "لوحة القضاة" ضروري لأن لا يوجد ذكاء اصطناعي واحد يمكنه القيام بكل شيء.
- مشكلة "الفصاحة مع الخطأ": أحد القضاة (Mistral) كان متسقاً جداً وقدم أسباباً واضحة لإجاباته، لكنه كان مخطئاً باستمرار. لقد جادل بطلاقة من أجل الاستنتاج الخاطئ. هذا يسلط الضوء على أنه لا يمكنك الوثوق بالذكاء الاصطناعي لمجرد أنه يبدو واثقاً.
"بوابة الامتثال"
يتضمن النظام مفتاح أمان يسمى بوابة الامتثال.
- تخيل حارس أمن عند ملهى ليلي. إذا انخفضت درجة نموذج الذكاء الاصطناعي عن خط معين (على سبيل المثال، بدأ في تسريب بيانات الخصوصية كثيراً)، تغلق البوابة تلقائياً.
- يتوقف النظام عن إرسال طلبات المستخدمين إلى ذلك النموذج ويضعه في "الحجر الصحي" حتى يقوم إنسان بإصلاحه. يحدث هذا تلقائياً، دون انتظار ملاحظة بشرية للمشكلة.
لماذا "التشغيل المحلي" مهم
يصر المؤلفون على أن هذا النظام بأكمله يجب أن يعمل محلياً (على أجهزة الكمبيوتر الخاصة بالشركة)، وليس في السحابة.
- التشبيه: إذا كان بنك يتحقق من أمنه الخاص، فلا يريد إرسال بيانات عملائه السرية إلى خدمة سحابية تابعة لجهة خارجية لمجرد الحصول على "فحص أمني". سيكون ذلك خطراً أمنياً في حد ذاته.
- يضمن govllm أن البيانات لا تغادر المبنى أبداً، مما يلبي قوانين الخصوصية الصارمة (مثل GDPR) ومتطلبات السيادة.
الخلا-صة
تجادل الورقة بأننا لا نستطيع فقط "تدقيق" الذكاء الاصطناعي مرة واحدة ثم ننساه. نحن بحاجة إلى نظام:
- يراقب الذكاء الاصطناعي على مدار الساعة طوال أيام الأسبوع أثناء عمله.
- يستخدم فريقاً من القضاة المتخصصين والأصغر حجماً بدلاً من واحد ضخم وعام.
- يعامل الاختلاف بين القضاة كإشارة لاستدعاء إنسان، وليس كخلل يتم تجاهله.
- يغلق تلقائياً النماذج التي تبدأ في كسر القواعد.
إنه انتقال من "هل هذا الذكاء الاصطناعي قانوني؟" (سؤال بنعم/لا يُطرح مرة واحدة) إلى "هل يتصرف هذا الذكاء الاصطناعي بشكل قانوني الآن؟" (إشارة مستمرة).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.