IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation
يُعد IMMACULATE إطار عمل تدقيق عملي يكشف الانحرافات ذات الدوافع الاقتصادية في النماذج اللغوية الكبيرة التجارية ذات الصندوق الأسود، مثل استبدال النماذج والفوترة الزائدة للرموز، وذلك عبر الاستفادة من الحوسبة القابلة للتحقق لتحقيق ضمانات كشف قوية مع حد أدنى من تأثير الإنتاجية ودون الحاجة إلى أجهزة موثوقة أو وصول إلى النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طلبت شريحة لحم فاخرة من مطعم راقٍ. أنت تدفع سعراً باهظاً مقابل قطعة محددة من لحم البقر، طُهيت بإتقان. ولكن لأنك لا تستطيع الرؤية داخل المطبخ، عليك أن تثق في الطاهي.
المشكلة:
ماذا لو قام الطاهي سراً باستبدال شريحة اللحم الغالية ببرجر رخيص ومجمد؟ أو ماذا لو استخدم سكيناً ثلماً ومقلاة منخفضة الجودة ومع ذلك حاسبك على تجربة متميزة؟ في عالم الذكاء الاصطناعي، هذا هو بالضبط ما يحدث. تبيع الشركات إمكانية الوصول إلى نماذج ذكاء اصطناعي قوية عبر الإنترنت (مثل الصندوق الأسود). ويدّعون أنهم يستخدمون "عقلاً فائقاً" من الطراز الرفيع للإجابة على أسئلتك، لكنهم قد يستخدمون سراً نموذجاً أضعف وأرخص لتوفير المال، أو قد يكذبون بشأن مقدار "قوة الحوسبة" التي استخدموها لفوترتك بمبالغ أكبر.
الحل: IMMACULATE
يقدم البحث نظام IMMACULATE، وهو نظام ذكي يعمل كـ "مفتش أغذية" للذكاء الاصطناعي، ولكن دون الحاجة إلى اقتحام المطبخ أو رؤية الوصفات السرية.
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. استراتيجية "الفحص المفاجئ" (التدقيق العشوائي)
تخيل مدقق ضرائب يحاول ضبط شركة تغش في سجلاتها. لا يمكنهم فحص كل فاتورة في العالم؛ لأن ذلك سيستغرق وقتاً طويلاً وسيكلف ثروة. بدلاً من ذلك، يختارون عينة عشوائية صغيرة من الفواتات لفحصها.
- المنطق: إذا كان المطعم يغش في 10% من طلباته، واختار المفتش 3,000 طلب عشوائي لفحصها، فمن المضمون تقريباً الإمساك بالمحتال.
- في الذكاء الاصطناعي: لا يدقق المدقق في كل طلب للذكاء الاصطناعي. بل يرسل بعض الأسئلة العشوائية. إذا كان مزود خدمة الذكاء الاصطناعي يغش، فمن المرجح أن يتم كشفه في عمليات الفحص العشوائية هذه. هذا يبقي تكلفة الفحص منخفضة جداً (أقل من 1% من العمل الإضافي).
2. "بصمة" الرياضيات (توزيع مسافة اللوجيت - Logit Distance Distribution)
هذا هو الجزء الأكثر تعقيداً. تقوم نماذج الذكاء الاصطناعي بعمليات حسابية بأرقام تحتوي على أخطاء تقريب ضئيلة جداً (مثل كيف قد يقول الحاسب أن 1/3 تساوي 0.33333333). وبسبب هذا، حتى الذكاء الاصطناعي "الصادق" قد يعطي إجابات مختلفة قليلاً إذا سألته نفس السؤال مرتين. لا يمكنك القول ببساطة: "إجابتك خاطئة لأنها ليست مطابقة لإجابتي تماماً".
التشبيه:
فكر في رياضيات الذكاء الاصطنا الداخلية كأنها بصمة.
- الذكاء الاصطناعي الصادق: عندما يطهو طاهٍ أمين شريحة لحم، قد تختلف "الرائحة" و"الملمس" قليلاً في كل مرة بسبب حرارة الجو، لكنها ستظل دائماً برائحة اللحم.
- الذكاء الاصطناعي المخادع: إذا استبدل الطاهي شريحة اللحم ببرجر، فإن الرائحة ستتغير تماماً. الأمر ليس مجرد اختلاف طفيف؛ بل هو حيوان مختلف تماماً.
يقيس نظام IMMACULATE ما يسمى "توزيع مسافة اللوجيت" (LDD).
- هو لا يتحقق مما إذا كانت الإجابة النهائية مثالية.
- بدلاً من ذلك، يتحقق من "الخطوات الحسابية الداخلية" (اللوجيتات) التي اتخذها الذكاء الاصطناعي للوصول إلى تلك الإجابة.
- إذا كان الذكاء الاصطناعي يستخدم نموذجاً رخيصاً أو يختصر الخطوات (الكمية - quantization)، فإن "البصمة الحسابية" ستبدو غريبة وفوضوية مقارنة بالنموذج عالي الجودة الموعود. الأمر يشبه رائحة البرجر التي تفوح برائحة البرجر، وليس برائحة شريحة اللحم.
3. "الإيصال السحري" (الحوسبة القابلة للتحقق)
كيف يعرف المدقق أن الذكاء الاصطناعي لا يكذب فقط بشأن خطواته الحسابية؟
التشبيه:
تخيل أن على الطاهي كتابة كل خطوة من عملية الطهي على ورقة، ثم وضعها في صندوق زجاجي غير قابل للكسر، وتسليمها إليك.
- الصندوق مختوم تشفيرياً. لا يمكن للطاهي تغيير الورقة بالداخل دون كسر الزجاج (وهو أمر مستحيل).
- يمكن للمدقق النظر إلى الصندوق والتحقق، باستخدام مفتاح رياضي خاص، من أن الخطوات الموجودة بالداخل تتوافق مع قواعد وصفة "شريحة اللحم الفاخرة".
- لا يحتاج المدقق لرؤية الوصفة (الكود السري للذكاء الاصطناعي)؛ بل يحتاج فقط للتحقق من أن الخطوات قد اتبعت بشكل صحيح.
لماذا هذا مهم؟
- لا يتطلب أجهزة خاصة: الطرق السابقة تطلبت أجهزة كمبيوتر خاصة ومكلفة (مثل بيئات التنفيذ الموثوقة - TEEs). يعمل IMMACULATE على أجهزة الكمبيوتر القياسية.
- يحمي الأسرار: لا يتعين على شركة الذكاء الاصطناعي الكشف عن الكود السري أو النموذج الخاص بها للمدقق. إنهم فقط يثبتون أنهم اتبعوا القواعد.
- رخيص وسريع: نظرًا لأنه يفحص جزءاً ضئيلاً فقط من الطلبات، فإنه لا يبطئ الخدمة. إنه يشبه كاميرا السرعة التي تومض فقط لعدد قليل من السيارات ولكنها تضمن بقاء الجميع يقودون بأمان.
الملخص
IMMACULATE هو وسيلة عملية لمنع شركات الذكاء الاصطناعي من التلاعب بالجودة. فهو يستخدم عمليات فحص عشوائية للإمساك بالمخادعين وبصمات رياضية لإثبات أنهم يستخدمون الأدوات الصحيحة، وكل ذلك دون الحاجة لرؤية وصفاتهم السرية أو شراء أجهزة جديدة باهظة الثمن. إنه يعيد الثقة إلى "الصندوق الأسود" لخدمات الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.