Adaptive auditing of AI systems with anytime-valid guarantees

ملخص تقني: التدقيق التكيفي لأنظمة الذكاء الاصطناعي مع ضمانات صالحة في أي وقت

بيان المشكلة

تواجه عملية توصيف أنماط الفشل في أنظمة الذكاء الاصطناعي التوليدي حالياً عقبة تتمثل في التكلفة العالية والوقت الطويل اللازمين للتدوين والتقييم. ونتيجة لذلك، اعتمد الممارسون نماذج اختبار تكيفية، حيث يتم تحديد حالات الاختبار وأحجام العينات بشكل انتهازي بناءً على النتائج السابقة (مثل: الفرق الحمراء "red-teaming"، أو التعلم النشط، أو تحسين الحلقة البشرية). ورغم كون هذه المسارات عملية، إلا أنها تنتهك الافتراضات الإحصائية الكلاسيكية: فغالباً ما تكون أحجام العينات صغيرة (10-50 حالة)، كما أن قرارات أخذ العينات أو التوقف تُتخذ ديناميكياً بدلاً من اتباع قواعد محددة مسبقاً.

يعتمد الاستدلال الإحصائي القياسي على مخططات أخذ عينات ثابتة وتقاربات العينات الكبيرة. وتطبيق هذه الأساليب على الاختبار التكيفي يؤدي إلى تضخيم معدلات الخطأ من النوع الأول (Type I error) (على سبيل المثال: "التلاعب بالقيم الاحتمالية p-hacking" عبر المراقبة المستمرة). كما يجعل من الصعب تحديد ماهية الفرضية التي يتم اختبارها بدقة. وتحديداً، فإن اجتياز مجموعة اختبار مستهدفة وتكيفية لا يعني بالضرورة ضمان المتانة الشاملة، كما أن عدم وجود مخطط أخذ عينات محدد مسبقاً لا يسمح باختبار متوسط الأداء. هناك فجوة حرجة في الأطر الإحصائية التي يمكنها دعم الاستدلال الصارم تحت ظروف أخذ العينات التكيفي العشوائي والتوقف الاختياري مع ضمانات العينة المحدودة.

المنهجية

يقترح المؤلفون إطار عمل يصيغ تدقيق متانة الذكاء الاصطناعي من خلال اختباري فرضية "متنافسين" ويستفيد من الاستدلال الآمن الصالح في أي وقت (SAVI) لتوفير ضمانات إحصائية.

1. إطار الفرضيات المتنافسة
يتم صياغة التدقيق كصراع بين فرضيتين صفريتين:

• فرضية النموذج الصفرية ($H_{mod}^0$): تؤكد أن نظام الذكاء الاصطناعي متين عالمياً. رسمياً، لكل المجموعات الفرعية $S$ التي يكون انتشارها $\mu(S) \ge \epsilon$، يكون متوسط الأداء $V(S)$ أعلى من عتبة مستهدفة $q$. رفض هذه الفرضية يعني وجود نمط فشل.
• فرضية المدقق الصفرية ($H_{aud}^0$): تؤكد أن المدقق يمتلك استراتيجية تكيفية محددة $\pi$ ستكتشف في النهاية نمط فشل. رسمياً، يوجد زمن $\tau$ بحيث لكل $t \ge \tau$، تكون المجموعات الفرعية المختارة $S_t^\pi$ ذات أداء أقل من $q$. رفض هذه الفرضية يعني أن التدقيق قد اجتاز (أي أن المدقق فشل في إيجاد نمط فشل).

يثبت البحث أنه في ظل استراتيجية تدقيق متسقة تقاربياً (أي استراتيجية تتقارب نحو إيجاد أنماط الفشل إذا وجدت)، فإن هاتين الفرضيتين الصفريتين هما مكملتان تقاربياً. وبالتالي، فإن رفض فرضية المدقق الصفرية يعد بمثابة شهادة على المتانة الشاملة.

2. الاختبار عن طريق المراهنة وعمليات E (E-Processes)
للتعامل مع أخذ العينات التكيفي العشوائي والتوقف الاختياري، يستخدم المؤلفون إطار عمل "الاختبار عن طريق المراهنة". يُنظر إلى المدقق على أنه يضع رهانات ضد المجموعات الفرعية المشتبه في كونها أنماط فشل. وتحت الفرضية الصفرية، لا ينبغي لأي استراتيجية مراهنة أن تحقق ربحاً.

• عمليات E (E-processes): يتم تتبع ثروة المراهنة عبر عمليات e، وهي النظائر المتسلسلة للقيم الاحتمالية (p-values). تضمن عملية e (المسماة $E_t$) أنه لأي زمن توقف $\tau$، يكون $E_P[E_\tau] \le 1$ تحت الفرضية الصفرية.
• التحكم في الخطأ من النوع الأول: من خلال متباينة فيل (Ville's inequality)، يضمن التوقف عندما تتجاوز عملية e القيمة $1/\alpha$ أن معدل الخطأ من النوع الأول لا يتعدى $\alpha$، بغض النظر عن استراتيجية أخذ العينات التكيفية أو وقت التوقف.

3. إحصائيات الاختبار المحددة
يقترح المؤلفون عدة صيغ لعمليات e لكلا الفرضيتين:

• نسبة الأرجحية (LR): تعتمد على اختبار نسبة الاحتمال المتسلسل (SPRT)، حيث تقارن بين احتمالية الدرجة المرصودة تحت فرضية الفشل ($q-\delta$) مقابل الفرضية الصفرية ($q$).
• الاستدلال العالمي (UI): نسخة تكيفية حيث يتم تقدير احتمال البديل من البيانات (مثل $\hat{\gamma}_{t-1}$) بدلاً من قيمة ثابتة، مما يحسن "الرهان" بناءً على معدلات الفشل المتعلمة.
• امتدادات شيرياف-روبرتس (SR): تدمج هذه الامتدادات كشف نقاط التغيير للتعامل مع السيناريوهات التي يتطلب فيها المدقق "فترة تعلم" قبل تحديد نمط الفشل. وهي تقوم بجمع نسب الأرجحية بدءاً من جميع نقاط التغيير المحتملة، مما يقلل من مخاطر عدم معرفة وقت التأخير.

4. إجراء الاختبار المزدوج
يقوم الإطار بتشغيل عمليات e متزامنة لكل من $H_{mod}^0$ و $H_{aud}^0$. يتوقف الإجراء بمجرد أن يتجاوز أحد الإحصائيات القيمة $1/\alpha$. وبما أن الفرضيتين الصفريتين غير متنافيتين (بناءً على افتراض استراتيجية تدقيق صالحة)، فلا داعى لتصحيح بونفيروني؛ حيث يتم التحكم في معدل الخطأ العائلي (FWER) عند المستوى $\alpha$.

المساهمات الرئيسية

1. صياغة الفرضيات المتنافسة: يضع البحث إطاراً نظرياً حيث يُعرف تدقيق الذكاء الاصطناعي بأنه اختبار فرضية النموذج ضد فرضية المدقق. ويثبت أنه مع وجود مدقق قوي بما يكفي (متسق تقاربياً)، فإن هذين الاختبارين هما مكملان تقاربياً، مما يسمح باستنتاجات ثنائية حول المتانة الشاملة.
2. إجراءات مزدوجة صالحة في أي وقت: قدم المؤلفون عمليات e مزدوجة توفر حدود التوقف لكل من اكتشاف نمط الفشل وشهادة التدقيق. تحافظ هذه الإجراءات على التحكم في الخطأ من النوع الأول في العينات المحدودة تحت ظروف أخذ العينات التكيفية والتوقف الاختياري العشوائي.
3. التحقق التجريبي: أظهرت الدراسة أن الاختبار التكيفي المقترن بعمليات e يحقق استنتاجات دقيقة بشكل أسرع بكثير من الطرق المحددة مسبقاً. وفي بعض الحالات، تم الوصول إلى استنتاجات صالحة إحصائياً باستخدام 20 ملاحظة فقط.

النتائج التجريبية

تم تقييم الإطار في بيئتين:

1. البيانات شبه الاصطناعية (مجموعة بيانات GPQA): قام المؤلفون بمحاكاة خطوط أنابيب ذكاء اصطناعي مع درجات متفاوتة من تدهور الأداء عبر المجموعات الفرعية.

   • الأداء: حقق إجراء SR-LR-UI (إجراء شيرياف-روبرتس مع الاستدلال العالمي) أعلى قوة في اكتشاف أنماط الفشل.
   • المقارنة: تفوقت الاستراتيجيات التكيفية بشكل كبير على الاستراتيجيات المحددة مسبقاً (المدرجة والمسبقة التعلم). غالباً ما فشلت الاستراتيجيات المحددة مسبقاً في اكتشاف أنماط الفشل، مما أدى إلى معدل مرتفع من رفض فرضية المدقق الصفرية (اجتياز التدقيق) حتى عندما لم يكن النظام متيناً، وهو ما يمثل خطراً من سوء التفسير.
   • النموذج المثالي (Oracle): استطاع المدقق المثالي (الذي يعرف نمط الفشل الحقيقي) رفض الفرضية في 15-25 ملاحظة، مما يشير إلى أن استراتيجيات التدقيق الأكثر ذكاءً يمكن أن تقلل من متطلبات العينات بشكل أكبر.
   • التحكم في الخطأ: عندما لم يوجد نمط فشل، نجحت جميع الطرق في اجتياز التدقيق (رفض $H_{aud}^0$) دون اكتشاف أخطاء كاذلة، مما أكد التحكم في الخطأ من النوع الأول.

2. خط أنابيب نماذج لغوية كبيرة حقيقي (ملاحظات سريرية): تم تطبيق الإطار على نموذج لغوي كبير يستخرج المحددات الاجتماعية للصحة (SDoH) من الملاحظات السريرية.

   • التعلم التكيفي: نجح المدقق التكييفي في تعلم زيادة أخذ العينات للفئات ذات الدقة المنخفضة (معامل سبيرمان $\rho = -0.84$ بين تكرار أخذ العينات والدقة).
   • الكفاءة: تطلب إجراء SR-LR-UI أقل عدد من العينات لرفض فرضية النموذج الصفرية (اكتشاف أن النظام ليس متيناً) مقارنة بالطرق الأخرى، باستثناء النموذج المثالي.

الأهمية والادعاءات

يزعم البحث أنه يقدم أول إطار إحصائي يصيغ ما يمكن اختباره وكيفية اختباره في ظل أنظمة تدقيق ذكاء اصطناعي مرنة ومستهدفة للغاية. ومن خلال فصل الصلاحية الإحصائية عن استراتيجية أخذ العينات، فإنه يسمح للممارسين باستخدام اختبارات تكيفية وفعالة في استهلاك الموارد (مثل: الفرق الحمراء، أو التعلم النشط) دون التضحية بالدقة الإحصائية.

يؤكد المؤلفون أنه بينما يدعم الإطار استراتيجيات عشوائية، فإن صلاحية استنتاج "المتانة الشاملة" تعتمد على قوة المدقق. فإذا كان المدقق ضعيفاً (على سبيل المثال: فرق حمراء سيئة)، فقد يجتاز التدقيق حتى لو وجدت أنماط فشل، مما يعيد إلى الأذهان المخاوف من أن التدقيقات سيئة التصميم قد تتحول إلى مجرد "عرض أمني" (Security Theater). يهدف العمل إلى تمكين الممارسين من تقييم متانة الذكاء الاصطناعي بثقة من خلال توفير أساس إحصائي عام لممارسات التدقيق الحديثة والشائعة.