CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

في السباق لبناء آلات أكثر ذكاءً، يعتمد الباحثون على اختبارات معيارية لقياس مدى قدرة الذكاء الاصطناعي على حل المشكلات. هذه الاختبارات تشبه الامتحانات المدرسية: مجموعة من الأسئلة ذات الإجابات المعروفة التي يجب على النموذج حلها للحصول على درجة. وكلما ارتفعت الدرجة، اعتُبرت الآلة أكثر قدرة. ومع ذلك، خيم ظل على هذه النتائج؛ فبسبب نشر هذه الاختبارات عبر الإنترنت، غالبًا ما تكون الأسئلة والإجابات متاحة على الشبكة حيث تتعلم الآلات. وهناك خوف متزايد من أن الدرجات العالية لا تثبت دائمًا ذكاء الآلة، بل قد تثبت ببساطة أنها حفظت أسئلة الاختبار أثناء تدريبها. فإذا كانت الآلة قد رأت الأسئلة ذاتها من قبل، فإن درجتها ستكون مضخمة، ويصبح تصنيف النماذج المختلفة بمثابة منافسة في الذاكرة بدلاً من التفكير المنطقي.

يخلق هذا مشكلة صعبة لأي شخص يحاول تقييم هذه الآلات بإنصاف. فمعظم النماذج القوية هي "صناديق سوداء"، مما يعني أن بيانات تدريبها الداخلية سرية. ولا يمكن للمدقق ببساطة النظر داخل الآلة ليرى ما إذا كانت قد حفظت سؤالاً معيئاً، بل يمكنه فقط رؤية الدرجة النهائية. ولسنوات، كانت الطريقة المثلى للتحقق من الحفظ هي إعادة صياغة الأسئلة. فإذا كان النموذج يفهم حقاً الرياضيات أو العلوم وراء المشكلة، فينبغي عليه حل نسخة معاد صياغتها بنفس كفاءة النسخة الأصلية. وإذا فشل في النسخة المعاد صياغتها، فمن المرجح أنه حفظ النسخة الأصلية فقط. لكن هذه الطريقة تنطوي على عيب خفي: فهي تفترض أنه إذا أجاب النموذج على السؤال المعاد صياغته بشكل صحيح، فإنه قد تعلم المفهوم. أما إذا أجاب على السؤال المعاد صياغته بشكل صحيح لمجرد أنه حفظ مفتاح الإجابة، فإن الاختبار سيفشل في كشف عملية الحفظ.

قام فريق من الباحثين بتطوير طريقة أفضل لتدقيق هذه الدرجات دون الحاجة إلى رؤية ما بداخل الصندوق الأسود. لقد طوروا طريقة تسمى "CleanScore"، والتي تعامل كل سؤال اختبار كأب له ثلاثة أبناء: السؤال العام الأصلي، ونسختان جديدتان مكتوبتان بخصوصية، تحافظان على نفس الأرقام والحقائق ولكن تستخدمان كلمات مختلفة. طلب الباحثون من خمسة نماذج مختلفة مفتوحة المصدر حل 200 سؤال من معيارين رئيسيين، أحدهما يركز على الرياضيات والآخر على العلوم. ولكل سؤال، قارنوا مدى أداء النماذج في النسخة العامة الأصلية مقابل النسختين الجديدتين. وإذا سجلت النماذج درجات أعلى باستمرار في النسخة العامة، فسيشير ذلك إلى أنها حفظت الاختبار.

ولم يجد التدقيق أي دليل على هذا النوع من الحفظ. ففي جميع النماذج الخمسة وكلا المعيارين، لم تكن الدرجات في الأسئلة العامة أعلى بشكل ملحوظ من الدرجات في الأسئلة الجديدة المعاد صياغتها. وحسب الباحثون أن أي ميزة اكتُسبت من رؤية الصياغة العامة كانت على الأرج� أقل من خمس نقاط مئوية. وقد صمدت هذه النتيجة حتى بعد أن قام الفريق بإصلاح خطأ تقني في إعدادهم الأولي حيث تم قطع بعض النماذج قبل إنهاء إجاباتها. كما تضمنت الدراسة "ضبطاً سلبياً"، وهو مجموعة من الأسئلة التي لم ترها النماذج من قبل ولم يكن بإمكانها حفظها، لضمان أن عملية إعادة الصياغة نفسها لم تجعل الأسئلة أصعب أو أسهل. وأظهرت النتائج أن عملية إعادة الصياغة كانت عادلة، وأن غياب فجوة الدرجات كان نتيجة حقيقية وليس نتاج تصميم الاختبار.

ومع ذلك، فإن الجزء الأكثر إثارة في الدراسة جاء من سلسلة من التجارب المصممة لمعرفة ما قد يغفل عنه التدقيق. فقد قام الباحثون عمداً بتدريب أربعة نماذج مختلفة على الصياغة الدقيقة لـ 100 من أسئلة الاختبار. ثم أجروا نفس التدقيق ليروا ما إذا كان سيكتشف الحفظ. في معيار الرياضيات، تحسنت دقة النماذج التي حفظت الأسئلة بمقدار 26 نقطة في الصياغة المحفوظة. ولكن عند اختبارها في النسخ الجديدة المعاد صياغتها لنفس الأسئلة، تحسنت أيضاً بمقدار 20 نقطة. وقد رأى التدقيق، الذي ينظر فقط إلى الفرق بين الأصل وإعادة الصياغة، فجوة قدرها ست نقاط فقط. بعبارة أخرى، لم يكتشف التدقيق إلا جزءاً ضئيلاً من الحفظ. فالجزء الأكبر من الميزة — الجزء الذي جاء من فهم المشكلة بدلاً من مجرد حفظ الكلمات — كان غير مرئي للاختبار.

كان هذا العمى أكثر حدة في معيار العلوم. ففي إحدى التجارب، درب الباحثون نموذجاً على 100 سؤال علمي ثم اختبروه على النسخ المعاد صياغتها. تحسنت دقة النموذج بمقدار 49 نقطة في الأسئلة المحفوظة. ولأن النسخ المعاد صياغتها احتفظت بخيارات الإجابة المتعددة كما هي تماماً، فقد سجل النموذج درجات كاملة في النسخ المعاد صياغتها، ببساطة عن طريق التعرف على سلسلة الإجابة الصحيحة التي حفظها. وحسب التدقيق فجوة قدرها سالب نقطتين، مما يعني فعلياً عدم رؤية أي حفظ. لقد تعلم النموذج الإجابات، لكن تصميم الاختبار، الذي أبقى خيارات الإجابة ثابتة، سمح لتلك المعرفة بالاختباء في وضح النهار.

خلص الباحثون إلى أنه بينما نجحت طريقتهم في قياس ما إذا كان النموذج يعتمد على الصياغة السطحية المحددة للسؤال، إلا أنها لم تستطع قيşاس إجمالي مقدار التلوث بالبيانات. يمكن للنموذج أن يكون مدرباً بكثافة على مجموعة بيانات ومع ذلك يظهر كأنه "نظيف" إذا تمت إعادة صياغة أسئلة الاختبار بطريقة تحافظ على الجوهر الأساسي للإجابة. أظهرت الدراسة أنه بالنسبة للنماذج الخمسة التي تم تدقيقها، لم يكن هناك دليل قوي على أنها حفظت الصياغة المحددة لأسئلة الاختبار. لكنها أثبتت أيضاً أن الحصول على درجة "نظيفة" لا يضمن أن النموذج لم يرَ المادة من قبل؛ بل يضمن فقط أن النموذج لم يعتمد على الصياغة الدقيقة. لقد نجح التدقيق في تحديد حدود التضخم السطحي، لكنه لم يستطع استبعاد أن النماذج قد تعلمت المادة بطريقة صمدت أمام عملية إعادة الصياغة.

كما سلطت الدراسة الضوء على حدود صغر حجم التدقيق. وجد الباحثون أنه لكي يتمكن التدقيق من كشف ميزة كبيرة بشكل موثوق، فإنه يحتاج إلى اختبار 200 سؤال على الأقل. فمع عدد أقل من الأسئلة، يكون عدم اليقين الإحصائي كبيراً جداً بحيث لا يستطيع الاختبار التمييز بين الميزة الحقيقية والضجيج العشوائي. كما أظهروا أنه بينما يمكن ترتيب النماذج بشكل صحيح باستخدام عدد أقل من الأسئلة، فإن تحديد الترتيب الدقيق للأداء يتطلب عينة أكبر بكثير. إن هذا العمل يعد تجربة مسجلة وصارمة تضع معياراً جديداً لكيفية التحدث عن عدم اليقين في اختبارات الذكاء الاصطناعي. فهو لا يعلن براءة النماذج من كل أنواع الحفظ، ولكنه يقدم بياناً واضحاً وصادقاً حول ما يمكن للبيانات وما لا يمكنها إظهاره عندما تتوفر فقط الدرجات النهائية.