The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean
تحدد هذه الورقة "ارتباكاً مزدوجاً في القياس" في اختبارات أداء وكلاء النماذج اللغوية الكبيرة حيث تحجب السقالات الثابتة والمقاييس المعيبة القدرة الحقيقية للنموذج، وتقترح إطاراً نظرياً للقياس مع بروتوكول للتدقيق والإصلاح لنقل التحكم في التنفيذ إلى النماذج، وتطبيق التقييم القائم على الحقيقة الأرضية، وتقديم مقاييس الموثوقية بما يتجاوز المتوسط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، يعتمد الباحثون على اختبارات معيارية، تُعرف باسم "الاختبارات المرجعية" (benchmarks)، لقياس مدى كفاءة النماذج اللغوية الكبيرة. هذه النماذج مصممة لتعمل كوكلاء، قادرين على استخدام الأدوات الرقمية لحل المشكلات المعقدة، بدءاً من تحليل البيانات وصولاً إلى حجز الرحلات الجوية. ولتحديد النموذج الأفضل، يقوم العلماء بتشغيلها عبر هذه الاختبارات ومقارنة النتائج. والافتراض الضمني هنا هو أن الدرجة الأعلى تعني آلة أكثر ذكاءً وقدرة. ومع ذلك، فإن هذه الثقة ترتكز على فرضية هشة: وهي أن الاختبار نفسه يقيس في الواقع ذكاء الآلة، وليس براعة تصميم الاختبار أو البرمجيات التي تشغله. فإذا كان الاختبار معيباً، تصبح التصنيفات مضللة، مما قد يوجه المطورين والشركات نحو الأدوات الخاطئة.
لقد كشف فريق من الباحثين عن خلل خفي محدد في كيفية بناء هذه الاختبارات المرجعية للوكلاء حالياً، وهي مشكلة أطلقوا عليها اسم "الارتباك المزدوج في القياس" (double measurement confound). واكتشفوا أنه في العديد من الاختبارات الشائعة، يقوم البرنامج الذي يدير التجربة بالقيام بمعظم العمل الشاق، بينما يكتفي الذكاء الاصطناعي بملء الفراغات فقط. علاوة على ذلك، فإن النظام الذي يقيم النتائج غالباً ما يتحقق مما إذا كانت الإجابة تبدو صحيحة في الظاهر، بدلاً من التحقق مما إذا كانت الإجابة صحيحة بالفعل. وعندما يجتمع هذان السببان معاً، فإنهما يخلقان وهماً مثالياً للأداء، حيث يمكن حتى لبرنامج حاسوبي بسيط لا يمتلك أي ذكاء أن يحقق درجات عالية تماماً مثل أكثر أنظمة الذكاء الاصطناعي تقدماً.
ولكشف ذلك، ركز الباحثون على اختبار مرجعي صُمم لاختبار مدى قدرة النماذج على التعامل مع البيانات الواقعية الفوضوية، وتحديداً إحصاءات التجارة التي تحتوي على أخطاء، وتكرارات، وصفحات مفقودة. في النسخة القياسية من هذا الاختبار، يقوم "الغلاف البرمجي" (software wrapper) المحيط بالنموذج بمعالجة كل قرار صعب تلقائياً؛ فإذا فشل مصدر البيانات، يقوم البرنامج بإعادة محاولة الاتصال، وإذا احتوت البيانات على تكرارات، يقوم البرنامج بإزالتها، وإذا كانت البيانات موزعة على صفحات عديدة، يقوم البرنامج بجلبها جميعاً. يُطلب من الذكاء الاصطناعي فقط تحديد نوع البيانات التي يجب البحث عنها ومتى يتوقف. ولأن البرنامج يقوم بكل العمل الحاسم، فإن النتائج تكون متطابقة بغض النظر عن النموذج المستخدم. وفي حالة صارخة ومثيرة للاهتمام، حقق اثنان من أقوى النماذج في العالم، جنباً إلى جنب مع نص برمجي بسيط يعتمد على القواعد ولا يستخدم الذكاء الاصطناعي على الإطلاق، درجات كاملة متقاربة جداً. لم يكن الاختبار يقيس النماذج، بل كان يقيس البرنامج الذي يشغلها.
ويكمن الجزء الثاني من المشكلة في كيفية تقييم النتائج. فنظام التقييم القياسي في هذه الاختبارات ينظر إلى تنسيق الإرسال؛ فهو يتحقق مما إذا كان النموذج قد قدم سجلاً لأفعاله وما إذا كان هيكل البيانات يبدو مرتباً، لكنه لا يقارن البيانات المرسلة بالإجابة الصحيحة الفعلية. وقد أظهر الباحثون أنه يمكن لنموذج ما أن يقدم مجموعة ملفقة تماماً من السجلات الوهمية، طالما أن الملف يبدو منظماً بشكل جيد والسجل مكتوب بطريقة صحيحة، وسيحصل على نفس الدرجة العالية التي يحصل عليها نموذج قدم بيانات صحيحة ومثالية. وهذا يعني أن الاختبار كان يكافئ مظهر العمل بدلاً من العمل نفسه.
أدرك الباحثون أن إصلاح أحد هذين المشكلتين فقط ليس كافياً. فلو قاموا فقط بتغيير نظام التقييم للتحقق من الحقيقة، لظلت النماذج متعادلة لأن البرنامج لا يزال يقوم بكل العمل. ولو قاموا فقط بإزالة مساعدة البرنامج، لظل نظام التقييم المعيب يخفي إخفاقات النماذج. كان عليهم إزالة كلا الأمرين في وقت واحد. فقد جردوا البرنامج المساعد من قدراته، مما أجبر الذكاء الاصطناعي على اتخاذ كل قرار بشأن إعادة محاولة الاتصال، وإزالة التكرارات، وجلب الصفحات. ثم استبدلوا المقيم الذي يفحص التنسيق بنظام يقارن مخرجات النموذج مباشرة بالإجابة الصحيحة المعروفة.
وعندما طبقوا هذا "الإصلاح المزدوج"، تحول لوحة المتصدرين المسطحة وغير المعلوماتية إلى طيف واضح من القدرات. وفجأة، أصبح من الممكن التمييز بين النماذج. فقد حافظت النماذج الأكثر كفاءة على درجات عالية، مما أثبت قدرتها على التعامل مع المهام الصعبة عندما تُترك لشأنها. ومع ذلك، فإن النماذج الأخرى التي سجلت درجات عالية سابقاً انخفضت درجاتها إلى الصفر، مما كشف أنها كانت تعتمد كلياً على البرنامج المساعد لتعمل. كما تبين أن بعض النماذج التي بدت قوية في المتوسط كانت غير موثوقة بشكل خطير، حيث فشلت تماماً في مواقف معينة، بينما أثبتت نماذج أصغر وأقل شهرة أنها ثابتة ومتماسكة بشكل مفاجئ.
كما كشفت الدراسة أن موثوقية هذه النماذج تختلف بشكل هائل اعتماداً على الظروف المحددة للاختبار. فقد يبدو نموذج ما ممتازاً في المتوسط، لكنه يفشل تماماً في أسوأ سيناريو له، وهو تفصيل غالباً ما تخفيه الاختبارات القياسية. ومن خلال النظر في نتائج هذه الحالات الأسوأ، وجد الباحثون أن ترتيب النماذج قد تغير تماماً؛ فالنموذج الذي بدا كأداء عالٍ بناءً على متوسط الدرجات كان في الواقع الأكثر هشاشة، بينما ثبت أن نموذجاً أصغر كان سابقاً مغفولاً عنه هو الأكثر موثوقية.
هذا العمل يتجاوز مجرد اختبار واحد؛ فقد طبق الباحثون منهجية التدقيق الجديدة الخاصة بهم على اختبارات مرجعية أخرى ووجدوا نفس المشكلات. ففي بعض الحالات، كان نظام التقييم محدداً بالاختبار ويعمل بشكل صحيح، لكن البرنامج الذي يدير الاختبار كان لا يزال يقوم بالكثير من العمل، مما جعل التصنيفات تعتمد على نسخة البرنامج المستخدمة. وفي حالات أخرى، كان نظام التقييم نفسه معيباً، ويكافئ الأشياء الخاطئة. وخلص الباحثون إلى أنه لفهم وكيل الذكاء الاصطناعي حقاً، يجب أن نعرف بالضبط مقدار العمل الذي يقوم به الوكيل مقابل مقدار العمل الذي يقوم به الاختبار نيابة عنه، ويجب أن نقيم الوكيل بناءً على حقيقة إجاباته، وليس فقط على أناقة عرضها. وبدون هذه التغييرات، فإن الدرجات التي نراها اليوم قد تكون تقيس الاختبار نفسه بدلاً من الذكاء الذي تدعي تقييمه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.