Position: Evaluation Scores Are Perishable Knowledge Claims

فخ بطاقة النتائج: لماذا يمكن أن يكون "المتوسط" كذبة

تخيل أنك محقق يحاول حل لغز باستخدام أدلة من ثلاثة شهود مختلفين. الشاهد الأول هو روبوت فائق الدقة لا يكذب أبداً، لكنه لم يرَ الجريمة إلا من بعيد. والشاهد الثاني هو إنسان ثرثار رأى كل شيء عن قرب، لكنه أحياناً يختلق الأمور ليبدو رائعاً. أما الشاهد الثالث فهو مرآة تكرر فقط ما يقوله المشتبه به. إذا أخذت "متوسط" قصصهم، فقد تحصل على نسخة مرتبة ومتوازنة من الأحداث تبدو منطقية تماماً. لكن هنا تكمن الخدعة: إذا قال الشاهد البشري إن المشتبه به كان يرتدي قبعة حمراء (بينما كان يرتدي زرقاء في الواقع)، فإن تفصيلاً واحداً خاطئاً يفسد القصة بأكملها، بغض النظر عن مدى مثالية وصف الروبوت للطقس. في عالم الذكاء الاصطناعي، وتحديداً عندما نحاول قياس مدى ذكاء هذه العقول الحاسوبية، غالباً ما نرتكب هذا الخطأ ذاته. نحن نعامل درجات الاختبار كأنها مسائل رياضية بسيطة حيث يمكننا فقط جمعها وقسمتها على عدد الاختبارات للحصول على "درجة نهائية". لكن مؤلفي هذا البحث يجادلون بأن هذه الدرجات ليست مجرد أرقام؛ بل هي ادعاءات حول الحقيقة لها تواريخ انتهاء، وحدود محددة لنطاق تطبيقها، ومستويات مختلفة من الموثوقية. إذا تجاهلنا هذه القواعد الخفية وقمنا بجمع كل شيء معاً عبر المتوسط، فإننا ننتهي بما يسمى "تضخم الثقة" (Trust Inflation)—وهي طريقة منمقة للقول بأننا نصبح مفرطين في الثقة بنظام قد يكون في الواقع معطلاً في أكثر جوانبه خطورة.

الفكرة الكبرى للورقة البحثية: توقف عن حساب المتوسط، وابدأ بفحص الحلقة الأضعف

تجادل الورقة البحثية، التي كتبها سانكالب وشلوك جيلدا، بأن الطريقة الحالية لتصنيف نماذج الذكاء الاصطناعي معيبة جوهرياً لأنها تعامل جميع نتائج الاختبارات كما لو كانت متساوية في القوة والديمومة. يطلق المؤلفون على هذه المشكلة اسم "تضخم الثقة". يحدث هذا عندما نمزج أنواعاً مختلفة من الأدلة—مثل الفحوصات الحاسوبية الآلية، والآراء البشرية، والحكام من الذكاء الاصطناعي—في درجة "متوسطة" واحدة. المشكلة هي أن نقطة ضعف واحدة يمكن أن تدمر الصورة بأكملها، لكن المتوسط يخفي هذا الضعف.

ولتوضيح ذلك، يستخدم المؤلفون تشبيهاً بسيطاً: تخيل سلسلة. قوة السلسلة بأكملها لا تتحدد بمتوسط قوة جميع حلقاتها، بل تتحدد بـ أضعف حلقة. إذا كان لديك سلسلة تتكون من 99 حلقة مصنوعة من الفولاذ وحلقة واحدة مصنوعة من الورق، فإن السلسلة بأكملها ستنقطع تحت وزن ريشة. وبالمثل، إذا كان نموذج الذكاء الاصطناعي بارعاً في كتابة الشعر ولكنه سيء جداً في قول الحقيقة (الواقعية/الصدق)، فإن درجة "المتوسط" قد تجعله يبدو كنموذج جيد وشامل. ولكن في العالم الحقيقي، إذا استُخدم هذا الذكاء الاصطناعي لتقديم نصائح طبية، فإن عدم قدرته على قول الحقيقة سيكون كارثة، بغض النظر عن مدى جمال شعره.

تقترح الورقة أن نتوقف عن استخدام "المتوسط" كطريقتنا الافتراضية. بدلاً من ذلك، يجب أن نستخدم نهج "الحلقة الأضعف"، خاصة للمهام الحرجة المتعلقة بالسلامة. وهذا يعني أنه إذا فشل الذكاء الاصطناعي في اختبار واحد مهم، فيجب أن تنخفض تقييماته الإجمالية لتعكس هذا الفشل، لا أن يتم رفعه بفضل درجاته الجيدة الأخرى.

القواعد الثلاث لحقيقة الذكاء الاصطناعي

يقترح المؤلفون أن كل درجة اختبار للذكاء الاصطناعي يجب أن تأتي مع "ملصق" يخبرنا بثلاثة أشياء محددة، تماماً كما تخبرك العبوة الغذائية بما يوجد بداخلها، ومن أين أتت، ومتى تنتهي صلاحيتها:

1. الرسمية (ما مدى قوة الدليل؟): ليست كل الاختبارات متساوية. تضع الورقة نظام "فئات":

   • الفئة F0 (الأضعف): وتشمل الدرجات الناتجة عن نماذج ذكاء اصطناعي أخرى تحكم على العمل أو الآراء المستمدة من التعهيد الجماعي. يشير المؤلفون إلى أنه لا يمكن الوثوق بهذه الدرجات إلا بسقف موثوقية قدره 0.70، لأن الحكام من الذكاء الاصطناعي غالباً ما يميلون للإعجاب بالإجابات الطويلة والمنمقة حتى لو كانت خاطئة.
   • الفئتان F1 وF2 (الأقوى): وهي فحوصات حاسوبية مهيكلة أو اختبارات بشرية منضبطة. هي أكثر موثوقية، ولكن حتى الاختبارات البشرية لها حدود (موثوقية تصل إلى 0.95).
   • الفئة F3 (الأقوى على الإطلاق): وهي البرهان الرياضي الرسمي. هذا هو الشيء الوحيد الذي يمكن أن يصل إلى موثوقية كاملة (1.00).
   • القاعدة: إذا مزجت درجة من الفئة F0 مع درجة من الفئة F2، فإن النتيجة الإجمالية تُقيد عند مستوى F0 (أي 0.70). لا يمكنك جعل الاختبار الضعيف قوياً بمجرد إضافة اختبار قوي إليه.

2. النطاق (أين ينطبق هذا؟): درجة الاختبار صحيحة فقط للحالة المحددة التي اختُبرت فيها. إذا تم اختبار الذكاء الاصطناعي على أسئلة باللغة الإنجليزية، فهذا لا يعني أنه جيد في اللغة الإسبانية. وإذا اختُبر على المعرفة العامة، فهذا لا يعني أنه جيد في الاستشارات القانونية. تجادل الورقة بأن الدرجات يجب أن توضح حدودها صراحةً حتى لا نستخدمها بالخطأ في المكان غير المناسب.

3. نوافذ الصلاحية (متى تنتهي صلاحيته؟): لدرجات الاختبار عمر افتراضي. تماماً مثل الحليب، فهي تفسد. يشير المؤلفون إلى أنه بمجرد أن يرى نموذج الذكاء الاصطناعي أسئلة الاختبار أثناء مرحلة التدريب (وهي مشكلة تسمى "التلوث")، تصبح الدرجة بلا معنى. يقترحون أن يكون لكل درجة تاريخ انتهاء صلاحية. فرأي مولد بواسطة الذكاء الاصطناعي قد يكون صالحاً لبضعة أسابيع فقط، بينما البرهان الرياضي الرسمي قد يدوم للأبد.

أدلة من العالم الحقيقي: "تضخم الثقة" في الواقع

لم يتحدث المؤلفون عن النظرية فحسب؛ بل بنوا نظام اختبار حقيقي لوكلاء الذكاء الاصطناعي ووجدوا بعض الأخطاء المخيفة.

• الخطأ الصامت: اكتشفوا أن وجود عدم تطابق بين لغات الكود البرمجي الخاصة بهم تسبب في تسجيل كل فشل على أنه نجاح. كان النظام يكذب عليهم، مما أدى لتضخم الدرجات دون أن يلاحظ أحد. هذا هو "تضخم الثقة" على مستوى البنية التحتية.
• كذبة "المتوسط": اختبروا هذه النظرية على لوحة صدارة عامة مشهورة تسمى HELM. نظروا في 54 نموذجاً من أفضل نماذج الذكاء الاصطناي عبر 10 سيناريوهات مختلفة.
  • عندما قاموا بترتيب النماذج حسب درجة المتوسط، كانت أفضل 5 نماذج تشكل مجموعة معينة.
  • وعندما قاموا بترتيبها حسب الحلقة الأضعف (أقل درجة في أي فئة)، كانت أفضل 5 نماذج هي مجموعة مختلفة تماماً.
  • في الواقع، كان التداخل بين قائمتي "أفضل 5" معدوماً. النماذج التي بدت كأفضل النماذج "الشاملة" باستخدام الطريقة القديمة (المتوسط) كانت في الواقع تمتلك أكبر نقاط الضعف الخفية. أما النماذج التي بدت "متوسطة" بالطريقة القديمة، فقد كانت هي الأكثر موثوقية لأنها لم تكن تعاني من أي إخفاقات كارثية.

ماذا يعني هذا للمستقبل؟

تختتم الورقة البحثية بدعوة للعمل موجهة لمجتمع الذكاء الاصطناعي. يريدون منا التوقف عن إخفاء الرياضيات وراء الدرجات.

• أظهر عملك: يجب أن تحمل كل درجة ملصقاً يوضح مدى قوة الدليل، وما الذي ينطبق عليه، ومتى تنتهي صلاحيته.
• اختر ما تفضله: إذا كان لا بد من دمج الدرجات، فيجب أن نعترف بالطريقة التي نستخدمها. هل نحن متفائلون (باستخدام المتوسط) أم متحفظون (باستخدام الحلقة الأضعف)؟ تجادل الورقة بأنه من أجل السلامة، يجب أن نعتمد طريقة "الحلقة الأضعف" المتحفظة كوضع افتراضي، ولكن على الأقل يجب أن نعترف بأننا اتخذنا هذا الخيار.
• التحكم في الإصدارات: تماماً مثل كود البرمجيات، يجب أن تكون الطريقة التي نسجل بها نتائج الاختبارات ذات إصدارات محددة حتى لا نقارن "التفاح بالبرتقال" عن طريق الخطأ.

يعترف المؤلفون بأن هذه "ورقة موقف" (Position Paper)، مما يعني أنهم يقترحون طريقة جديدة للتفكير بناءً على منطق قوي وخبرة هندسية، بدلاً من تجربة ضخمة جديدة تثبت أن كل شيء صحيح بنسبة 100%. وهم يقرون بأن كوننا متحفظين للغاية قد يجعل النماذج الجيدة تبدو سيئة، لكنهم يجادلون بأن من الأفضل أن نكون آمنين بدلاً من نشر نظام يبدو رائعاً في المتوسط ولكنه يفشل بطريقة تؤذي الناس. من خلال جعل "الحالة الإبستمية" (أي صدق الحدود والقيود) للدرجات شفافة، يمكننا اتخاذ قرارات أفضل بشأن أنظمة الذكاء الاصطناعي التي يمكننا الوثوق بها.