💬 NLP

Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks

تقيم هذه الورقة الصلاحية التنبؤية لمعايير القياس المعتمدة على نطاق واسع في مجال المنطق العام عبر اختبار ٢٣ نموذجاً عبر مهام متنوعة، وتجد أن هذه المعايير لا تقدم سوى أدلة تعتمد على المهمة، بدلاً من تقديم أدلة عامة، حول كفاءة النماذج اللغوية الكبيرة في مهام الاستدلال الواقعي في التطبيقات اللاحقة.

المؤلفون الأصليون: Ine Gevers, Walter Daelemans

نُشر 2026-08-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ine Gevers, Walter Daelemans

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة ما إذا كان طالب جديد ذكياً أم لا. فتقوم بإعطائه اختباراً معيارياً يتكون من أسئلة اختيار من متعدد حول الحياة اليومية، مثل "إذا أسقطتُ كأساً، هل سينكسر؟" أو "لماذا يبكي الصبي؟". إذا حصل على درجة عالية، تفترض أنه جيد في فهم العالم. هكذا يختبر العلماء حالياً الذكاء الاصطناعي؛ فهم يستخدمون "المقاييس المرجعية" (benchmarks)—وهي عبارة عن اختبارات قصيرة ثابتة صُممت لمعرفة ما إذا كان لدى الذكاء الاصطناعي "منطق عام" (commonsense)، وهو مجرد مصطلح منمق يشير إلى القواعد الأساسية غير المكتوبة لكيفية عمل العالم والناس والفيزياء. لكن هنا تكمن المشكلة: مجرد حصول الطالب على درجة كاملة في اختبار اختيار من متعدد لا يعني بالضرورة أنه يستطيع التعامل مع موقف في الحياة الواقعية، مثل التفاوض مع صديق أو إصلاح لعبة مكسورة. السؤال الكبير الذي يطرحه الباحثون هو: هل تتنبأ درجات هذه الاختبارات حقاً بمدى جودة تعامل الذكاء الاصطناعي مع المهام الواقعية، أم أنها مجرد جيدة في اجتياز الاختبار نفسه؟

تذهب هذه الورقة البحثية، التي تحمل عنوان "قياس المقاييس المرجعية" (Benchmarking the Benchmarks)، في مهمة استقصائية لمعرفة ما إذا كانت هذه الاختبارات الشهيرة للذكاء الاصطناعي مفيدة حقاً. لقد عامل المؤلفان، إيني جيفيرز ووالتر داليمان، هذه المقاييس المرجعية مثل توقعات الطقس؛ فقد أرادا معرفة ما إذا كان التوقع بـ "جو مشمس" (درجة مرتفعة في المقياس) يعني حقاً أن اليوم سيكون مشمساً (أي أن الذكاء الاصطناعي سينجح في مهمة واقعية). ولإجراء هذا الاختبار، لم يكتفيا بالنظر في اختبار واحد، بل جمعا 23 نموذجاً مختلفاً للذكاء الاصطناعي (تخيلهم كـ 23 طالباً مختلفاً) وأعطوهم أربعة اختبارات شهيرة للمنطق العام، بالإضافة إلى أربع نسخ "معدلة" من نفس تلك الاختبارات والتي تم تنظيفها لإزالة الأخطاء المربكة. بعد ذلك، راقبا كيف أدت هذه النماذج نفسها في ثمانية تحديات مختلفة أكثر تعقيداً من الواقع، مثل معرفة ما إذا كان شخص ما يسخر، أو فهم المعاني الضمنية في محادثة، أو التنبؤ بما سيحدث لاحقاً في حدث فيزيائي.

قد تكون النتائج مفاجئة لك. فقد وجد المؤلفان أن تنظيف الاختبارات لم يجعلها أفضل في التنبؤ بالأداء في العالم الحقيقي. الأمر يشبه إجراء اختبار رياضيات، ثم مسح الأخطاء المطبعية وإعادة طباعته؛ فالطلاب الذين حصلوا على درجة (أ) من قبل سيحصلون على (أ) أيضاً، والذين واجهوا صعوبة سيظلون يعانون، لكن الاختبار لا يزال لا يخبرك ما إذا كان بإمكانهم بالفعل إصلاح سيارة. في الواقع، بالنسبة لمعظم المهام الواقعية، كانت درجات الاختبارات متنبئات سيئة للغاية. الحالات الوحيدة التي كانت فيها الاختبارات مفيدة هي لمهام محددة جداً: مثل فهم "الاعتقادات الخاطئة" (إدراك أن شخصاً آخر قد يعرف شيئاً لا تعرفه أنت) و"TRIP" (التنبؤ بالخطوات الفيزيائية لحدث ما). وحتى في هذه الحالات، لم يكن الارتباط مثالياً.

تشير الدراسة إلى أن هذه المقاييس المرجعية لا تقيس "قوة خارقة" واحدة وعامة للمنطق العام. بدلاً من ذلك، هي تقيس مدى قدرة النموذج على اجتياز نوع محدد من اختبارات الاختيار من متعدد. إذا كنت تريد ذكاءً اصطناعياً جيداً في فهم السخرية أو المشاعر الاجتماعية، فإن حصوله على درجة عالية في هذه الاختبارات المعيارية لا يضمن ذلك. ويخلص المؤلفان إلى أنه لا يمكننا مجرد النظر إلى لوحة المتصدرين وافتراض أن الذكاء الاصطناعي الأعلى هو الأذكى لكل وظيفة. الدرجات مفيدة لبعض الأشياء الضيقة جداً، لكنها ليست كرة بلورية سحرية للذكاء العام. وتجادل الورقة بأننا بحاجة إلى التوقف عن افتراض أن إصلاح أسئلة الاختبار يؤدي تلقائياً إلى إصلاح قدرة الاختبار على التنبؤ بالنجاح في العالم الحقيقي، وبدلاً من ذلك، التركيز على اختبار الذكاء الاصطناعي بطرق تشبه العالم الحقيقي فعلياً.

أبحاث مشابهة