Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability
تقدم هذه الورقة "Gakucho"، وهو معيار مرجعي متعدد الوسائط واسع النطاق مستمد من التقييم الوطني للقدرات الأكاديمية في اليابان، والذي يتميز بـ 900,000 توزيع مجمع لاستجابات الطلاب لتمكين التقييم المباشر، المرتكز على العنصر البشري، لنماذج اللغات الكبيرة متعددة الوسائط في مهام تعليمية حقيقية للمراحل من الروضة وحتى الصف الثاني عشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد اختبار مدى ذكاء روبوت جديد. عادةً، قد تعطيه اختباراً وهمياً أو مسألة من كتاب مدرسي تبدو مثالية على شاشة الكمبيوتر. لكن هذه الورقة البحثية تقول: "دعونا نجرب شيئاً مختلفاً". بدلاً من اختبار وهمي، دعونا نعطي الروبوت امتحاناً حقيقياً فعلياً من مرحلة المدرسة المتوسطة في اليابان، وهو نفس النوع الذي خضع له 900,000 طالب حقيقي.
إليك تفصيل بسيط لما فعله الباحثون وما وجدوه:
1. "مطبخ الاختبار" الواقعي
أخذ الباحثون امتحانات رسمية من التقييم الوطني للقدرات الأكاديمية في اليابان. هذه ليست ملفات نصية رقمية نظيفة، بل هي وثائق واقعية وفوضوية مليئة بـ:
- الرسوم التخطيطية والخرائط: مثل خريطة طقس بها خطوط متعرجة.
- فقاعات الكلام: نصوص داخل فقاعات تشبه الرسوم المتحركة.
- النصوص العمودية: اللغة اليابانية تُكتب غالباً من الأعلى إلى الأسفل، وهو أمر صعب على أجهزة الكمبيوتر.
- الجداول والمخططات: أرقام مرتبة في شبكات.
فكر في الأمر كأنك تحاول قراءة وصفة مكتوبة على منديل مجعد وبجانبها رسم توضيحي لوعاء، بدلاً من ملف PDF رقمي نظيف. كان على الباحثين "ترجمة" هذه الصفحات الفوضوية بعناية إلى تنسيق يمكن لأجهزة الكمبيوتر فهمه دون فقدان المظهر أو الشعور الأصلي.
2. المكون السري: "الحشد البشري"
الجزء الأكثر روعة في هذا المشروع هو أنهم لم يكتفوا بالاحتفاظ بالأسئلة فقط؛ بل احتفظوا أيضاً بإجابات 900,000 طالب حقيقي.
تخيل أن لديك سؤالاً في اختبار. عادةً، أنت تعرف فقط الإجابة "الصحيحة". هنا، يعرف الباحثون بالضبط ما هي نسبة الطلاب الذين أجابوا بشكل صحيح، وما هي نسبة الذين أخطأوا، وكيف أخطأوا.
- لماذا هذا مهم: يتيح ذلك للباحثين مقارنة عقل الروبوت مباشرة مع عقول حشد هائل من البشر. يمكنهم رؤية: "هل ارتكب الروبوت نفس الخطأ الذي يرتكبه البشر، أم أنه ارتكب خطأً غريباً خاصاً بالروبوتات؟"
3. اختبار الروبوتات
قاموا بتغذية هذه الامتحانات الحقيقية لعدة نماذج ذكاء اصطناعي شهيرة (مثل GPT-4 وGemini وClaude) لمعرفة كيف كان أداؤها.
النتائج:
- العلوم: كانت الروبوتات جيدة جداً، خاصة عندما استطاعت "رؤية" الرسوم التخطيطية. الأمر يشبه أنها فهمت أخيراً أن صورة البركان مهمة للسؤال.
- الرياضيات: كانت رائعة في الأرقام البسيطة، لكنها تعثرت عندما تطلبت الرياضيات قراءة رسم بياني أو شكل مرسوم بطريقة غريبة. إذا لم يستطع الروبوت "قراءة" الصورة، فلن يتمكن من حل المسألة الرياضية.
- اللغة اليابانية: كانت هذه هي الأصعب. واجهت الروبوتات صعوبة في التعامل مع النصوص المكتوبة عمودياً وفي التعرف على رموز (كانجي) محددة داخل الصور. الأمر يشبه أن تطلب من روبوت قراءة ملاحظة مكتوبة بخط اليد على منديل؛ فغالباً ما كان يخمن أو يبتدع كلمات بدلاً من القراءة بدقة مما هو موجود فعلياً.
4. مشكلة "القاضي"
جرب الباحثون طريقتين لتصحيح إجابات الروبوتات:
- المعلمون البشريون: أشخاص حقيقيون قرأوا الإجابات.
- قضاة الذكاء الاصطناعي: ذكاء اصطناعي آخر (GPT-4o) قام بتصحيح إجابات الذكاء الاصطناعي الأول.
المفاجأة:
- بالنسبة للعلوم والرياضيات، كان قاضي الذكاء الاصطناعي بديلاً جيداً للمعلم البشري. لقد اتفقوا في الغالب حول من نجح ومن رسب.
- بالنسبة للغة اليابانية، كان قاضي الذكاء الاصطناعي مرتبكاً. لقد اختلف كثيراً مع البشر. تشير الورقة البحثية إلى أنه بالنسبة للمهام اللغوية المعقدة، لا يمكنك الوثوق بمجرد ذكاء اصطناعي ليقيم ذكاءً اصطناعياً آخر؛ لا تزال بحاجة إلى وجود بشري في العملية.
5. أين تعثرت الروبوتات
تسلط الورقة الضوء على بعض الإخفاقات المضحكة ولكنها كاشفة:
- مشكلة "الاقتباس المزيف": عندما طُلب من الروبوت "نسخ هذه الجملة تماماً من الصورة"، كان الروبوت أحياناً يبتدع جملة تبدو صحيحة ولكنها لم تكن موجودة بالفعل. لقد قام بـ "الهلوسة" بدلاً من القراءة.
- مشكلة "الرسم": سأل أحد الأسئلة الروبوت أن ينظر إلى رمز ياباني محدد ويشرح سبب عدم توازن شكله البصري. لم تستطع الروبوتات "رؤية" التفاصيل الدقيقة للرسم بشكل جيد بما يكفي للإجابة.
الخلاصة
بنت هذه الورقة البحثية ملعباً واقعياً جديداً لاختبار الذكاء الاصطناعي. بدلاً من اختبار الروبوتات على بيانات نظيفة ومثالية، اختبرتهم على الواقع الفوضوي والبصري والمعقد لامتحان مدرسي حقيقي.
وجدوا أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال يعاني مع "المنطق البصري" الخاص بالامتحانات الواقعية، خاصة عندما يتعلق الأمر بقراءة النصوص داخل الصور أو فهم الأخطاء الدقيقة التي يرتكبها الطلاب الحقيقيون. كما أثبتوا أنه لا يمكنك دائماً الوثوق بذكاء اصطناعي ليقيم ذكاءً اصطناعياً آخر، خاصة في المواد اللغوية.
أين تجدها: جعل الباحثون كل هذه البيانات (الأسئلة، الصور، وإجابات 900,000 طالب) متاحة لأي شخص لاستخدامها، حتى يتمكن العلماء الآخرون من إجراء اختباراتهم الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.