تخيل أنك قاضٍ في برنامج مواهب ضخم وعالي المخاطر، حيث المتسابقون هم برامج حاسوبية ذكية للغاية تُسمى "الذكاء الاصطناعي". يحاول هؤلاء "الذكاء الاصطناعي" إثبات قدرتهم على قراءة وثائق سميكة، مملة، ومعقدة — مثل التقارير المالية، الأوراق العلمية، وكتيبات التعليمات — والإجابة على أسئلة حولها. هذا هو عالم الإجابة على الأسئلة المستندة إلى الوثائق (Document QA). في هذه الساحة، الهدف بسيط: يقرأ الذكاء الاصطناعي ملف PDF طويلاً، ثم تطرح عليه سؤالاً. إذا أجاب بشكل صحيح، يحصل على نقاط. وإذا أخطأ، أو إذا اخترع إجابة بينما لا توجد المعلومة في الوثيقة، فإنه يخسر نقاطاً.

لماذا نهتم؟ لأنه كلما أصبح هؤلاء "الذكاء الاصطناعي" أكثر ذكاءً، بدأوا يتصرفون كطلاب مغرورين يخمّنون الإجابة فقط ليبدوا مثقفين. نحن بحاجة إلى طريقة لاختبار ما إذا كانوا يقرأون حقاً أم أنهم مجرد "يهلوسون" (يختلقون أشياء من خيالهم). وللقيام بذلك، ابتكر العلماء اختباراً ضخماً يسمى MMLongBench-Doc. إنه يشبه الامتحان النهائي الذي يحتوي على أكثر من 1,000 سؤال موزعة على 135 وثيقة مختلفة. ولكن، كما تكشف هذه الورقة البحثية الجديدة، فإن الامتحان نفسه كان يعاني من عيوب خطيرة جعلت الدرجات غير عادلة.

الامتحان المعيب: عندما تكون المشكلة في المصحح

فكر في الامتحان الأصلي (MMLongBench-Doc) كمعلم صارم وقديم الطراز، يصحح باستخدام قلم أحمر يبحث فقط عن تطابق الحروف والكلمات بدقة متناهية. إذا كانت الإجابة الصحيحة هي "1,358,000" وكتب الذكاء الاصطناعي "1358000" (بدون الفواصل)، سيعتبره المعلم مخطئاً. إذا كانت الإجابة هي "الأنشطة التشغيلية" وكتب الذكاء الاصطناعي "الأنشطة التشغيلية" (بتغيير بسيط في التنسيق)، سيعتبره المعلم مخطئاً. الأمر يشبه معلم رياضيات يرسب طالباً لأنه كتب "12" بدلاً من "12.0"، رغم أن الرقم صحيح.

والأسوأ من ذلك، أن نموذج الإجابة الخاص بالمعلم كان خاطئاً في بعض الأحيان. تخيل سؤالاً يسأل: "كم عدد الأسهم الزرقاء الموجودة في الصفحة 5؟". يقول نموذج الإجابة: "صفر". ولكن إذا نظرت إلى الصفحة، ستجد بالفعل أنه لا توجد أسهم زرقاء، لذا فإن "صفر" هي إجابة صحيحة. ومع ذلك، في بعض الأحيان، كان النموذج يقول "صفر" بينما كان يوجد سهم فعلي في الوثيقة، أو كان السؤال مكتوباً بطريقة مربكة لدرجة أن البشر أنفسهم لم يستطيعوا الإجابة عليه. والأسوأ من ذلك؟ كانت هذه الأخطاء تتركز في الأسئلة "الصعبة". لذا، كان يتم معاقبة أذكى نماذج الذكاء الاصطناعي بشكل أكبر، بينما لم تتأثر النماذج الأقل ذكاءً (التي كانت تخمن عشوائياً) بنفس القدر. كان الأمر يشبه سباقاً حيث يتم تقييد أسرع العدائين بأحذية من الرصاص، بينما لم يتأثر المشاة البطيئون.

الحل: MMLongBench-Doc-V2

هنا يأتي دور الورقة البحثية الجديدة: MMLongBench-Doc-V2. قرر المؤلف، وهو مينغتيان تشانغ (Mingtian Zhang)، إصلاح الامتحان بدلاً من رميه. لقد تعامل مع الاختبار الأصلي كمسودة فوضوية وقام بتنقيحها عبر ثلاث خطوات رئيسية.

1. المصحح الجديد: محقق "المعنى"
بدلاً من استخدام روبوت يتحقق فقط مما إذا كان نصان متطابقين تماماً، قاموا بتعيين "محقق معنى" (قاضٍ ذكاء اصطناعي خاص). هذا المحقق لا يهتم بالفواصل، أو الحروف الكبيرة، أو المسافات الزائدة. إنه ينظر إلى إجابة الذكاء الاصطناعي ويسأل: "هل هذا يعني نفس الشيء الذي يعنيه الجواب الصحيح؟"

• التشبيه: إذا كانت الإجابة هي "القط ينام"، وقال الذكاء الاصطناعي "السنور في غفوة"، فإن المصحح القديم سيعتبرها خاطئة. أما المحقق الجديد فيعتبرها مقبولة لأن "المعنى" هو نفسه.
• الملاحظة: هذا المحقق لا يرى الوثيقة الأصلية أبداً. هو يقارن فقط بين إجابة الذكاء الاصطناعي ونموذج الإجابة الصحيح. هذا يمنع المحقق من الارتباك بسبب المسوحات الضوئية السيئة أو النصوص المفقودة في ملف الـ PDF.

2. إصلاح نموذج الإجابة (106 تصحيحاً)
قام المؤلف بمراجعة الامتحان ووجد 106 أسئلة كان فيها نموذج الإجابة خاطئاً، أو السؤال معيباً، أو أن الوثيقة لا تتطابق مع السؤال.

• مشكلة "الملف الخاطئ": وجدوا 10 أسئلة تسأل عن وثيقة ليست موجودة أصلاً في مجلد الاختبار! كان الأمر أشبه بسؤال عن "الفصل الخامس من هاري بوتر" ولكن تقديم نسخة من كتاب "الهوبيت" للطالب. لا أحد يمكنه الإجابة على ذلك، لذا تمت إزالة تلك الأسئلة تماماً.
• خطأ "الإشارة": في إحدى الحالات، ذكر النموذج أن رقماً زاد بنسبة 60.3%، بينما أظهرت الوثيقة أنه انخفض. قام المؤلف بتصحيح الإشارة.
• إصلاح "الغموض": كانت بعض الأسئلة غامضة جداً. إذا كانت الوثيقة تسرد "الديون قصيرة الأجل" و"الديون طويلة الأجل" بشكل منفصل، ولكن السؤال طلب "إجمالي الديون" دون تحديد أي منها يجب جمعه، فقد أعاد المؤلف كتابة السؤال ليكون دقيقاً للغاية.

3. معضلة "المجموعة الفارغة"
هذا هو الجزء الأكثر تعقيداً. بعض الأسئلة تسأل: "كم عدد التنانين الموجودة في هذا التقرير المالي؟". الإجابة هي "صفر" بكل وضوح. ولكن في الاختبار الأصلي، تم تصنيف بعض إجابات "الصفر" على أنها "غير قابلة للإجابة" (بمعنى أن الوثيقة لا تحتوي على المعلومة)، بينما تم تصنيف أخرى على أنها "0" (بمعنى أنه تم فحص الوثيقة ولم يتم العثور على شيء).

• القاعدة: وضع المؤلف قاعدة صارمة: إذا كانت الوثيقة موجودة ويمكنك إثبات أن الشيء غير موجود، فالإجابة هي 0. أما إذا كانت الوثيقة تفتقد صفحة كاملة أو كان السؤال يسأل عن شيء لا يمكن حصره (مثل "كل النجوم في الكون")، فالإجابة هي "غير قابلة للإجابة".
• النتيجة: قاموا بتعديل 14 سؤالاً للتأكد من أن إجابات "الصفر" عادلة. هذا يمنع الذكاء الاصطناعي من الوقوع في فخ الاعتقاد بأن قول "لا أعرف" هو الإجابة الصحيحة عندما تكون الإجابة الفعلية هي "لا يوجد".

لوحة النتائج النهائية

بعد كل عمليات التنظيف، أصبح الاختبار الجديد (V2) يحتوي على 1,071 سؤالاً عبر 134 وثيقة (بدلاً من 1,082 سؤالاً و135 وثيقة).

• التغيير الكبير: الدرجات في هذا الاختبار الجديد غير قابلة للمقارنة بالدرجات القديمة. لا يمكنك القول: "حصل الذكاء الاصطناعي على 44.9% العام الماضي و50% هذا العام، لذا فقد تحسن". الاختبار نفسه قد تغير، لذا فإن الأرقام تتبع مقياساً مختلفاً.
• الخبر الجيد: الاختبار الجديد هو وسيلة أكثر عدلاً لمعرفة ما إذا كان الذكاء الاصطناعي ذكياً حقاً أم أنه مجرد محظوظ. فهو يزيل "الأسئلة الخداعية" التي كانت تربك النماذج الأفضل.
• تنبيه: يعترف المؤلف بأنه لم يفحص كل سؤال. لقد ركزوا على الأسئلة التي أخطأت فيها النماذج الذكية، حيث تكمن الأخطاء الأكثر احتمالاً. قد تظل هناك بعض الأخطاء المتبقية في الاختبار، لكنها أقل بكثير مما كانت عليه من قبل.

لماذا يهم هذا؟

هذه الورقة البحثية لا تتعلق باختراع "ذكاء اصطناقي خارق" جديد. بل تتعلق بإصلاح "المسطرة" التي نستخدمها لقياسهم. إذا كنت تبني روبوتاً لقراءة العقود القانونية أو التقارير الطبية، فأنت بحاجة إلى معرفة ما إذا كان يقرأ حقاً أم أنه يخمّن فقط. يوفر MMLongBench-Doc-V2 مسطرة أنظف وأكثر صدقاً. إنه يضمن أنه عندما يجيب الذكاء الاصطناعي على سؤال بشكل صحيح، يكون ذلك لأنه فهم الوثيقة، وليس لأنه خمن العدد الصحيح من الفواصل.

لقد أتاح المؤلف جميع تصحيحاته، وبيانات الاختبار الجديدة، والأدوات المستخدمة لتصحيح الإجابات للجميع لاستخدامها. إنه تذكير بأنه في العلم، أحياناً لا يكون العمل الأكثر أهمية هو بناء المحرك، بل إصلاح عداد السرعة لكي نعرف مدى سرعتنا الحقيقية.