Reassessing Extractive QA Datasets at Scale: LLM-as-a-Judge and In-Depth Analyses
تقدم هذه الورقة دراسة منهجية تثبت أن استخدام النماذج اللغوية الكبيرة كحكم (LLM-as-a-judge) يتفوق بشكل كبير على مقاييس المطابقة التامة (Exact Match) وF1 التقليدية في تقييم استخراج الإجابات من النصوص، وذلك من خلال تحقيق ارتباط أعلى مع التقييمات البشرية، مع الكشف عن نقاط قوته المحددة في التعامل مع الإجابات القائمة على الأرقام، وعدم وجود انحياز للتفضيل الذاتي، والحد الأدنى من الحساسية تجاه تغيرات الأوامر البرمجية (prompts).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم تقوم بتصحيح كومة من مقالات الطلاب. لفترة طويلة، كنت تستخدم آلة تصحيح آلية صارمة للغاية، تعطي فقط نتيجة "ناجح" أو "راسب" بناءً على قاعدة واحدة: هل كتب الطالب نفس الكلمات الموجودة في نموذج الإجابة تماماً؟
إذا كان نموذج الإجابة يقول "EPA" وكتب الطالب "Environmental Protection Agency"، فإن آلة الروبوت ستصرخ "راسب!" وتمنحه صفراً، رغم أن ما كتبه صحيح بنسبة 100% من حيث المعنى. هذا ما تسميه الورقة البحثية المطابقة التامة (EM) ودرجة F1. ويجادل المؤلفون بأن هذه المقاييس القديمة مثل آلة الروبوت هذه: فهي جامدة للغاية، وغالباً ما تخطئ في تقدير مدى ذكاء نماذج الذكاء الاصطناعي.
الحل الجديد: "المصحح الخارق"
لإصلاح ذلك، جرب الباحثون شيئاً جديداً، حيث استعانوا بـ نموذج لغوي كبير (LLM) ليعمل كـ "مصحح خارق" (أو قاضٍ). فبدلاً من مجرد التحقق من الكلمات المتطابقة، يقرأ هذا المصحح الخارق السؤال، والإجابة الصحيحة، وإجابة الطالب، ثم يستخدم عقله ليقرر: "هل فهم هذا الطالب السؤال حقاً؟"
هذه الورقة البحثية هي تجربة ضخمة لمعرفة مدى موثوقية هذا المصحح الخارق. وإليكم ما وجدوه، مقسماً ببساطة:
1. المصحح الخارق أقرب بكثير إلى التفكير البشري
طلب الباحثون من بشر حقيقيين تصحيح 1,288 إجابة. ثم طلبوا من المصحح الخارق تصحيح نفس الإجابات.
- الطريقة القديمة: مقاييس الروبوت (EM/F1) لم تتفق مع المعلمين البشر إلا بنسبة 22% إلى 40% فقط. لقد كانت مخطئة في كثير من الأحيان.
- الطريقة الجديدة: اتفق المصحح الخارق مع المعلمين البشر بنسبة تصل إلى 85%.
- التشبيه: الأمر يشبه استبدال مصحح يتحقق فقط من الإملاء بمصحح يفهم القصة بالفعل. فالمصحح الخارق يرى أن "EPA" و"Environmental Protection Agency" هما الشيء نفسه.
2. للمصحح الخارق نقاط قوة ونقاط ضعف
تماماً مثل البشر، ليس المصحح الخالق مثالياً في كل شيء.
- العبقري في الرياضيات: هو بارع للغاية في تصحيح الإجابات التي تتضمن أرقاماً وتواريخ. إذا كانت الإجابة "42" أو "1995"، فإن المصحح الخارق يصيب في كل مرة تقريباً.
- أمين المكتبة المرتبك: يعاني قليلاً أكثر مع المسميات الوظيفية. على سبيل المثال، إذا كانت الإجابة "ممثل" ولكن الطالب كتب "ممثل، كاتب سيناريو، ومخرج"، فإن المصحح الخارق يرتبك أحياناً بشأن ما إذا كانت هذه التفاصيل الإضافية تجعل الإجابة خاطئة أم صحيحة. الأمر أكثر غموضاً مما هو عليه في الأرقام.
3. لا توجد "محاباة" (تحيز للتفضيل الذاتي)
هناك قلق كبير في عالم الذكاء الاصطناعي وهو أن النموذج قد يكون منحازاً لإعطاء إجاباته درجات أعلى، مثل معلم يعطي درجة "امتياز" لواجب ابنه.
- النتيجة: اختبر الباحثون ذلك بجعل نفس نموذج الذكاء الاصطناعي يعمل كـ "طالب" و"قاضٍ" في آن واحد.
- النتيجة: لم يتم العثور على أي تحيز. لم يمنح الذكاء الاصطناعي إجاباته معاملة خاصة؛ فقد كان عادلاً حتى عندما حكم على نفسه. كما لم يظهر "تحيز الأشقاء" (تفضيل النماذج من نفس العائلة).
4. "الأمر" (Prompt) لا يهم كثيراً
عندما تسأل ذكاءً اصطناعياً سؤالاً، فإن الطريقة التي تصيغ بها السؤال (الأمر) يمكن أن تغير الإجابة. تساءل الباحثون عما إذا كانت الطريقة التي يطلبون بها من المصحح الخارق التصحيح ستغير النتائج.
- النتيجة: لم يكن الأمر مهماً كثيراً. سواء أعطوا الذكاء الاصطناعي أمثلة لينظر إليها أولاً (few-shot)، أو لم يعطوه أمثلة (zero-shot)، أو حتى أزالوا النص الخلفي (context)، ظل المصحح الخارق ثابتاً.
- المفاجأة: من المثير للدهشة أن الطريقة الأبسط — وهي سؤال الذكاء الاصطناعي للتصحيح دون أي أمثلة إضافية أو نص خلفي — كانت غالباً هي الأفضل عملياً. إنه يشبه القاضي الذي لا يحتاج لقراءة ملف القضية كاملاً ليعرف ما إذا كانت الإجابة البسيطة صحيحة أم خاطئة.
الخلاصة
تخلص الورقة البحثية إلى أنه بالنسبة لمهام "الاستخراج من النص" (Extractive QA) (حيث يستخرج الذكاء الاصطناعي إجابة من نص معين)، فإن مقاييس الروبوت القديمة أصبحت عتيقة. فهي صارمة للغاية وتفتقر إلى الدقة.
إن نهج "النموذج اللغوي الكبير كقاضٍ" (LLM-as-a-Judge) هو أداة أفضل بكثير. فهو يعمل كمدرس عادل يشبه البشر، يفهم أن "EPA" و"Environmental Protectionly Agency" هما الشيء نفسه، ولا يحابي إجاباته الخاصة، ويعمل بموثوقية حتى مع التعليمات البسيطة. وقد نشر المؤلفون الكود والبيانات الخاصة بهم لكي يتمكن الآخرون من استخدام هذا "المصحح الخارق" لاختبار نماذج الذكاء الاصطناعي الخاصة بهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.