The Generative AI Paradox on Evaluation: What It Can Solve, It May Not Evaluate

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مفارقة الذكاء الاصطناي التوليدي في التقييم: ما يمكنه حله، قد لا يستطيع تقييمه."

1. بيان المشكلة

تتحدى الورقة البحثية الافتراض السائد بأن النماذج اللغوية الكبيرة (LLMs) الماهرة في مهام التوليد (إنشاء النصوص) هي بطبيعة الحال ماهرة بنفس القدر في مهام التقييم (تقدير جودة النص).

• السياق: مع اقتراب أو تجاوز نماذج مثل GPT-4 لأداء البشر في مهام التوليد، هناك توجه متزايد لاستخدامها كمقيمين آليين، غير معتمدين على مراجع (reference-free)، لتقليل تكلفة التقييم البشري.
• الفرضية: يفترض المؤلفون أن قدرة النموذج اللغوي الكبير على توليد إجابة صحيحة لا تضمن قدرته على الحكم بشكل صحيح ما إذا كانت الإجابة (سواء كانت إجابته الخاصة أو إجابة غيره) صحيحة أم لا.
• القضية الجوهرية: يُطلق على هذا التباين اسم "مفارقة الذكاء الاصطناعي التوليدي"، حيث قد تُظهر النماذج مهارات توليدية فائقة ولكنها تفشل في التقييم الأساسي، أو على العكس، قد تقيم بدقة مهاماً لا تستطيع حلها بنفسها. وهذا يثير مخاوف حرجة بشأن الأمانة (ما إذا كانت الدرجات تعكس المعرفة الفعلية) والموثوقية للنماذج اللغوية الكبيرة كمقيمين.

2. المنهجية

تستخدم الدراسة إعداداً تجريبياً منضبطاً لمقارنة أداء التوليد والتقييم عبر نماذج متعددة.

• مجموعة البيانات: تم استخدام مجموعة بيانات TriviaQA (Joshi et al., 2017)، وتحديداً مجموعة فرعية مختارة من 905 زوجاً من أسئلة الأجوبة (QA) مفتوحة النطاق وحرة الصياغة مع إجابات "ذهبية" محددة مسبقاً. تم استبعاد الأسئلة الغامضة أو المرتبطة بجدول زمني.
• النماذج التي تم تقييمها:
  • المقيمون/المولدون: GPT-3.5، GPT-4، PaLM-2، وVicuna-13b (مفتوح المصدر).
  • الدور: عمل كل نموذج كـ "حلال" (SOLVER) - أي توليد الإجابات - وكـ "مقيم" (EVALUATOR) - أي تصنيف الإجابات.
• خطوات التجربة:
  1. مرحلة التوليد (الحل - SOLVE): قامت النماذج بتوليد إجابات لـ 905 سؤالاً باستخدام مطالبة (prompt) صفرية المحتوى (zero-shot). قام خبراء بشريون بالتحقق يدوياً من هذه الإجابات لتحديد الحقيقة الأرضية (صحيحة/خاطئة).
  2. توليد معايير التقييم (Rubric): طُلب من النماذج توليد معايير التقييم الخاصة بها بناءً على مقياس محدد (صحيح، صحيح جزئياً، خاطئ، لا أعرف).
  3. مرحلة التقييم (التقييم - EVALUATE): عملت النماذج كقضاة، حيث قامت بتصنيف مخرجات جميع النماذج (بما في ذلك نفسها) باستخدام المعايير التي ولدتها. كان هذا نهجاً غير معتمد على المراجع (لم يتم تقديم الإجابات الذهبية للمقيم).
  4. حساب المقاييس:
     • دقة التقييم: مدى توافق تسمية النموذج مع الحقيقة الأرضية التي تحقق منها الخبراء البشريون.
     • الأمانة (Faithfulness): تم تحليلها من خلال التحقق مما إذا كان تقييم النموذج لإجاباته (أو إجابات غيره) يتوافق مع أدائه التوليدي.

3. المساهمات الرئيسية

• دليل تجريبي على المفارقة: تقدم الورقة دليلاً كمياً على أن القدرة التوليدية العالية لا ترتبط خطياً بالقدرة التقييمية العالية.
• تعريف "التقييم غير الأمين": حدد المؤلفون أنماط فشل محددة حيث تقيم النماذج الإجابات في مجالات تفتقر فيها إلى الكفاءة، أو تفشل في التعرف على أخطائها الخاصة.
• تحليل التقييم غير المعتمد على المراجع: على عكس الدراسات السابقة التي زودت المقيمين بالإجابات الذهبية، تختبر هذه الدراسة متانة النماذج اللغوية الكبيرة في بيئة واقعية غير معتمدة على المراجع، مما يكشف عن فجوات كبيرة في الموثوقية.
• مقاييس الأمانة: قدمت الدراسة إطاراً لقياس ما إذا كان تسجيل النموذج يعتمد على معرفته الداخلية الفعلية أم أنه غير متسق/متملق (sycophantic).

4. النتائج الرئيسية

أ. التفاوت في الأداء

• التوليد مقابل التقييم: أظهرت جميع النماذج انخفاضاً في الأداء عند الانتقال من التوليد إلى التقييم.
  • GPT-4: دقة التوليد ~88%، دقة التقييم ~80%.
  • GPT-3.5: دقة التوليد ~79%، دقة التقييم ~62%.
  • PaLM-2: دقة التوليد ~66%، دقة التقييم ~70% (حالة شاذة حيث كان التقييم أعلى قليلاً، ربما بسبب أنماط خطأ محددة).
  • Vicuna-13b: دقة التوليد ~46%، دقة التقييم ~52%.
• الاستنتاج: حتى أكثر النماذج تقدماً (GPT-4) فشلت في تحقيق دقة تقييم بنسبة 100% في الأسئلة التي حلتها بنجاح، مما يشير إلى نقص في الوعي الذاتي.

ب. وجها المفارقة

1. الحالة 1 (التوليد صحيح، التقييم خاطئ): يولد النموذج الإجابة الصحيحة ولكنه يحكم خطأً على إجابة صحيحة (سواء كانت لنفسه أو لغيره) بأنها "خاطئة". هذا يشير إلى أن النموذج يفشل في التعرف على كفاءته الخاصة.
2. الحالة 2 (التوليد خاطئ، التقييم صحيح): يولد النموذج إجابة خاطئة ولكنه يحدد بشكل صحيح إجابة نموذج آخر على أنها "صحيحة". هذا يشير إلى أن النموذج يمكنه تقييم معرفة لا يمتلكها، مما يثير تساؤلات حول مصدر منطق التقييم لديه.

ج. قضايا الأمانة والاتساق

• عدم الاتساق في التقييم الذاتي: غالباً ما قامت النماذج بتصنيف توليداتها "الصحيحة" على أنها "خاطئة" أو "لا أعرف" (على سبيل المثال، صنف GPT-4 حوالي 7.7% من إجاباته الصحيحة على أنها غير صحيحة).
• التحيز المتملق (Sycophantic Bias): كثيراً ما صنف المقيمون الإجابات من نماذج أخرى على أنها "صحيحة" حتى عندما كانت تلك الإجابات تتعارض مع توليدهم الخاص (الخاطئ)، مما يشير إلى وجود تحيز للموافقة مع الآخرين بدلاً من الاعتماد على المعرفة الداخلية.
• العجز عن الاعتراف بالجهل: رغم وجود خيار "لا أعرف"، نادراً ما اختارت النماذج هذا الخيار (أقل من 0.01% لمعظم النماذج). وحتى عندما فشلت النماذج في حل سؤال ما خلال مرحلة التوليد، نادراً ما اعترفت بالجهل أثناء مرحلة التقييم، واستمرت في تقييم الإجابات على أي حال.
• عدم اتساق التصنيف: تلقت أنواع متشابهة من الإجابات الخاطئة (مثل الإجابات التي تحتوي على الكيان الصحيح ولكن بتنسيق فوضوي) تصنيفات غير متسقة (مثل "خاطئ" مقابل "لا أعرف") من نفس النموذج.

5. الأهمية والآثار المترتبة

• موثوقية التقييم الآلي: تشير النتائج إلى أن استخدام النماذج اللغوية الكبيرة كـ "قضاة" لمهام التوليد مفتوحة النهاية هو أمر غير موثوق حالياً. الافتراض بأن التميز التوليدي للنموذج يترجم إلى خبرة تقييمية هو افتراض خاطئ.
• الحاجة إلى التدقيق: تسلط "مفارقة الذكاء الاصطناعي التوليدي" الضوء على فجوة حرجة في مواءمة النماذج (alignment). قد تبدو النماذج كفؤة ولكنها تفتقر إلى الوعي الذاتي للتحقق من مخرجاتها أو الاتساق في تطبيق معاييرها الخاصة.
• الاتجاهات المستقبلية: تدعو الورقة البحثية إلى تدقيق صارم في أمانة تقييمات النماذج. يجب أن تستكشف الأبحاث المستقبلية ما إذا كانت هذه المفارقة تنطبق على مهام مختلفة، وتطوير طرق لضمان أن المقيمين مستندون حقاً إلى معرفتهم بدلاً من الهلوسة في منح الدرجات.

باختصار، تجادل الورقة بأن النماذج اللغوية الكبيرة ليست جديرة بالثقة بعد كـ "مقيمين مستقلين" لأن قدرتها على الحكم لا ترتبط تماماً بقدرتها على التوليد، وهي تظهر تكراراً سلوكيات غير أمينة فيما يتعلق بحدود معرفتها.