💬 NLP

Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options

تقدم هذه الورقة بروتوكولاً ضخماً لتقييم الخيارات يصل إلى 100 خيار لكشف كيف تبالغ المعايير التقليدية ذات الخيارات القليلة في تقدير كفاءة النماذج اللغوية الكبيرة من خلال حجب قدراتها الحقيقية عبر استراتيجيات الاختصار والانحيازات الموقعية.

المؤلفون الأصليون: Nahyun Lee, Guijin Son

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nahyun Lee, Guijin Son

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تخوض اختباراً من نوع الاختيار من متعدد.

الطريقة القديمة (الاختبار "السهل"):
عادةً ما تحتوي هذه الاختبارات على 4 أو 5 خيارات. إذا حصلت على 95% أو 100%، نفترض أنك عبقري. لكن إليك الخدعة: أحياناً، لا تكون عارفاً للإجابة حقاً. قد تكون مجرد تخمين بأن الخيار "ج" هو الإجابة الصحيحة عادةً، أو رب الله تلمح إلى دليل بسيط في التنسيق يكشف لك الإجابة. الأمر يشبه لعبة "الغميضة" حيث الشخص المختبئ يقف خلف واحد من أربعة ستائر فقط. حتى لو لم تكن بارعاً جداً في البحث عن الأشياء، فمن المحتمل أن تجدها بمحض الصدفة.

الطريقة الجديدة (الاختبار "الهائل"):
تساءل مؤلفو هذه الورقة البحثية: "ماذا لو جعلنا اللعبة أصعب؟" بدلاً من 4 ستائر، ماذا لو كان هناك 100 ستارة؟

إذا كنت ذكياً حقاً، فستظل قادراً على إيجاد الشخص الصحيح خلف الستارة الصحيحة، حتى لو كان هناك 99 شخصاً آخرين يختبئون هناك ويبدون مثله تماماً. ولكن إذا كنت تعتمد فقط على التخمين أو استخدام "الحيل" للفوز باللعبة السهلة، فسوف تنهار فجأة وتفشل عندما تواجه 100 خيار.

التجربة: تحدي الإملاء الكوري

أنشأ الباحثون اختباراً محدداً لتجربة ذلك. لقد طلبوا من نماذج الذكاء الاصطنا_عي إيجاد جملة واحدة فقط تحتوي على خطأ إملائي مخفي بين 99 جملة صحيحة تماماً.

فكر في الأمر بهذه الطريقة: تخيل غرفة مليئة بـ 100 توأم متطابق. أحدهم لديه بقعة صغيرة من الأوساخ على خده، تكاد لا تُرى. مهمتك هي الإشارة إلى التوأم المتسخ.

النسخة "السهلة": هناك 4 توائم فقط. من السهل رصد الأوساخ.
النسخة "الصعبة": هناك 100 توأم. الأوساخ لا تزال موجودة، لكن "الضجيج" الناتج عن 99 توأماً نظيفاً أصبح طاغياً.

ما وجدوه

قاموا باختبار عدة نماذج ذكاء اصطناعي شهيرة (مثل Gemini وHyperCLOVAX وEXAONE). وإليك ما حدث:

انفجار "الفقاعة":
في الاختبار السهل (4 خيارات)، بدت العديد من النماذج وكأنها عباقرة خارقون، حيث حققت ما يقرب من 100% بشكل صحيح. ولكن عندما انتقل الاختبار إلى 100 خيار، انخفضت درجات بعض هؤلاء "العباقرة" فجأة إلى درجات الرسوب.

التشبيه: الأمر يشبه طالباً يتفوق في اختبار قصير مكون من 4 أسئلة، لكنه يرسب في الامتحان النهائي المكون من 100 سؤال لأنه كان يعتمد على حفظ الأنماط فقط، وليس تعلم المادة فعلياً. لقد انفجرت "فقاعة" درجاتهم العالية.

ذعر "الخيار الأول":
عندما ارتبكت نماذج الذكاء الاصطناعي بسبب الـ 100 خيار، لم تكتفِ بالتخمين العشوائي، بل بدأت بالارتباك والعودة إلى عادة كسولة: اختيار الخيارات الأولى.

التشبيه: تخيل أنك تبحث عن كتاب محدد في مكتبة تضم 100,000 كتاب. إذا لم تجده، فقد تمسك بأول كتاب على الرف وتأمل أن يكون هو المطلوب. بدأ الذكاء الاصطناعي يفعل هذا؛ لقد توقف عن قراءة المحتوى وبدأ يخمن بناءً على مكان الإجابة، وليس بناءً على ماهية الإجابة.

الأمر لم يكن متعلقاً بـ "الذاكرة" (طول السياق):
هناك قلق شائع وهو أن الذكاء الاصطناعي يرتبك لأن قائمة الـ 100 خيار طويلة جداً بحيث لا يمكنه "قراءتها" دفعة واحدة (مثل حدود الذاكرة قصيرة المدى).

الحل: أضاف الباحثون "نصوصاً حشوية" (كلمات بلا معنى) لجعل القائمة طويلة حتى عندما كانت تحتوي على 4 خيارات فقط.
النتيجة: لم يرتبك الذكاء الاصطناعي بسبب طول القائمة؛ بل ارتبك فقط عندما كانت هناك خيارات كثيرة متشابهة جداً. المشكلة لم تكن في طول القائمة، بل في أن الخيارات كانت صعبة التمييز فيما بينها.

لماذا يهم هذا؟

هذه الورقة البحثية هي بمثابة جرس إنذار لعالم الذكاء الاصطناعي.

المعايير الحالية "سهلة للغاية": مجرد حصول الذكاء الاصطناعي على 99% في اختبار قياسي لا يعني أنه ذكي حقاً. قد يكون بارعاً فقط في لعب "لعبة الـ 4 خيارات".
الحياة الواقعية صعبة: في الحياة الواقعية، لا نملك 4 خيارات فقط. لدينا احتمالات لا حصر لها. إذا لم يستطع الذكاء الاصطناعي التمييز بين الإجابة الصحيحة وبين 99 إجابة خاطئة مشابهة جداً لها، فهو ليس موثوقاً بما يكفي للاستخدام في العالم الحقيقي.
الحل: نحن بحاجة إلى اختبار قدرات الذكاء الاصطناعي عبر تحديات "الخيارات الهائلة". هذا يجبر الذكاء الاصطناعي على إثبات أنه يفهم المحتوى فعلياً، بدلاً من مجرد التخمين أو استخدام الطرق المختصرة.

باخت-ة: تقول الورقة البحثية: "توقفوا عن السماح للذكاء الاصطناعي بالنجاح عبر التخمين. أعطوهم اختباراً بـ 100 خيار لتروا ما إذا كانوا يعرفون حقاً ما يفعلونه."

إليك ملخص تقني مفصل للورقة البحثية بعنوان "دفع حدود التقييم متعدد الخيارات إلى مائة خيار".

1. بيان المشكلة

تعتمد اختبارات قياس أداء النماذج اللغوية الكبيرة (LLMs) الحالية بشكل كبير على الإجابة على الأسئلة متعددة الخيارات (MCQA) مع عدد قليل من الخيارات ( $N \in \{4, 5\}$ ). ويرى المؤلفون أن هذا الإعداد يعاني من قصور هيكلي جوهري:

تأثير السقف واستراتيجيات الاختصار: مع اقتراب النماذج من دقة تقارب الكمال في إعدادات $N$ المنخفضة، فإن الدرجات العالية غالباً ما تعكس "استراتيجيات اختصار" (مثل الاستبعاد الجزئي، أو التخمين التوزيعي، أو استغلال تلميحات التنسيق) بدلاً من التفكير الحقيقي أو المعرفة.
حجب فجوات الكفاءة: تسمح هذه الاختصارات للنماذج بإخفاء قيودها الحقيقية، مما يجعل من الصعب التمييز بين النماذج التي تفهم المحتوى حقاً وتلك التي تكتفي بمجرد التنقل في مساحة بحث محدودة.
الحاجة إلى اختبارات الإجهاد: هناك نقص في بروتوكولات التقييم التي يمكنها اختبار موثوقية النموذج تحت ظروف "التداخل الكثيف"، حيث يجب على النموذج تمييز الإجابة الصحيحة من مجموعة كبيرة من المشتتات شديدة التشابه.

2. المنهجية

يقترح المؤلفون بروتوكول تقييم الخيارات الضخمة ( $N=100$ ) يُطبق على مهمة لغوية محددة لاختبار متانة النموذج.

صياغة المهمة: كشف أخطاء قواعد الإملاء الكورية

الهدف: يجب على النموذج تحديد الجملة الوحيدة غير الصحيحة إملائياً من بين مجموعة تضم $N$ من المرشحات (حيث $N-1$ جمل صحيحة).
المبرر: توفر قواعد الإملاء قابلية تحقق موضوعية وتشابهاً سطحياً عالياً بين الخطأ المستهدف والمشتتات الصحيحة، مما يجبر النموذج على الاعتماد على استرجاع المعرفة الدقيقة بدلاً من التفسير الدلالي.
بناء مجموعة البيانات:
- المصدر: 750 جملة كورية من المعهد الوطني للغة الكورية (NIKL).
- التوسيم (Labeling): بروتوكول توافق صارم باستخدام ثلاثة مدققات إملائية (DAUM, SARAMIN, NARA). تُعتبر الجملة مشتتاً صالحاً فقط إذا اتفقت جميع المدققات على صحتها؛ وتكون الجملة المستهدفة صالحة فقط إذا اتفقت جميعها على خطئها.
- مستويات الصعوبة: يتم تصنيف الجمل (المستويات 1–4) بناءً على السمات الصرفية والنحوية (مثل نهايات الجمل، والأسماء التابعة).
- البيئات: تم إنشاء مجموعتي مشتتات: سهلة (المستويات 1–2) وكاملة (المستويات 1–4).

بروتوكول التجربة

تدرج الخيارات: يتم اختبار النماذج عند $N \in \{4, 10, 20, 50, 100\}$ .
أخذ العينات الديناميكي: لكل خطأ مستهدف ثابت من أصل 30 خطأ، يتم إجراء $K=1,000$ تجربة مستقلة. في كل تجربة، يتم اختيار $N-1$ من المشتتات عشوائياً من مجموعة البيئة، ويتم تغيير موقع الهدف.
النماذج التي تم تقييمها: النماذج اللغوية الكبيرة الرائدة متعددة اللغات والمتخصصة في اللغة الكورية (Gemini 2.5/3, A.X-4.0, EXAONE-4.0, HyperCLOVAX-THINK).

المقاييس التشخيصية الرئيسية

الدقة المعيرة بالنسبة للصدفة (NA): تعدل الدقة الخام لتأخذ في الاعتبار خط الأساس للتخمين العشوائي ( $1/N$ )، بحيث تتراوح الأداء من 0 (عشوائي) إلى 1 (مثالي).
$NA(N) = \frac{A(N) - 1/N}{1 - 1/N}$
مؤشر الفقاعة (BI): يقيس "تضخم الكفاءة" في إعدادات $N$ المنخفضة مقارنة بـ $N=100$ . يشير مؤشر BI المرتفع إلى أن الدقة في $N$ المنخفضة مضللة.
$BI = 1 - \frac{NA(100)}{NA(4) + \epsilon}$
التشخيصات الموضعية:
- الإفراط في الأولوية ( $\Delta PFI_{10}$ ): يقيس ما إذا كانت النماذج تختار بشكل غير متناسب أول 10 خيارات مقارنة بالتوزيع الموحد للإجابة الصحيحة.
- ميل الموقع الذهبي (Gold-Position Slope): يحدد ما إذا كانت الدقة تنخفض مع ظهور الإجابة الصحيحة في وقت لاحق من القائمة (مما يشير إلى انحياز "الضياع في المنتصف" أو انحياز الخيارات المبكرة).
ضوابط الحشو (Padding Controls): لعزل ما إذا كان انخفاض الأداء ناتجاً عن طول السياق أو تعقيد الترتيب، قام المؤلفون بحقن حشو غير ذي صلة بالمهمة (نصوص إنجليزية، رموز، نثر كوري) لمطابقة عدد الرموز (tokens) في مطالبات $N=100$ دون تغيير عدد الخيارات.

3. النتائج الرئيسية

انهيار الأداء عند $N$ المرتفع

نماذج Gemini: حافظت على متانة عالية. في البيئة الكاملة، انخفضت دقة Gemini-3-Pro-preview من ~98% (Acc4) إلى ~85% (Acc100)، لكن دقتها المعيرة بالنسبة للصدفة ظلت مرتفعة، مما أظهر كفاءة حقيقية.
النماذج الأخرى (HyperCLOVAX, EXAONE): أظهرت تدهوراً كارثياً.
- HyperCLOVAX-THINK: انخفضت من 92.5% (Acc4) إلى 21.2% (Acc100) في البيئة الكاملة.
- EXAONE-4.0: انخفضت من 81.2% (Acc4) إلى 14.0% (Acc100).
مؤشر الفقاعة: كشفت النماذج ذات مؤشرات BI الكبيرة (مثل EXAONE: 0.82) أن نجاحها في $N$ المنخفض كان في الغالب نتاج مساحة البحث الصغيرة.

أنماط الفشل المحددة

الارتباك الدلالي: في البيئة الكاملة، واجهت النماذج صعوبة في التمييز بين الهدف والمشتتات شديدة التشابه، مما أدى إلى التخمين العشوائي.
الارتداد الموضعي (انحياز "الخيار المبكر"): تحت حالة عدم اليقين، تخلت النماذ الضعيفة عن تحليل المحتوى ولجأت إلى اختيار الخيارات الأولى.
- أظهر HyperCLOVAX-THINK إفراطاً هائلاً في الأولوية ( $\Delta PFI_{10} = 0.526$ )، مما يعني أن أكثر من 50% من "تخميناته" تركزت في أول 10 خيارات، وهو ما يتجاوز بكثير خط الأساس الموحد.
- ارتبط هذا السلوك بميل سلبي للموقع الذهبي، مما أكد أن الدقة كانت مدفوعة بالموقع وليس بالمحتوى.

طول السياق مقابل تعقيد الترتيب

تجارب الحشو: عند إضافة الحشو لمهام $N$ المنخفضة لمطابقة طول الرموز لمهام $N=100$ ، ظل الأداء مستقراً لمعظم النماذج (مثل Gemini, A.X-4.0).
الاستنتاج: انهيار الأداء عند $N=100$ ليس ناتجاً بشكل أساسي عن قيود طول السياق (عدد الرموز) ولكن بسبب صعوبة ترتيب المرشحين تحت تأثير التداخل الكثيف.
استثناء: أظهر HyperCLOVAX-THINK حساسية تجاه حشو النصوص الإنجليزية، مما يشير إلى ضعف محدد تجاه تغير التوزيع وليس مجرد حد طول عام.

4. المساهمات الرئيسية

إطار عمل الخيارات الضخمة: تقديم بروتوكول تقييم قابل للتوسع ( $N=100$ ) يقضي بفعالية على أداء الصدفة ويكشف "فقاعات الكفاءة" المخفية في معايير الـ 4 خيارات القياسية.
الأدوات التشخيصية: تطوير مقاييس كمية (مؤشر الفقاعة، الإفراط في الأولوية، ميل الموقع الذهبي) للتمييز بين فشل الاستدلال الحقيقي واستراتيجيات الارتداد الاستدلالي.
الأدلة التجريبية لأنماط الفشل: إثبات أن النماذج ذات درجات $N$ المنخفضة القريبة من الكمال يمكن أن تعاني من انخفاض في الدقة بنسبة >70% عند $N$ المرتفع، وغالباً ما تعود إلى الاستدلالات الموضعية البدائية بدلاً من الانخراط في تحليل المحتوى.
فك الارتباط بين العوامل: إثبات عبر ضوابط الحشو أن العائق الرئيسي في تقييم الخيارات الضخمة هو تعقيد الترتيب، وليس طول السياق.

5. الأهمية والآثار المترتبة

إعادة التفكير في المعايير: تجادل الورقة بأن الجيل القادم من معايير القياس يجب أن يتجاوز مجرد التغطية الموضوعية الواسعة ليشمل "اختبارات الإجهاد" التي تتضمن بدائل كثيفة ومتشابهة.
الموثوقية في النشر: تتضمن التطبيقات الواقعية غالباً البحث عبر مجموعات مرشحين كبيرة وضوضائية. تفشل معايير $N$ المنخفضة في التنبؤ بسلوك النموذج في هذه الأنظمة ذات التداخل العالي.
اختيار النماذج: تكشف الدراسة أن النماذج التي تبدو متساوية في المعايير القياسية (مثل MMLU, HAE-RAE) تمتلك ملفات تعريف متانة مختلفة تماماً. النماذج مثل Gemini تظهر موثوقية فائقة تحت التداخل، بينما تعتمد نماذج أخرى على طرق مختصرة تفشل عند توسيع مساحة البحث.
الاتجاهات المستقبلية: يدعو المؤلفون إلى إعدادات تقييم تستقصي صراحةً موثوقية القرار والتداخل الدلالي، لضمان قدرة النماذج على تحديد الإجابات الصحيحة بشكل حتمي حتى عندما تكون المشتتات شديدة التشابه.