← أحدث الأبحاث
💬 NLP

Accuracy and Order Sensitivity Diverge Under Label-Free Strategies

توضح هذه الورقة أنه في حين أن منع النماذج اللغوية الكبيرة من رؤية تسميات الخيارات أثناء الإجابة على الأسئلة متعددة الخيارات يزيل بنجاح الانحياز الموقعي، إلا أنه يفشل في تحسين الدقة وغالبًا ما يؤدي إلى تدهور الأداء، مما يكشف أن العائق الأساسي هو حجب الخيارات وليس آلية المطابقة.

المؤلفون الأصليون: Karl Hanna, Chen Feng

نُشر 2026-08-13
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Karl Hanna, Chen Feng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تؤدي اختباراً من نوع الاختيار من متعدد في فصل دراسي. أنت تعرف الإجابة، لكن المعلم قام بتبديل ترتيب الخيارات على الورقة. فجأة، تختار الحرف الخطأ، ليس لأنك نسيت المعلومة، بل لأن عقلك ارتبك بسبب الترتيب الجديد. هذا هو العالم الغريب للنماذج اللغوية الكبيرة (LLMs)—وهي برامج حاسوبية ذكية للغاية تدردش وتكتب مثل البشر. يستخدم العلماء أسئلة الاختيار من متعدد لاختبار مدى ما "تعرفه" هذه النماذج، لكنهم اكتشفوا خللاً: غالباً ما تتصرف هذه النماذج كطلاب متوترين وحساسين جداً لمكان جلوس الإجابات على الصفحة. إذا كانت الخيارات مرتبة أ، ب، ج، د، فقد تصيب الإجابة؛ ولكن إذا تم تبديلها لتصبح ب، أ، د، ج، فقد تخطئ. هذا يجعل درجات الاختبار غير موثوقة، لأننا لا نستطيع معرفة ما إذا كان النموذج ذكياً حقاً أم أنه مجرد بارع في تخمين نمط الحروف. يريد الباحثون إصلاح ذلك حتى نتمكن من الثقة فيما تقوله نماذج الذكاء الاصطناعي هذه حقاً.

في هذه الورقة البحثية، قرر عالمان من جامعة كوينز بلفاست، كارل هانا وتشين فينغ، اختبار فكرة ذكية لإصلاح "مشكلة التبديل" هذه. تساءلا: ماذا لو جعلنا النموذج يكتب إجابته باللغة الإنجليزية العادية أولاً، دون رؤية خيارات الاختيار من متعدد على الإطلاق؟ بعد ذلك، في خطوة ثانية، يمكننا أن نطلب من النموذج مطابقة إجابته المكتوبة مع الحرف الصحيح. الأمر يشبه أن تطلب من طالب كتابة الإجابة على ورقة صغيرة، ثم تعطيه ورقة الاختبار ليحدد الدائرة الصحيحة لاحقاً. كان الأمل هو أنه من خلال إخفاء الخيارات أثناء مرحلة التفكير، لن يتأثر النموذج بترتيبها. كما جربوا طريقة ثانية حيث ينظر فيها النموذج إلى كل خيار على حدى بمعزل عن الآخر، مثل تذوق مكون واحد قبل اتخاذ قرار بشأن وصفة طعام، آملين أن يزيل هذا أي تحيز ناتج عن ترتيب المكونات.

ومع ذلك، كانت النتائج مخيبة للآمال بعض الشيء. اختبر الباحثون هذه الطرق على ستة نماذج مختلفة من الذكاء الاصطناعي عبر مجموعتين رئيسيتين من الأسئلة (MMLU و ARC-Challenge). ووجدوا أن أيًا من استراتيجياتهم "الخالية من التسميات" لم تجعل النماذج أكثر ذكاءً بشكل موثوق. في الواقع، جعلت طريقة "الكتابة أولاً، ثم المطابقة لاحقاً" النماذج أسوأ في الحصول على الإجابة الصحيحة في كل الحالات تقريباً. اتضح أن إخفاء الخيارات كان هو المشكلة الحقيقية؛ فبدون رؤية الخيارات، لم تستطع النماذج معرفة كيفية صياغة إجاباتها بشكل صحيح، مما أدى إلى الكثير من الارتباك والأخطاء. النسخة الوحيدة التي نجحت بنفس كفاءة الاختبار القياسي هي تلك التي كان بإمكان النموذج فيها رؤية الخيارات أثناء التفكير.

والأمر الأكثر إثارة للدهشة هو أن العلماء اكتشفوا أن جعل النماذج أقل حساسية لترتيب الإجابات لا يجعلها بالضرورة أكثر دقة. على سبيل المثال، أصبح أحد النماذج أقل ارتباكاً بسبب الحروف المبدلة، لكن درجة اختباره انخفضت رغم ذلك. الأمر يشبه طالباً توقف عن التخمين بناءً على ترتيب الحروف، لكنه لا يزال لا يعرف المادة جيداً بما يكفي للحصول على درجة أفضل. تخلص الورقة البحثية إلى أن مجرد إزالة "التحيز الموضعي" (الارتباك الناتج عن مكان وضع الإجابات) لا يضمن بالضرأ الحصول على درجة أفضل. في الواقع، الطريقة التقليدية المتمثلة في تبديل الإجابات وأخذ التصويت (المعروفة بالتبديل الدوري) كانت تعمل بشكل أفضل من هذه الحيل الجديدة المتطورة. الخلاصة الأساسية هي أنه بينما يمكننا إصلاح التحيز، فإن هذا لا يعني دائماً أن النموذج سيصبح أكثر ذكاءً، وأحياناً مجرد محاولة أن نكون شديدي الذكاء في تصميم الاختبار قد يؤدي إلى تعطيل قدرة النموذج على الإجابة على الإطلاق.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →