ABCD: All Biases Come Disguised

إليك ملخص تقني مفصل لورقة البحث بعنوان "ABCD: All Biases Come Disguised" (كل التحيزات تأتي متنكرة) من إعداد ماتيوس نوفاك، كزافييه كاديت، وبيتر تشين.

1. بيان المشكلة

تُقيّم النماذج اللغوية الكبيرة (LLMs) بشكل روتيني باستخدام اختبارات الأسئلة متعددة الخيارات (MCQ) (مثل MMLU، وGPQA، وCommonsenseQA). ومع ذلك، فإن بروتوكولات التقييم القياسية عرضة لـ الآثار السطحية (superficial artifacts) التي تستغلها النماذج بدلاً من الاعتماد على التفكير الحقيقي. حدد المؤلفون ثلاثة مصادر رئيسية للتحيز:

1. تحيز الملصق (Label Bias): تستغل النماذج الإشارات الدلالية أو الترتيبية لملصقات الخيارات (مثل "A"، "B"، "C"، "D").
2. تحيز الموضع (Position Bias): تتعلم النماوة اختيار الإجابات بناءً على موقعها في القائمة (مثل اختيار الخيار الثالث دائماً).
3. تحيز توزيع الأمثلة القليلة (Few-Shot Prompt Distribution Bias): تحلل النماذج توزيع الإجابات الصحيحة في الأمثلة القليلة المقدمة (على سبيل المثال، إذا كانت 3 من أصل 4 أمثلة إجابتها هي "A"، فإن النموذج يوجه تنبؤه نحو "A" للسؤال التجريبي).

لقد عالجت الأبحاث الحالية تحيزات الموضع والملصقات، لكن تحيز توزيع الأمثلة القليلة لا يزال غير مستكشف إلى حد كبير. علاوة على ذلك، فإن طرق التقييم القياسية (الاختيار والرمز - Select-and-Letter) غالباً ما تكافئ استغلال الاختصارات، مما يؤدي إلى تضخيم درجات الدقة التي لا تعكس قدرات التفكير الحقيقية.

2. المنهجية

أ. الأداة التشخيصية: NonsenseQA

لقياس هذه التحيزات، قدم المؤلفون NonsenseQA، وهو مجموعة بيانات اصطناعية تتكون من 1000 سؤال تم إنشاؤها من كلمات عشوائية مع إجابات صحيحة محددة عشوائياً.

• الغرض: بما أن المحتوى ليس له معنى دلالي، فإن أي دقة تزيد بشكل كبير عن مستوى الصدفة (25%) تشير إلى أن النموذج يستغل آثار التقييم (الملصقات، الموضع، أو أنماط الأمثلة القليلة) بدلاً من التفكير.
• النتائج: بموجب البروتوكولات القياسية، حققت بعض النماذج دقة تزيد عن 95% في NonsenseQA من خلال استغلال توزيعات إجابات الأمثلة القليلة بشكل صريح أو ضمني.

ب. البروتوكول المقترح: المتطابق والمتقطع (Matched-and-Dashed - M&D)

يقترح المؤلفون بروتوكول تقييم مخفض التحيز مصمم للقضاء على الآثار القابلة للاستغلال مع الحفاظ على هيكل الأسئلة متعددة الخيارات:

1. ملصقات موحدة وغير مرتبة: بدلاً من الحروف المميزة (A، B، C، D)، يتم تسمية جميع الخيارات برمز موحد (مثل "-"). هذا يزيل إشارات الترتيب القائمة على الملصق.
2. توليد النص الكامل: بدلاً من مطالبة النموذج بإخراج حرف واحد، يتم توجيه النموذج لتوليد النص الكامل للإجابة المختارة.
3. المطابقة الدلالية: يتم مطابقة النص الذي ولده النموذج مع الخيارات المرشحة باستخدام نموذج تشابه الجمل (تحديداً Qwen3-Embedding-0.6B مع تشابه جيب التمام/cosine similarity). هذا يسمح بسلسلة من التفكير (chain-of-thought) وتنوع المترادفات.
4. الاستخراج: تُستخدم التعبيرات النمطية (regular expressions) لاستخراج جملة الإجابة النهائية من مخرجات النموذج.

ج. مقاييس التقييم

• SCORE: مقياس يقيس الاتساق عبر التبديلات.
• نسبة التباين ($\sigma^2_R$): تُعرف بأنها $\sigma^2_{M\&D} / \sigma^2_{S\&L}$. القيمة الأقل من 1 تشير إلى أن بروتوكول M&D يقلل من تباين الأداء (مما يحسن المتانة) مقارنة ببروتوكول الاختيار والرمز (S&L) القياسي.
• هجمات تحريك الإجابة (Answer-Moving Attacks): يقوم المؤلفون بتبديل موقع الإجابة الصحيحة في كل من السؤال التجريبي وفي مطالبة الأمثلة القليلة لاختبار حساسية النموذج.

3. المساهمات الرئيسية

1. تحديد تحيز الأمثلة القليلة: توضح الورقة تحيزاً لم يُستكشف سابقاً حيث تستغل النماذج توزيع الإجابات الصحيحة في مطالبات الأمثلة القليلة، حتى في المدخلات التي ليس لها معنى دلالي.
2. مجموعة بيانات NonsenseQA: أداة تشخيصية لعزل وقياس اعتماد النموذج على الاختصارات (الملصقات، الموضع، وأنماط الأمثلة القليلة) دون الحاجة إلى معرفة بالحقيقة الأرضية (ground-truth).
3. بروتوكول التقييم المخفض للتحيز (M&D): طريقة تقييم عملية بمرور واحد (single-pass) لا تتطلب ضبطاً دقيقاً للنموذج (fine-tuning)، ولا تتطلب الوصول إلى الـ logits الداخلية، وتتطلب زيادة طفيفة فقط في التكلفة الحسابية (~3%).
4. التحليل التجريبي الشامل: التقييم عبر 13 نموذجاً لغوياً كبيراً (تتراوح من 8 إلى 32 مليار معلمة) و5 مجموعات بيانات متنوعة (MMLU-Pro، GPQA، CommonsenseQA، ARC، INCLUDE).

4. النتائج

أ. الأداء على NonsenseQA

• البروتوكول القياسي (S&L): أظهرت النماذج دقة عالية (غالباً >95%) في الأسئلة العشوائية من خلال استغلال أنماط الأمثلة القليلة.
• بروتوكول M&D: انخفضت الدقة المتوسطة بشكل حاد لتصل إلى مستويات قريبة من مستوى الصدفة (~25%) لمعظم النماذج، مما أدى فعلياً إلى كبح استغلال التحيزات. النماذج التي اعتمدت سابقاً على الاختصارات أُجبرت على التصرف بشكل عشوائي في البيانات غير المنطقية.

ب. المتانة على المجموعات الحقيقية

• تقليل التباين: عبر 13 نموذجاً و5 مجموعات بيانات، قلل بروتوكول M&D من تباين دقة النموذج تحت هجمات تحريك الإجابة بمعامل قدره 3 أضعاف (المتوسط الهندسي لنسبة التباين هو 0.33).
• انخفاض ضئيل في الأداء: جاء الانخفاض في التحيز مع انخفاض ضئيل في متوسط الدقة في المجموعات القياسية. على سبيل المثال، في ARC وCommonsenseQA، كان الانخفاض طفيفاً، بينما تحسنت المتانة بشكل كبير.
• التعميم عبر اللغات: حسن البروتوكول المتانة في الإعدادات متعددة اللغات (مجموعة بيانات INCLUDE)، مما يثبت أن آثار الملصقات ونمط التنبؤ ليست مرتبطة بلغة معينة.

ج. تصنيف النماذج

كشفت الدراسة عن ثلاثة سلوكيات متميزة للنماذج فيما يتعلق بالتحيز:

1. نماذج التحيز الصريح (Explicit Bias Models): تشير مباشرة إلى إجابات الأمثلة القليلة في تفكيرها (مثل GPT-OSS).
2. نماذج التحيز الضمني (Implicit Bias Models): لا تشير صراحة إلى الأمثلة ولكنها تحقق باستمرار دقة >50% في البيانات غير المنطقية من خلال استنتاج أنماط التوزيع (مثل Qwen3-8B).
3. النماذج المقاومة للتحيز (Bias-Resistant Models): تستغل التحيزات بشكل هامشي فقط، وتؤدي بالقرب من مستوى الصدفة حتى تحت البروتوكولات القياسية (مثل Gemma-3-27b-it).

د. الاتفاق عبر مجموعات البيانات

حسن بروتوكول M&D الارتباط بين مجموعات البيانات المختلفة (مثل GPQA وARC)، مما يشير إلى أن إزالة آثار التقييم يكشف عن قدرات التفكير الحقيقية للنماذج. وعلى العكس من ذلك، فقد سلط الضوء على أن الأداء العالي في المجموعات الغنية بالمعرفة (MMLU-Pro) لا يرتبط دائماً بقدرة التفكير عند إزالة التحيزات.

5. الأهمية والأثر

• تقييم أكثر موثوقية: يوفر بروتوكول M&D تقييماً أكثر صدقاً لقدرات التفكير واسترجاع المعرفة للنماذج اللغوية الكبيرة من خلال تصفية سلوكيات "الاختصار".
• العملية: على عكس طرق إزالة التحيز السابقة التي تتطلب ضبطاً دقيقاً أو الوصول إلى مكونات النموذج الداخلية (logits)، فإن هذا النهج هو مجرد تغيير بسيط في هندسة المطالبة والمعالجة اللاحقة، مما يجعله قابلاً للتطبيق الفوري على المجموعات الحالية.
• السلامة والثقة: من خلال كشف النماذج التي تعتمد على تحيزات توزيع الأمثلة القليلة، يساعد البروتوكول الممارسين على تحديد النماذج التي قد تفشل في السيناريوهات الواقعية عالية المخاطر حيث لا توجد مثل هذه الأنماط.
• الأبحاث المستقبلية: تضع الورقة معياراً جديداً لتقييم الأسئلة متعددة الخيارات، مما يشجع المجتمع العلمي على الابتعاد عن مقاييس اختيار الحروف البسيطة نحو المطابقة الدلالية وتوليد النص الكامل لضمان المتانة ضد آثار التقييم.

في الختام، تثبت الورقة أن اختبارات MCQ الحالية يتم "التلاعب بها" بشكل كبير من قبل النماذج اللغوية الكبيرة التي تستغل الإشارات السطحية. يعمل بروتوكول Matched-and-Dashed (M&D) المقترح على تحييد هذه التحيزات بفعالية، مما يوفر إطاراً أكثر صرامة واستقراراً لتقييم القدرات الحقيقية للنماذج اللغوية الكبيرة.