Making Bias Non-Predictive: Training Robust LLM Reasoning via Reinforcement Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "جعل الانحياز غير تنبؤي: تدريب الاستدلال القوي للنماذج اللغوية الكبيرة عبر التعلم التعزيزي."

1. بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs)، وخاصة تلك المستخدمة كمقيمين آليين ("النموذج اللغوي كحكم") أو كأدوات استدلال، لحساسية عالية تجاه الانحيازات المعرفية (Cognitive Biases). وتتسبب هذه الانحيازات في تغيير استدلال النماذج وقراراتها النهائية بناءً على إشارات في مستوى المطالبة (Prompt) تكون زائفة وغير سببية (مثل: "90% من الناس يتفقون"، "الخبراء يوصون"، أو تموضع الخيارات) بدلاً من الاعتماد على الصحة الواقعية.

• المشكلة الجوهرية: تفشل استراتيجيات التخفيف الحالية (هندسة المطالبات، والضبط الدقيق الخاضع للإشراف/SFT) لأنها تعدل السلوك السطحي فقط دون تغيير هدف التحسين الأساسي. فخلال مرحلة التدريب المسبق، غالباً ما ترتبط إشارات الانحياز بالتغذية الراجعة الإيجابية، مما يجعلها "طرقاً مختصرة" جذابة للنموذج.
• النتيجة: حتى النماذج ذات قدرات الاستدلال القوية (مثل OpenAI-o1 أو DeepSeek-R1) يمكن التلاعب بها لعكس الأحكام الصحيحة عند تعرضها لإجماع مُختلق أو ادعاءات سلطة. ويمثل هذا فشلاً في الاستقلال المعرفي (Epistemic Independence): أي القدرة على إصدار أحكام ثابتة بغض النظر عن الإشارات الزائفة.

2. المنهجية: تدريب الاستقلال المعرفي (EIT)

يقترح المؤلفون إطار عمل تدريب الاستقلال المعرفي (EIT)، وهو إطار للتعلم التعزيزي (RL) يقوم على مبدأ واحد: لتعلم الاستقلال، يجب جعل إشارات الانحياز غير تنبؤية بالمكافأة. إذا كانت إشارة الانحياز تتنبأ بالصحة، فإن السياسة المثلى ستستغلها؛ أما إذا لم توفر ميزة اتجاهية، فسيُجبر النموذج على الاعتماد على الاستدلال الذاتي.

يتكون EIT من ثلاثة مكونات رئيسية:

أ. استراتيجية الصراع المتوازن (بناء البيانات)

بدلاً من التدريب فقط على أمثلة "الانحياز خاطئ" (التي تعلم النموذج مجرد معارضة الانحياز)، يستخدم EIT استراتيجية صراع بنسبة 50/50:

• في 50% من عينات التدريب، تدعم إشارة الانحياز المدرجة الإجابة الصحيحة.
• في 50% من العينات، تدعم إشارة الانحياز الإجابة الخاطئة.
• النتيجة: الارتباط بين إشارة الانحياز والإجابة الصحيحة هو صفر ($P(\text{bias} = \text{correct}) = 0.5$). وهذا يجعل إشارة الانحياز غير تنبؤية إحصائياً، مما يجبر النموذج على تجاهلها لتعظيم المكافأة.

ب. تصميم المكافأة الهرمي

تتكون دالة المكافأة $R$ من ثلاثة أجزاء لمنع أنماط الفشل المحددة:

1. المكافأة الهيكلية ($R_{struct}$): تضمن أن يُخرج النموذج تنسيق سلسلة أفكام (CoT) صالحاً.
2. الدقة الواقعية ($R_{acc}$): تكافئ الإجابات الصحيحة لمنع "المعارضة العشوائية" (التخمين المعاكس للانحياز دون استدلال).
3. حافز الاستقلال ($R_{ind}$): وهو المكون الحاسم الذي يفصل الاستدلال عن التأثير الاجتماعي.
   • السياق المعادي (الانحياز $\neq$ الحقيقة):
     • $+\gamma_1$: مكافأة لتجاهل الانحياز واختيار الإجابة الصحيحة.
     • $-\gamma_1$: عقوبة لاتباع الانحياز وصولاً إلى إجابة خاطئة.
   • السياق الداعم (الانحياز $=$ الحقيقة):
     • $0$: لا توجد مكافأة إضافية لكون الإجابة صحيحة عندما يتوافق الانحياز مع الحقيقة.
     • $-\gamma_2$: عقوبة لتجاهل الحقيقة واتباع انحياز خاطئ (إذا كان قابلاً للتطبيق).
   • الرؤية الجوهرية: من خلال تقديم ربح هامشي صفري عندما يتوافق الانحياز مع الحقيقة، لا يمكن للنموذج تعلم قاعدة "اتبع الانحياز دائماً". يجب عليه تجاهل الانحياز تماماً للنجاح في جميع السيناريوهات.

ج. التحسين (Optimization)

يستخدم الإطار تحسين السياسة النسبي للمجموعات (GRPO). يتم تحديث السياسة لتعظيم المكافأة المتوقعة بالنسبة لخط أساس المجموعة، مما يعزز الاستجابات التي تُظهر كلاً من الدقة العالية والاستقلال.

3. المساهمات الرئيسية

1. الصياغة: تعريف الاستقلال المعرفي كمسألة تعلم تعزيزي حيث تصبح الإشارات الزائفة غير تنبؤية بالمكافأة.
2. الآلية المبتكرة: تقديم استراتيجية الصراع المتوازن ومكافأة معاقبة الانحياز، واللذان يعملان معاً لمنع تعلم الاختصارات وإجبار النموذج على الاعتماد على الاستدلال المرتبط بالمهمة.
3. التعميم: إثبات أن التدريب على نوع واحد من الانحياز (انحياز العربة/Bandwagon) يؤدي إلى استقلال قابل للنقل لأنواع انحياز غير مرئية (السلطة، التشتت، التموضع) وعبر نماذج ومعايير مختلفة.
4. التفوق على التوسع: إظهار أن التدريب المستهدف باستخدام EIT على نموذج أصغر (Qwen3-4B) يتفوق على النماذج الأكبر غير المدربة (Qwen3-8B, Qwen3-14B) من حيث مقاومة الانحياز، مما يثبت أن جودة التدريب أهم من حجم المعلمات.

4. النتائج التجريبية

أُجريت التجارب على Qwen3-1.7B و Qwen3-4B باستخدام مجموعة بيانات MMLU-Pro، مع التقييم على MedQA و HellaSwag.

• مكاسب الدقة والمتانة:
  • في Qwen3-4B، حسن EIT دقة الانحياز المعادي بنسبة +13.2% (70.1% $\leftarrow$ 83.3%) والمتانة بنسبة +16.4%.
  • انحياز التشتت (Distraction Bias): أظهر أقوى انتقال، حيث قفزت دقة الانحياز الخاطئ بنسبة +39.1% (45.9% $\leftarrow$ 85.0%) رغم عدم رؤيته أثناء التدريب.
• المقارنة مع الخطوط المرجعية (Baselines):
  • مقابل هندسة المطالبات: غالباً ما أدت عملية التخفيف القائمة على المطالبات إلى تدهور الدقة "النظيفة" (على سبيل المثال، انخفضت دقة Qwen3-4B النظيفة من 66.2% إلى 40.9%).
  • مقابل الضبط الدقيق الخاضع للإشراف (SFT): أدى SFT إلى "استقلال أدائي" (النماذج تقول إنها مستقلة ولكنها تفشل في الاستدلال)، مما أدى غالباً إلى إجابات خاطئة. حقق EIT مكاسب متسقة عبر جميع الإعدادات.
  • مقابل النماذج الأكبر: تفوق Qwen3-4B المدرب بـ EIT (دقة 83.3% تحت انحياز العربة) على Qwen3-8B غير المدرب (72.5%) و Qwen3-14B (75.2%).
• عبر المعايير والنماذج:
  • عمم EIT نفسه على معايسات غير مرئية (MedQA, HellaSwag) وعائلات نماذج أخرى (Llama-3.2-3B)، مما يؤكد أن الطريقة ليست مرتبطة بمعيار محدد.
  • تفوق على طرق تغيير التوزيع (GroupDRO, IRM) دون الحاجة إلى تسميات البيئة.

5. الأهمية والتحليل النوعي

تقدم الورقة تحليلاً نوعياً لـ كيفية استدلال النماذج تحت تأثير الانحياز، كاشفة عن ثلاثة أنماط متميزة:

1. النمط الأساسي (Baseline): يتم عرقلة الاستدلال الصحيح بسبب الشك الذاتي عند مواجهة إشارات السلطة أو الإجماع.
2. الضبط الدقيق (SFT): يُظهر "استقلالاً أدائياً". يتعلم النموذج لغة الاستقلال ("يجب ألا أسمح للرأي العام بالتأثير علي") ولكنه يفتقر إلى الجوهر (الاستدلال الفعلي)، مما يؤدي غالباً إلى إجابات خاطئة.
3. تدريب EIT: يُظهر "استقلالاً معرفياً حقيقياً". ينخرط النموذج في المعرفة بالمجال، ويقوم بعمليات تحقق صريحة (حسابات، منطق)، ويرفض صراحةً إشارات الانحياز المتعارضة بناءً على استدلاله الخاص.

الخلاصة:
يثبت EIT أن المتانة تجاه الانحياز المعرفي ليست خاصية متأصلة في حجم النموذج، بل هي قدرة قابلة للتعلم. من خلال جعل إشارات الانحياز غير تنبؤية عبر بيانات الصراع المتوازن وصياغة مكافآت محددة، يمكن للتعلم التعزيزي غرس استقلال معرفي حقيقي، مما يجعل النماذج اللغوية الكبيرة أكثر موثوقية كأدوات للحكم والاستدلال الآلي في البيئات العدائية.