Diversity-Enhanced Reasoning for Subjective Questions

إليك ملخص تقني مفصل لورقة البحث "الاستدلال المعزز بالتنوع للأسئلة الذاتية" (MultiRole-R1)، المنشورة كأوراق بحثية في مؤتمر ICLR 2026.

1. بيان المشكلة

تتفوق نماذج الاستدلال الكبيرة (LRMs) التي يتم تحسينها عبر التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR)، مثل DeepSeek-R1 وOpenAI o1، في المهام الموضوعية (مثل الرياضيات والبرمجة) حيث توجد حقيقة أرضية واحدة. ومع ذلك، تعاني هذه النماذج من تدهور التنوع (انهيار النمط/mode collapse)، مما يؤدي إلى سلاسل استدلال متكررة ومتجانسة.

هذا القصور يظهر بشكل خاص في مهام الاستدلال الذاتية (مثل المعضلات الأخلاقية، والأسئلة المتعلقة بالرأي الثقافي)، حيث:

• لا توجد إجابة واحدة "صحيحة"؛ بل يعتمد الصواب على منظور صاحب المصلحة (على سبيل المثال، زعيم ديني مقابل ناشط علماني).
• تعتمد طرق تعزيز التنوع الحالية للمهام الموضوعية على حقيقة أرضية واحدة، مما يجعلها غير قادرة على توليد النتائج المتعددة الصالحة المطلوبة للأسئلة الذاتية.
• تفتقر الأساليب الحالية (مثل النقاش بين الوكلاء المتعددين أو التلقين) إلى نماذج تدريب محددة مصممة لاستيعاب تنوع المنظور داخلياً.

2. المنهجية: MultiRole-R1

يقترح المؤلفون إطار عمل تدريبي مكون من مرحلتين باسم MultiRole-R1، صُمم لتعزيز كل من التنوع على المستوى الدلالي (تنوع المنظور) والتنوع على مستوى الرموز (Tokens) (تنوع سلسلة الاستدلال).

المرحلة الأولى: توليد مسارات الاستدلال متعددة الأدوار والضبط الدقيق (SFT)

• الهدف: تعزيز تنوع المنظور عبر تعليم النموذج "كيف يفكر من منظور معين" بدلاً من مجرد "التفكير بعمق أكبر".
• العملية:
  1. توليد الأدوار: يقوم النموذج بتوليد $n$ من الأدوار ذات الصلة بالسياق (مثل خبراء، أصحاب مصلحة) مع وجهات نظر متضاربة باستخدام التلقين بلقطات قليلة (few-shot prompting).
  2. الاختيار وأخذ العينات: يتم اختيار الأدوار بناءً على صلتها بالاستعلام والتباين مع الآراء الموجودة. لكل دور، يتم أخذ عينات متعددة لمسارات الاستدلال.
  3. تصفية الاتساق الذاتي: لضمان التماسك، يتم اختيار الإجابة الأكثر اتساقاً لكل دور عبر التصويت بالأغلبية.
  4. توليد المسارات (Path Synthesis): يتم دمج مسارات الاستدلال المصفاة من الأدوار المختلفة في سلسلة تفكير (CoT) واحدة طويلة.
  5. استراتيجيات الدمج:
     • الدمج المتباعد (Divergent Merging): للمهام التي تؤدي فيها الأدوار إلى إجابات مختلفة، يكون التنبؤ النهائي عبارة عن تجميع مرجح.
     • الدمج التقاربي (Convergent Merging): للمهام التي تتطلب إجماعاً، يحدد التصويت بالأغلبية داخل تسلسل الاستدلال الإجابة.
  6. التصفية: يتم تصفية مجموعة البيانات لإزالة انحياز الإطناب (verbosity bias) وأخطاء التنسيق، مما ينتج عنه مجموعة بيانات اصطناعية عالية الجودة (2,700 مدخل).

المرحلة الثانية: التعلم التعزيزي المعزز بالتنوع (GRPO)

• الهدف: تعزيز التنوع على مستوى الرموز وتوسيع فضاء البحث عن الإجابات.
• الخوارزمية: تستخدم تحسين السياسة النسبية للمجموعات (GRPO).
• تشكيل المكافأة: المكافأة الإجمالية $R$ هي مزيج من مكافأة الدقة القابلة للتحقق ($R_{acc}$) ومكافأة التنوع ($R_{div}$):
  $$R = \delta R_{acc} + (1 - \delta) R_{div}$$
• مقياس التنوع ($R_{div}$): مقياس مركب موزون بالتساوي عبر ثماني إشارات: التنوع المعجمي، إنتروبيا الرموز، طول الجملة، نمط الجملة، تشابه الجمل المتجاورة، معامل Yule's K، تميز الـ N-grams، وتنوع الكلمات الوظيفية.
• الآلية: تعمل مكافأة التنوع كإشارة تشكيل لمنع "اختراق المكافأة" (الإطناب المفرط) الذي غالباً ما يُلاحظ في RLVR القياسي. وهي تضمن وجود تباين في المكافأة داخل المجموعة في خوارزمية GRPO، مما يمنع ركود التدرج عندما تكون جميع العينات في المجموعة ذات دقة متشابهة.

3. المساهمات الرئيسية

1. أول تدريب معزز بالتنوع للمهام الذاتية: يقدم نموذجاً مخصصاً للاستدلال الذاتي، متجاوزاً افتراض الحقيقة الأرضية الواحدة في RLVR القياسي.
2. إطار عمل للتنوع ثنائي المستوى:
   • تنوع المنظور: يربط الاستدلال بمجموعات أصحاب المصلحة في العالم الحقيقي، مما يوفر هيكلاً متماسكاً للمخرجات المتنوعة.
   • التنوع على مستوى الرموز: يوسع فضاء البحث لسلاسل الاستدلال عبر تشكيل المكافأة.
3. بناء البيانات غير الخاضعة للإشراف: يثبت أن التصفية عبر الاتساق الذاتي على البيانات المصنعة ذاتياً هي فعالة بقدر، أو أفضل من، تصفية الحقيقة الأرضية الخاضعة للإشراف لتوليد بيانات تدريب متنوعة.
4. التنوع كمؤشر متفوق: يثبت أن التنوع هو مؤشر أكثر اتساقاً للدقة من طول الاستدلال في المهام الذاتية (ارتباط $r=0.74$ مقابل $r=0.55$ لطول النص).

4. النتائج التجريبية

تم تقييم إطار العمل على أربعة نماذج (متغيرات DeepSeek-R1 وQwen3-8B) عبر معايير اختبار موضوعية وذاتية.

• الأداء داخل النطاق (ID): حقق MultiRole-R1 متوسط زيادة في الدقة بنسبة 14.1% في ثلاث مهام ذاتية (BBQ, GlobalOpinionQA, ETHICS) مقارنة بـ zero-shot CoT.
• التعميم خارج النطاق (OOD):
  • تحسين الدقة بنسبة 7.64% في أربع مهام OOD (بما في ذلك الاستدلال اللغادي الثقافي والاستدلال العام).
  • انتقال الاستدلال الرياضي: بشكل لافت، أدى التدريب فقط على الأسئلة الذاتية إلى تحسين الأداء في معيار الرياضيات المتقدم AIME 2024 بنسبة 5.78%.
• الكفاءة: خلافاً لتوجه "الطول الأفضل" في بعض قوانين القياس، حقق MultiRole-R1 دقة أعلى مع سلاسل استدلال أقصر (متوسط 657.8 كلمة) مقارنة بنماذج SFT الأساسية (1572.9 كلمة)، مما يشير إلى كفاءة استدلال أعلى.
• دراسات الاستئصال (Ablation Studies):
  • ساهم تنوع المنظور (مرحلة SFT) بنحو 7.5% من إجمالي الربح.
  • ساهم التنوع على مستوى الرموز (مرحلة GRPO) بنحو 3.1%.
  • تفوق GRPO المعتمد على السياسة الحالية (on-policy) مع تشكيل التنوع بشكل كبير على DPO المعتمد على السياسة الخارجية (off-policy).

5. الأهمية والآثار المترتبة

• إعادة تعريف قياس الاستدلال: تتحدى الورقة المفهوم القائل بأن مجرد تمديد طول الاستدلال يحسن الأداء. وتجادل بأن التنوع (استكشاف منظورات متعددة صالحة وتنوعات الرموز) هو المحرك الحقيقي للدقة في مهام الاستدلال المعقدة.
• القدرة على التعميم: تشير القدرة على تحسين أداء النماذج المدربة فقط على الأسئلة الذاتية في المسائل الرياضية الصعبة إلى أن تنوع المنظور يعمل كتحيز استقرائي قوي، مما يساعد النماذج على الهروب من الحلول المحلية واستكشاف مساحات حل أوسع حتى في المجالات الموضوعية.
• التطبيق العملي: يوفر إطار العمل حلاً قابلاً للتوسع لنشر النماذج اللغوية الكبيرة في سيناريوهات العالم الحقيقي (صنع السياسات، الأخلاقيات، التحليل الثقافي) حيث يكون الاستدلال الجامد ذو الإجابة الواحدة غير كافٍ وقد يكون ضاراً.

في الختام، يثبت MultiRole-R1 أن دمج تنوع المنظور القائم على الأدوار ومكافآت التنوع على مستوى الرموز يخلق نماذج استدلال أكثر قوة ودقة وكفاءة، مما يسد الفجوة بين قدرات الاستدلال الموضوعي والمتطلبات الدقيقة للمهام البشرية الذاتية.