All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كل الطرق تؤدي إلى روما: تحفيز التفكير المتشعب في نماذج الرؤية واللغة".

1. بيان المشكلة

تتناول الورقة البحثية قصوراً حرجاً في نُهج التعلم المعزز (RL) الحالية لنماذج الرؤية واللغة (VLMs)، وتحديداً تحسين السياسة النسبية للمجموعة (GRPO). بينما عزز التعلم المعزز قدرات الاستدلال لنماذج الرؤية واللغة بشكل كبير، حدد المؤلفون تمايزاً سلوكياً جوهرياً بين النماذج المدربة بالتعلم المعزز ونظيراتها الأساسية (Base Models):

• نماذج التعلم المعزز (النماذج التقاربية - Convergent): تميل إلى الانخراط في استدلال "عميق ولكنه ضيق". فهي تتفوق في صقل استراتيجية مهيمنة واحدة، لكنها تعاني من انهيار التنوع (Diversity Collapse)، حيث تتقارب مبكراً نحو مجموعة فرعية محدودة من مسارات الاستدلال، متخليةً عن الاستراتيجيات البديلة. يؤدي هذا إلى الوقوع في الأمثلية المحلية (Local Optima) وضعف القابلية للتوسع عند مواجهة مشكلات معقدة تتطلب أساليب متنوعة.
• النماذج الأساسية (النماذج التشعبية - Divergent): رغم أنها أقل صقلاً على طول مسار واحد، إلا أنها تُظهر أنماط تفكير "واسعة ومتنوعة". فعند إعطائها محاولات أخذ عينات متعددة، غالباً ما تنجح النماذج الأساسية في حل المشكلات التي تفشل فيها نماذج التعلم المعزز، وذلك عبر الاستفادة من مسارات استدلال بديلة (مثل استخدام استراتيجيات الاستبعاد بدلاً من العد المتسلسل، أو التحقق بدلاً من حل المعادلات).

المشكلة الجوهرية هي أن التدريب القياسي بالتعلم المعزز (GRPO) يقمع التفكير المتشعب المتأصل في النماذج الأساسية، مما يحد من قدرة النموذج على استكشاف فضاء الحلول بفعالية وتوسيع الأداء عند وقت الاختبار.

2. المنهجية: تحسين السياسة متعدد المجموعات (MUPO)

لمعالجة انهيار التنوع، يقترح المؤلفون MUPO، وهو بديل جاهز للاستخدام لـ GRPO مصمم لتحفيز التفكير المتشعب عبر حلول متعددة.

المكونات الرئيسية لـ MUPO:

• تقسيم المجموعات: بدلاً من معاملة جميع الاستجابات المأخوذة ككتلة واحدة، يقوم MUPO بتقسيم $N$ من الاستجابات المأخوذة إلى $K$ من المجموعات المتميزة بناءً على تضمينات الاستدلال الخاصة بها (باستخدام التجميع المقيد). تمثل كل مجموعة "نمطاً" أو استراتيجية استدلال متميزة.
• تقدير الميزة المحلي (Localized Advantage Estimation): على عكس GRPO، الذي يحسب المزايا عالمياً عبر جميع العينات، يقوم MUPO بحساب المزايا محلياً داخل كل مجموعة. يضمن ذلك صقل كل نمط استدلال بشكل مستقل دون أن يتم معاقبته بسبب أداء الأنماط الأخرى.
• مكافأة التنوع: لمنع المجموعات من الانهيار في استراتيجية واحدة، يقدم MUPO مكافأة تنوع ($R_{div}$). يتم حساب هذه المكافأة بناءً على متوسط مسافة جيب التمام (Cosine Distance) بين تضمين استجابة معينة وتضمينات الاستجابات في المجموعات الأخرى.
  • $R_{total} = R_{acc} + R_{fmt} + \lambda \cdot \mathbb{I}[R_{acc}=1] \cdot R_{div}$
  • يتم تطبيق مكافأة التنوع فقط على الإجابات الصحيحة لمنع "اختراق المكافأة" (السعي وراء التنوع على حساب الصحة).
• جدول التخميد (Annealing Schedule): يتبع وزن مكافأة التنوع ($\lambda$) جدول تخميد جيب التمام (Cosine Annealing). يبدأ بقيمة عالية لتشجيع الاستكشاف الواسع في المراحل المبكرة، ثم يتناقص تدريجياً للتحول نحو استغلال الاستراتيجيات الأكثر واعدية في المراحل اللاحقة.
• موازنة الحمل (Load Balancing): يتم تطبيق عامل قياس ($w_k$) على هدف كل مجموعة لمنع المجموعات الأكبر من الهيمنة على عملية التحسين، مما يضمن تعلماً متوازناً عبر جميع الاستراتيجيات المكتشفة.

3. المساهمات الرئيسية

1. التحليل السلوكي: تقدم الورقة دليلاً تجريبياً على أن نماذج التعلم المعزز تعاني من "انهيار التنوع"، حيث تتقارب نحو استراتيجيات ضيقة، بينما تحافظ النماذج الأساسية على أنماط استدلال أكثر اتساعاً وتنوعاً، وهي أمور حاسمة لحل المشكلات المعقدة والمتعددة الأوجه.
2. خوارزمية MUPO: اقتراح خوارزمية جديدة لتحسين السياسة تعمل صراحة على الموازنة بين الاستكشاف (التفكير المتشعب عبر المجموعات) والاستغلال (صقل الاستراتيجيات الفردية داخل المجموعات).
3. الأداء المتميز (State-of-the-Art): إثبات أن MUPO يحقق أداءً فائقاً على المعايير المعتمدة مقارنة بنماذج التعلم المعزز القوية (مثل Vision-R1 و R1-OneVision) والنماذج الأساسية، لا سيما في سيناريوهات التوسع عند وقت الاختبار (acc@4).

4. النتائج التجريبية

قيم المؤلفون نموذج MUPO-Thinker (المبني على Qwen2.5-VL 3B و 7B) على تسعة معايير استدلال، بما في ذلك MathVerse و MathVista و LogicVista و HallusionBench.

• تحسينات الدقة (acc@1):
  • نموذج 7B: حقق زيادة متوسطة قدرها 2.5% في المعايير الرياضية و 2.3% في المعايير العامة مقارنة بأفضل النتائج السابقة.
  • نموذج 3B: تفوق على النماذج الأساسية من نفس الحجم بزيادات قدرها 2.0% (رياضيات) و 2.4% (عام).
• التوسع عند وقت الاختبار (acc@4):
  • أظهر MUPO-Thinker-7B تحسينات كبيرة في سيناريوهات أخذ العينات المتعددة، متفوقاً على نماذج التعلم المعزز الحالية بنسبة 6.0% في المعايير الرياضية و 6.2% في المعايير العامة.
  • حقق نموذج 3B المدرب باستخدام MUPO أداءً مقارباً لنماذج 7B القوية، مما يسلط الض์ على كفاءة الطريقة.
• التحليل النوعي:
  • أكدت التصورات (t-SNE) أن MUPO يحافظ على توزيع متعدد الأنماط لتضمينات الاستدلال، بينما ينهار GRPO في كتلة كثيفة واحدة.
  • أظهرت دراسات الحالة أن MUPO نجح في استخدام استراتيجيات بديلة (مثل استخدام الأجسام المرجعية لتقدير الارتفاع) حيث فشل GRPO بسبب الاستدلال المتسلسل الجامد والمليء بالأخطاء.

5. الأهمية والأثر

• تحول في نموذج التعلم المعزز للنماذج البصرية-اللغوية: تتحدى الورقة المفهوم السائد بأن التعلم المعزز يجب أن يتقارب بصرامة نحو مسار أمثل واحد. وتجادل بأن الحفاظ على التفكير المتشعب أمر ضروري للاستدلال القوي، خاصة في المهام البصرية حيث توجد طرق صحيحة متعددة.
• القابلية للتوسع: من خلال تمكين النماذج من استكشاف "طرق" استدلال متعددة في آن واحد، يعزز MUPO بشكل كبير قدرات التوسع عند وقت الاختبار، مما يسمح للنماذج الأصغر بالتفوق على النماذج الأكبر والتقاربية.
• القابلية للتعميم: النهج هو بديل "جاهز للاستخدام" لـ GRPO، مما يجعله سهل الاعتماد في خطوط إنتاج التدريب القائمة على التعلم المعزز في المجالات متعددة الوسائط واللغوية.
• الاستدلال المتوافق مع البشر: تحاكي الطريقة حل المشكلات لدى البشر، حيث غالباً ما يتناول الأفراد المشكلة من زوايا متعددة قبل الاستقرار على الحل الأفضل، بدلاً من الالتزام الصارم بفرضية أولية واحدة.

ختاماً، نجح MUPO في سد الفجوة بين عمق التعلم المعزز واتساع النماذج الأساسية، مقدماً إطاراً قوياً لتدريب نماذج الرؤية واللغة التي تتميز بالعمق في الاستدلال والتنوع في الاستراتيجية.