RL makes MLLMs see better than SFT

إليك ملخص تقني مفصل للورقة البحثية بعنوان "RL makes MLLMs see better than SFT" (التعلم التعزيزي يجعل النماذج اللغوية الكبيرة متعددة الوسائط ترى بشكل أفضل من الضبط الدقيق تحت الإشراف) للباحث جونها سونج وآخرون.

1. بيان المشكلة

يُفترض عادةً أن النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تستمد قدراتها بشكل أساس من نماذجها اللغوية الكبيرة (LLM) الأساسية، مما يؤدي إلى فجوة بحثية فيما يتعلق بـ المشفّر البصري (vision encoder). الافتراض السائد هو أن دور المشفّر البصري ثابت أو مجرد مستخرج للميزات. علاوة على ذلك، بينما أحدث التعلم التعزيزي (RL) ثورة في محاذاة النماذج اللغوية الكبيرة (مثل DPO)، فإن تأثيره المحدد على التمثيلات البصرية داخل النماذج متعددة الوسائط مقارنة بالضبط الدقيق القياسي تحت الإشراف (SFT) لا يزال غير مستكشف بشكل كافٍ.

حدد المؤلفون سؤالين حاسمين:

1. هل يتفوق التعلم التعزيزي (تحديداً تحسين التفضيل المباشر، DPO) على الـ SFT في النماذج متعددة الوسائط، وهل ينطبق هذا عبر مختلف أحجام النماذج؟
2. كيف تعيد هذه استراتيجيات التدريب (S SFT مقابل RL) تشكيل التمثيلات البصرية الأساسية للمشفّر البصري بشكل جوهري؟

2. المنهجية

تستخدم الورقة إطاراً تجريبياً صارماً ومنضبطاً لعزل آثار استراتيجيات التدريب على كل من النموذج متعدد الوسائط والمشفّر البصري الخاص به.

أ. الإعداد التجريبي

• البنية: تستخدم الدراسة إطار عمل LLaVA-OneVision، الذي يجمع بين أحجام مختلفة من نماذج Qwen2.5 (من 0.5 مليار إلى 7 مليارات بارامتر) مع مشفرات بصرية من نوع SigLIP2 (بأحجام B/16 إلى g/16).
• مراحل التدريب:
  1. المرحلة 1 (ما قبل التدريب): تدريب الموصل (projector) متعدد الوسائط يليه تدريب شامل (end-to-end) على مجموعات بيانات متنوعة لغة-رؤية (مثل LLaVA-OneVision-3.2M).
  2. المرحلة 2 (ما بعد التدريب): مقارنة منضبطة بين SFT (تعظيم احتمالية الاستجابات المختارة) و DPO (التحسين من أجل محاذاة التفضيلات باستخدام أزواج "المختار" مقابل "المرفوض").
• المتغيرات المنضبطة: يضمن المؤلفون مقارنات عادلة باستخدام أحجام مجموعات بيانات متطابقة (20 ألف زوج تفضيل) وبنيات نماذج متماثلة، مع تغيير هدف التحسين فقط.

ب. تحليل التمثيلات البصرية

لفهم كيف يغير التدريب "رؤية" النموذج، يقوم المؤلفون بفصل المشفّر البصري عن النموذج اللغوي الكبير بعد مرحلة ما بعد التدريب وتقييمه في مهام بصرية مستقلة:

• تصنيف ImageNet: استخدام الاختبار الخطي (linear probing) لقياس جودة الميزات البصرية العامة.
• التقسيم الدلالي (Semantic Segmentation): استخدام الاختبار على مستوى الرقعة (patch-level) على مجموعة بيانات ADE20K لقياس تحديد موقع الأشياء والفهم الدقيق.
• تصور التدرج (Gradient Visualization): استخدام Grad-CAM لتصور أين يركز النموذج انتباهه (التدرجات) أثناء حساب الخسارة، ومقارنة إشارات SFT مقابل DPO.
• محاذاة التمثيل: قياس المحاذاة بين ميزات المشفّر البصري ومختلف النماذج اللغوية المرجعية.

ج. إطار PIVOT (تحسين الرؤية الموجه بالتفضيل)

بناءً على النتائج التي تشير إلى أن التعلم التعزيزي يعيد تشكيل التمثيلات البصرية، يقترح المؤلفون PIVOT. وهو وصفة لتطوير المشفرات البصرية الموجودة:

1. خذ مشفراً بصرياً مدرباً مسبقاً (مثل CLIP، SigLIP، MAE).
2. ألحق به رأساً لنموذج لغوي كبير (LLM head).
3. قم بتحسين المشفّر البصري باستخدام DPO (تعلم التفضيلات) على مجموعة بيانات صغيرة (3 ملايين عينة تعليمات + 20 ألف زوج تفضيل).
4. قم بتجميد (freeze) المشفّر الناتج ودمجه في نموذج متعدد الوسائط جديد.

3. المساهمات الرئيسية

1. التعلم التعزيزي يتفوق على SFT في المهام المتمحورة حول الرؤية: تثبت الورقة أن النماذج المدربة بـ DPO تتفوق بشكل كبير على نظيراتها المدربة بـ SFT، خاصة في المهام التي تتطلب فهماً بصرياً دقيقاً (مثل OCR، والرسوم البيانية، والـ VQA المتمحور حول الرؤية)، بينما تظهر أداءً مقارباً في المهام الغنية بالمعرفة.
2. التعلم التعزيزي يعيد تشكيل التمثيلات البصرية: الاكتشاف الأهم هو أن ما بعد التدريب باستخدام DPO يغير التمثيلات الداخلية للمشفّر البصري بشكل جذري. تظهر المشفرات المدربة بـ DPO ميزات بصرية أقوى، وأكثر تحديداً، وأكثر دقة مقارنة بـ SFT.
3. تحديد موقع التدرج: يكشف تصور التدرج أن إشارات DPO مركزة بدقة على مناطق الصورة ذات الصلة بالسؤال، بينما تكون إشارات SFT مشتتة. وهذا يشير إلى أن التعلم التعزيزي يوفر إشرافًا أفضل للتأسيس البصري (visual grounding).
4. إطار عمل PIVOT: يقدم المؤلفون PIVOT، وهو طريقة لترقية المشفرات البصرية الحالية باستخدام التعلم التعزيزي. ومن المثير للإعجاب أن مشفراً معززاً بـ PIVOT (مثل SigLIP2-So/16) يتفوق على مشفر أكبر بكثير ومدرب تدريباً مكثفاً (مثل SigLIP2-g/16) وحتى على مشفرات الجيل القادم، رغم أنه يتطلب أقل من 1% من التكلفة الحسابية للتدريب المسبق البصري القياسي.

4. النتائج الرئيسية

• مكاسب الأداء:
  • VQA المتمحور حول الرؤية: يحقق DPO زيادة قدرها +4.2% على مهام OCR والرسوم البيانية و +2.4% على المهام المتمحورة حول الرؤية (مع SigLIP2-L/16).
  • قوانين القياس (Scaling Laws): تستمر ميزة DPO على SFT وغالباً ما تتسع الفجوة مع زيادة حجم النموذج اللغوي والمشفّر البصري.
  • كفاءة البيانات: يحقق DPO أداءً عالياً بعدد أقل من العينات (على سبيل المثال، 3 آلاف عينة من DPO تتفوق على 40 ألف عينة من SFT).
• اختبارات الرؤية فقط:
  • ImageNet: تظهر المشفرات المدربة بـ DPO دقة (Top-1) أعلى بنسبة +1.83% إلى +1.96% من تلك المدربة بـ SFT.
  • التقسيم (Segmentation): يحسن DPO استدعاء مستوى الرقعة (patch-level recall) بنسبة +1.08% على مشفرات CLIP-L/14.
  • الجانب النوعي: تولد المشفرات المدربة بـ DPO خرائط تقسيم تتماشى بشكل وثيق جداً مع الحقيقة الأرضية (ground truth) مقارنة بـ SFT.
• فعالية PIVOT:
  • SigLIP1 مقابل SigLIP2: يتفوق SigLIP1-So/14 المعزز بـ PIVOT على SigLIP2-So/16 القياسي.
  • الصغير مقابل الكبير: يتفوق SigLIP2-So/16 المعزز بـ PIVOT (400 مليون بارامتر) على SigLive2-g/16 الضخم (1 مليار بارامتر) في إعدادات النماذج متعددة الوسائط (55.6% مقابل 53.9% متوسط الدرجة).
  • التكلفة: يستغرق تدريب PIVOT حوالي 18 ساعة على 8 وحدات GPU من نوع H100، مقارنة بآلاف شرائح TPU المطلوبة للتدريب المسبسي القياسي.

5. الأهمية والتأثير

• تحول في النموذج الفكري: تتحدى الورقة الرؤية "المتمحورة حول النموذج اللغوي" للنماذج متعددة الوسائط، حيث تثبت أن المشفّر البصري ديناميكي ويتحسن بشكل كبير من خلال محاذاة التفضيلات القائمة على التعلم التعزيزي.
• الكفاءة: يوفر PIVOT مساراً عالي الكفاءة لبناء دعامات بصرية رائدة. وهو يشير إلى أن تعلم التفضيلات هو آلية أكثر فعالية لصقل التمثيلات البصرية من التدريب المسبق واسع النطاق ذاتي الإشراف وحده.
• القدرة على التعميم: تظهر فوائد التعلم التعزيزي (DPO, GRPO, PPO) على SFT أنها تتعمم عبر خوارزميات التعلم التعزيزي وبنيات النماذج المختلفة، وليست مجرد نتاج خاص بـ DPO.
• الاتجاه المستقبلي: يفتح هذا العمل مساراً جديداً لـ "تحسين المشفّر البصري" عبر التعلم التعزيزي، مما يشير إلى أن تطوير النماذج متعددة الوسائط في المستقبل يجب أن يعطي الأولوية للضبط الموجه بالتفضيل للدعامات البصرية بدلاً من مجرد زيادة حجم بيانات التدريب المسبق.

في الختام، تثبت الورقة أن التعلم التعزيزي لا يقوم فقط بمحاذاة النموذج اللغوي؛ بل "يعلّم" المشفّر البصري بشكل جوهري كيف يرى بشكل أفضل، مما ينتج تمثيلات بصرية أكثر دقة وتحديداً وقوة، مما يدفع الأداء المتفوق للنماذج متعددة الوسائط.