Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Dr. Seg: إعادة النظر في تدريب GRPO للنماذج اللغوية البصرية الكبيرة من خلال التصميم الموجه نحو الإدراك."

1. بيان المشكلة

بينما حقق تحسين "تحسين السياسة النسبي للمجموعات" (GRPO) نجاحاً كبيراً في تعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs)، فإن تطبيقه المباشر على النماذج اللغوية البصرية الكبيرة (VLLMs) لمهام الإدراك الموجهة (مثل التجزئة، والكشف، والعد) قد أسفر عن نتائج دون المستوى الأمثل.

حدد المؤلفون خللاً جوهرياً في الأبحاث الحالية: وهو الافتراض بأن نماذج التدريب المصممة لـ الاستنتاج (مثل الرياضيات والمنطق) يمكن نقلها بسلاسة إلى الإدراك البصري. ويجادلون بأن هذين المجالين يمتلكان اختلافات جوهرية:

• ديناميكيات فضاء المخرجات: تفضل مهام الاستنتاج الاستكشاف الموجه نحو العمق (سلاسل سببية ضيقة)، بينما تتطلب مهام الإدراك استكشافاً موجهاً نحو الاتساع (إشارات بصرية متنوعة مثل الملمس، والشكل، والعلاقات المكانية) للتعامل مع المعلومات البصرية المعقدة والمتنوعة.
• عيوب تصميم المكافأة: تستخدم الطرق الحالية غالباً مكافآت ثنائية أو تقوم ببساطة بجمع المقاييس المستمرة (مثل IoU). ويوضح المؤلفون أن جمع المكافآت المستمرة الخام يؤدي إلى حدوث انحياز حيث تهيمن مكونات المكافأة عالية التباين على تحديثات التدرج (gradient updates)، مما يؤدي إلى كبت الإشارات ذات التباين المنخفض ولكنها حاسمة. يؤدي هذا إلى عدم استقرار التدريب وضعف التعميم.

2. المنهجية: Dr. Seg

لمعالجة هذه المشكلات، يقترح المؤلفون Dr. Seg، وهو إطار عمل يعتمد على GRPO وقابل للتركيب والتشغيل (plug-and-play) ولا يتطلب أي تغييرات هيكلية في النموذج اللغوي البصري الكبير (VLLM) الأساسي. ويتكون من مكونين أساسيين:

أ. آلية "النظر للتأكيد" (توسيع فضاء المخرجات)

لتشجيع الاستكشاف الموجه نحو الاتساع، يتم توجيه النموذج صراحةً لتحديد الأدلة البصرية قبل اتخاذ القرار النهائي.

• الآلية: يتم توجيه النموذج لإحاطة ملاحظات بصرية محددة داخل وسم <look>...</look> أثناء عملية الاستنتاج (على سبيل المثال: "الشيء أحمر ويقع على اليسار").
• الهدف: يجبر هذا النموذج على مسح أبعاد بصرية متنوعة (الشكل، المادة، العلاقات المكانية) واستخلاص مسارات استنتاج من منظورات متعددة قبل تأكيد الإجابة النهائية.
• الأثر: يعمل هذا على توسيع فضاء البحث في المخرجات، مما يمنع السياسة من الانهيار في منطقة ضيقة ويحسن التعميم في سيناريوهات خارج نطاق التوزيع (OOD).

ب. المكافأة ذات الترتيب التوزيعي (تثبيت التغذية الراجعة)

لحل مشكلة انحياز المكافأة وعدم تجانس المقياس، قدم المؤلفون استراتيجية تطبيع قائمة على المئينات (quantile-based normalization).

• الآلية: بدلاً من استخدام قيم المقاييس الخام (مثل IoU الخام)، يحافظ النظام على طابور FIFO (الذي يعمل بنظام "الداخل أولاً يخرج أولاً") لمتجهات الدقة الأخيرة. بالنسبة لأي مخرج جديد، يتم تعيين كل مقياس إلى المئين التجريبي (الرتبة) الخاص به ضمن هذا التاريخ.
• التجميع: تكون المكافأة النهائية هي متوسط درجات المئينات هذه عبر المقاييس المختلفة (IoU، واتساق العد، والمسافة النقطية).
• الهدف: يخلق هذا إشارة مكافأة ثابتة المقياس ومتكيفة زمنياً. فهو يفصل حجم تحديث التدرج عن المقياس الرقمي الخام للمقياس، مما يضمن عدم هيمنة أي مقياس واحد عالي التباين على عملية التعلم. يوفر هذا تغذية راجعة دقيقة ومستقرة حتى عند وجود أهداف تحسين متعددة.

3. المساهمات الرئيسية

1. رؤية نظرية: تحدد الورقة وتحلل الاختلافات الجوهرية بين مهام الاستنتاج ومهام الإدراك في سياق GRPO، مع تسليط الضوء بشكل خاص على الحاجة إلى استكشاف أوسع لفضاء المخرجات وتصميمات مكافأة معايرة.
2. إطار عمل مبتكر (Dr. Seg): يقترح إطار عمل بسيطاً وغير مرتبط بهيكل معين يجمع بين "النظر للتأكيد" (من أجل الاستكشاف) و**"المكافأة ذات الترتيب التوزيعي"** (من أجل التعلم المستقر).
3. معيار اختبار جديد: يقدم مجموعة بيانات COCONut، وهي مجموعة تقييم صعبة للإدراك متعدد الكائنات، تم إنشاؤها من مجموعة بيانات COCO panoptic segmentation لاختبار قدرة النموذج على تجزئة مثيلات متعددة من نفس الفئة في وقت واحد.
4. تحليل شامل: يقدم دراسات استئصال (ablation studies) مفصلة تظهر أن المكونين يعملان بشكل تآزري؛ حيث لا يحقق أي منهما بمفرده كامل مكاسب الأداء.

4. النتائج التجريبية

قام المؤلفون بتقييم Dr. Seg في عدة معايير، بما في ذلك فهم التعبيرات المرجعية (سلسلة RefCOCO)، والتجزئة الاستنتاجية (ReasonSeg)، وكشف الأشياء (COCO)، والعد (Pixmo، CountBench).

• أداء الحالة الراهنة (SOTA): حقق Dr. Seg نتائج SOTA جديدة في 5 من أصل 6 معايير، متفوقاً على نماذج مرجعية قوية مثل VisionReasoner وSeg-Zero وQwen2.5-VL.
  • ReasonSeg (OOD): حسن gIoU بمقدار 2.0 نقطة مطلقة عن النموذج المرجعي.
  • COCO Detection: حسن AP بمقدار 2.4 نقطة مطلقة.
  • Pixmo Counting: حسن الدقة بمقدار 4.5 نقطة.
• التعميم: أظهر النموذج تعميماً فائقاً في كل من حالات التوزيع الداخلي (ID) وحالات خارج التوزيع (OOD)، وهو إنجاز نادراً ما تحققه الطرق السابقة في آن واحد.
• دراسات الاستئصال:
  • إزالة استراتيجية النظر للتأكد أثر على أداء OOD (انخفض ReasonSeg من 67.8 إلى 66.1).
  • إزالة المكافأة ذات الترتيب التوزيعي (باستخدام المكافآت الخام) تسبب في تدهور كبير عبر جميع المهام، مما يؤكد ضرورة استراتيجية التطبيع.
  • لم يؤدِ مجرد زيادة طول الاستجابة دون الآليات المحددة إلى تحسين الأداء، مما يثبت أن المكاسب تعود للتصميم المحدد، وليس فقط لسلاسل الاستنتاج الأطول.

5. الأهمية

• تحول في النموذج الفكري: تتحدى الورقة نهج "المقاس الواحد الذي يناسب الجميع" المتمثل في تطبيق RLVR (التعلم المعزز بالمكافآت القابلة للتحقق) من الاستنتاج إلى الإدراك. فهي تثبت أن مهام الإدراك تتطلب ديناميكيات تدريب متميزة تركز على الاتساع بدلاً من مجرد العمق.
• الفائدة العملية: من خلال كونه "قابلاً للتركيب والتشغيل" ولا يتطلب تعديلات هيكلية، يوفر Dr. Seg طريقة فورية ومنخفضة التكلفة لتعزيز النماذج اللغوية البصرية الكبيرة (VLLMs) للمهام البصرية المعقدة.
• المتانة: توفر آلية المكافأة ذات الترتيب التوزيعي حلاً قوياً لمشكلة قياس المكافآت والضجيج الشائعة في التعلم المعزز متعدد الأهداف، وهو أمر قابل للتطبيق بما يتجاى مجرد التجزئة البصرية.

في الختام، يثبت Dr. Seg أنه من خلال مواءمة ديناميكيات التدريب (استراتيجية الاستكشاف وتصميم المكافأة) مع الطبيعة المحددة للإدراك البصري، يمكن للنماذج اللغوية البصرية الكبيرة (VLLMs) تحقيق دقة وتعميم أعلى بكثير في السيناريوهات البصرية المعقدة.