CoPRS: Learning Positional Prior from Chain-of-Thought for Reasoning Segmentation

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "CoPRS: تعلم الأولوية الموضعية من سلسلة الأفكو (Chain-of-Thought) لتقسيم الاستدلال".

1. بيان المشكلة

يتطلب تقسيم الاستدلال (Reasoning Segmentation) من النماذج توليد أقنعة (masks) على مستوى البكسل بناءً على تعليمات لغوية طبيعية معقدة وحرة (مثل: "قسم الطائرة بدون طيار التي تتبع الطائرة الرباعية المراوح"). تعاني النهج الحالية من مشكلتين رئيسيتين:

• طرق الاستدلال الكامن (Latent Reasoning Methods): تقوم بربط الميزات الخفية للنماذج اللغوية الكبيرة (LLMs) مباشرة بمفكك شفرة القناع (mask decoder). ورغم فعاليتها، إلا أن عملية الاستدلال الوسيطة تكون غير شفافة (opaque)، مما يجعل من الصعب تفسير أو تشخيص الأخطاء.
• طرق الاستدلال القائمة على النص (Text-Based Reasoning Methods): تقوم بتوليد إحداثيات منفصلة (مثل صناديق الإحاطة أو النقاط) عبر النص. ورغم أنها صريحة، إلا أن هذا النهج يفتقر إلى المرونة، ويفتقر إلى التفاصيل الدلالية الدقيقة، كما أنه هش تجاه أخطاء التنسيق أو الإحداثيات الخارجة عن نطاق الصورة.

هناك حاجة ماسة لنموذج يربط بين الاستدلال اللغوي والتقسيم من خلال القابلية للتفسير (interpretability) والقابلية للتفاضل (differentiability)، مما يسمح لعملية الاستدلال بتوجيه المخرجات المرئية مباشرة دون فقدان الدقة الدلالية.

2. المنهجية: CoPRS

يقترح المؤلفون CoPRS (نموذج الإدراك الموضعي القائم على سلسلة الأفكو لتقسيم الاستدلال)، وهو إطار عمل شامل من مرحلة واحدة ونهاية إلى نهاية (end-to-end)، يقدم أولوية موضعية (positional prior) قابلة للتفاضل والتفسير.

البنية الأساسية

1. سلسلة الأفكو متعددة الوسائط (MCoT):

   • يأخذ النموذج صورة وتعليمة كمدخلات.
   • يتم توجيه نموذج لغوي كبير متعدد الوسائط (MLLM) (تحديداً Qwen2.5-VL) لتوليد أولاً سلسلة أفكو (CoT) (مدرجة داخل وسوم <thought>...</thought>) ثم إخراج رمز تركيز خاص (<REF_POS>).
   • هذا يجبر النموذج على الاستدلال صراحةً حول الهدف قبل محاولة تحديد موقعه.

2. رمز التركيز القابل للتعلم ورأس الاستعلام (Query Head):

   • يتم استخراج تضمين الحالة الخفية (hidden state embedding) لرمز التركيز.
     ‌3. يقوم رأس استعلام قابل للتعلم ($F_{head}$) برسم خرائط هذا التضمين إلى استعلام تركيز ($Q$).

3. توليد الأولوية الموضعية (الخريطة الحرارية - Heatmap):

   • يقوم العمود الفقري للرؤية (SAM ViT-H) بترميز الصورة إلى مفاتيح ($K$).
   • يقوم استعلام التركيز $Q$ بالانتباه إلى مفاتيح الصورة $K$ عبر آلية الانتباه متعدد الرؤوس (multi-head attention).
   • يتم تجميع درجات الانتباه الناتجة ودمجها عبر طبقات تلافيفية (convolutional layers) لإنتاج خريطة حرارية (heatmap) كثيفة وقابلة للتفاضل ($H_{prior}$).
   • الأهمية: تعمل هذه الخريطة الحرارية كـ "أولوية موضعية"، حيث تمثل بصرياً أين يعتقد النموذج أن الهدف موجود بناءً على استدلاجه. وهي أكثر قابلية للتفسير من المتجهات الخفية وأكثر تفصيلاً من الإحداثيات المنفصلة.

4. مفكك شفرة خفيف الوزن (Lightweight Decoder):

   • يأخذ مفكك شفرة خفيف الوزن (يعتمد على Two-Way Transformer الخاص بـ SAM) الأولوية الموضعية ($H_{prior}$) وميزات الصورة لتنقية الخريطة الحرارية وتحويلها إلى قناع ثنائي دقيق ($\hat{M}$).

إطار التدريب الموحد

يستخدم CoPRS هدفاً موحداً يجمع بين التعلم التعزيزي (RL) والتعلم الخاضع للإشراف (Supervised Learning):

• خوارزمية GRPO (Group Relative Policy Optimization): يتم تحسين المسار اللغوي (توليد CoT) باستخدام GRPO. حيث يقوم دالة المكافأة بتقييم كل من الامتثال للتنسيق الخاص بـ CoT وجودة القناع الناتج (باستخدام مقاييس IoU/Dice). وهذا يشجع النموذج على توليد استدلال يؤدي إلى تقسيم دقيق.
• خسارة التقسيم الخاضعة للإشراف: يتم الإشراف على الأولوية الموضعية والقناع النهائي مقابل الحقيقة الأرضية (ground truth) باستخدام مزيج من (Binary Cross-Entropy (BCE، وDice Loss، وFocal Loss.
• التحسين المشترك: يتم تدريب النظام من النهاية إلى النهاية، حيث يتم تحديث معاملات MLLM (عبر GRPO) ومعاملات الرؤية/المفكك (عبر خسارة التقسيم) في حلقة واحدة.

3. المساهمات الرئيسية

1. صياغة CoPRS: نموذج ينتهي إلى نهاية مدفوع بـ MCoT، يستخدم أولوية موضعية (خريطة حرارية) مشروطة لغوياً كخطوة وسيطة قابلة للتفسير، مما يربط فهم التعليمات بتوقع القناع.
2. إطار تدريب موحد: مزيج مبتكر من GRPO (لتعزيز الاستدلال) وأهداف التقسيم الخاضعة للإشراف، مما يتغلب على قيود الطرق التي تعتمد كلياً على التمثيل الخفي أو الإحداثيات النصية.
3. واجهة الأولوية الموضعية: تقديم استعلام تركيز قابل للتعلم يولد خريطة حرارية كثيفة. يوفر هذا كلاً من التركيز القابل للتفسير (تصوير أين ينظر النموذج) وجودة حدود قوية للقناع النهائي.
4. أداء رائد (State-of-the-Art): يحقق CoPRS نتائج رفيعة المستوى في المعايير القياسية، مما يثبت أن التركيز المدفوع بالاستدلال يحسن دقة التقسيم.

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات RefCOCO، وRefCOCO+، وRefCOCOg، وReasonSeg.

• الأداء: يطابق CoPRS أو يتفوق على أفضل المقاييس المسجلة عبر جميع التقسيمات.
  • يتفوق CoPRS-7B على طرق الاستدلال السابقة (مثل LISA وSegLLM وGroundHog) في معظم تقسيمات RefCOCO.
  • في ReasonSeg (إعداد zero-shot)، يحقق CoPRS-7B قيمة cIoU تبلغ 64.5 وgIoU تبلغ 59.8، متفوقاً بشكل كبير على الطرق الأخرى القائمة على التعلم التعزيزي مثل Seg-Zero وSeg-R1.
• تحليل الارتباط:
  • الخريطة الحرارية مقابل القناع: يوجد ارتباط إيجابي قوي ($R > 0.7$) بين جودة الخريطة الحرارية المولدة (الأولوية الموضعية) ودقة القناع النهائي. وهذا يؤكد أن الخريطة الحرارية تتركز بفعالية على الهدف.
  • سلسلة الأفكو (CoT) مقابل التقسيم: يوجد ارتباط إيجابي قوي بين جودة استدلال CoT (الذي يتم تقييمه بواسطة نموذج لغوي خارجي) وأداء التقسيم. الاستدلال الأفضل يؤدي إلى خرائط حرارية وأقنعة أفضل.
• دراسات الاستئصال (Ablation Studies):
  • النماذج الأساسية (Backbones): الأداء قوي عبر مختلف نماذج MLLM (Qwen2.5-VL مقابل LLaVA-1.5) ونماذج الرؤية (ViT-B/L/H).
  • وضع التدريب: يؤدي الجمع بين التعلم التعزيزي (GRPO) والتقسيم الخاضع للإشراف إلى أفضل النتائج، مما يثبت أن التعلم التعزيزي يقوي الاستدلال بينما يعمل الإشراف على شحذ عملية توليد القناع.
  • معاملات المكافأة: وُجد أن التوازن بنسبة 0.7 لمكافأة القناع و0.3 لمكافأة التنسيق هو الأمثل، مما يضمن منح الأولوية لجودة التقسيم مع الحفاظ على هيكل الاستدلال.

5. الأهمية

• القابلية للتفسير: يحل CoPRS مشكلة "الصندوق الأسود" لطرق الاستدلال الكامن من خلال تصور عملية الاستدلال كخريطة حرارية. يسم هذا بالتحليل التشخيصي لـ لماذا فشل النموذج (على سبيل المثال، هل فشل الاستدلال، أم فشلت الخريطة الحرارية في التركيز؟).
• تحول في النموذج المعرفي: ينتقل النموذج بعيداً عن توليد الإحداثيات النصية الهش وتفكيك الشفرة الخفي غير الواضح، ليؤسس جسراً قابلاً للتفاضل بين الاستدلال اللغوي عالي المستوى والتقسيم البكسلي منخفض المستوى.
• القدرة على التعميم: يمكن لإطار العمل الموحد ومفهوم "الأولوية الموضعية" أن يمتد إلى مهام أخرى تتطلب تركيز المناطق، مثل التنبؤ بالمسار أو تتبع الأشياء، مما يظهر تعدد استخدامات ربط MCoT بالمخرات المرئية الكثيفة.

ختاماً، يثبت CoPRS أن نمذجة عملية الاستدلال صراحةً كأولوية موضعية قابلة للتعلم والتفاضل يعزز بشكل كبير دقة وقابلية التفسير لمهام تقسيم الاستدلال.