Learning to Focus and Precise Cropping: A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم التركيز والقص الدقيق: إطار عمل للتعلم التعزيزي مع فجوات المعلومات وفقدان التأسيس لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs)".

1. بيان المشكلة

تواجه نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) صعوبة في الإدراك والاستدلال دقيق التفاصيل في المشاهد البصرية المعقدة وعالية الدقة، لا سيما عندما تكون الأهداف صغيرة أو محجوبة. وبينما تسمح سير العمل "القائمة على الوكلاء" (agent-based) مؤخرًا للنماذج باستخدام أدوات القص للتقريب (zoom in) على مناطق الاهتمام (ROIs)، فإن طرق التدريب الحالية تعاني من خلل حرج: وهو الاستدعاء الشكلي للأداة.

يكشف التحليل التجريبي أن النماذج الحالية (مثل DeepEyes) غالبًا ما تقوم بـ:

• الاعتماد على المدخلات الشاملة: تجيب على الأسئلة بناءً على الصورة الكاملة عالية الدقة بدلاً من المنطقة المقصوصة.
• "الإجابة أولاً، ثم القص لاحقًا": يتنبأ النموذج بالإجابة قبل تنفيذ عملية القص، مستخدمًا عملية القص لمجرد تأكيد استنتاج مسبق بدلاً من جمع معلومات جديدة.
• الافتقار إلى الدقة: حتى عندما تقوم بالقص، غالبًا ما تكون المناطق غير دقيقة أو تحتوي على سياق زائد غير ضروري.

ينبع هذا السلوك من بيانات التدريب حيث تتشارك الصورة الشاملة ومصدر القص نفس الدقة، مما يعني أن عملية القص لا توفر أي معلومات إضافية مقارنة بالرؤية الشاملة، مما يؤدي إلى الفشل في تحفيز النموذج على استخدام الأداة فعليًا.

2. المنهجية

يقترح المؤلفون إطار عمل للتعلم التعزيزي (RL) نقي يتكون من مرحلتين، ولا يتطلب إشرافًا على المسار (trajectory supervision) من نموذج معلم. الابتكار الجوهري هو إجبار النموذج على الاعتماد على التفاصيل المقصوصة من خلال آليات مكافأة واستراتيجيات بيانات محددة.

المرحلة الأولى: تعلم التركيز (آلية فجوة المعلومات)

الهدف هو دفع النموذج للبحث بنشاط عن المعلومات من المناطق المقصوصة.

• اختيار الدقة دون اتصال (Offline Resolution Selection): بدلاً من تغذية الصورة الشاملة عالية الدقة، يقوم النظام بتقليل عينة الصورة الشاملة ($I_0$) تكراريًا حتى تختلف إجابة النموذج عن الإجابة المستمدة من الصورة الأصلية عالية الدقة. هذا يخلق رؤية شاملة "مثالية" منخفضة الدقة توفر السياق ولكنها تفتقر إلى التفاصيل الدقيقة.
• فجوة المعلومات: يتم استخراج المنطقة المقصوصة ($I_{crop}$) من الصورة الأصلية كاملة الدقة.
• الآلية: هذا يخلق "فجوة معلومات" حاسمة. الرؤية الشاملة منخفضة الدقة غير كافية للإجابة الصحيحة، مما يجعل القص عالي التفاصيل ضروريًا لا غنى عنه. يتم مكافأة النموذج فقط إذا استخدم القص بشكل صحيح لسد هذه الفجوة.
• المكافأة: تشمل الدقة، والتنسيق، ومكافأة خاصة لاستخدام الأداة تُمنح فقط عندما يتم استخلاص إجابة صحيحة باستخدام أداة خارجية واحدة على الأقل.

المرحلة الثانية: تعلم القص بدقة (فقدان التأسيس - Grounding Loss)

الهدف هو تحسين دقة صندوق الإحاطة (bounding box)، حيث تميل نماذج المرحلة الأولى إلى قص مناطق واسعة جدًا لزيادة المعلومات.

• الترميز الهرمي: يتم إدخال مجموعة صغيرة من صناديق الإحاطة المُرمزة بشريًا ($B_1, B_2, ... B_n$)، والتي تتراوح من المنطقة الدنيا الضرورية إلى سياق أوسع.
• مكافأة التأسيس ($r_{geo}$): تم تصميم إشارة مكافأة مركبة لتوجيه القص الدقيق:
  1. مكافأة التقاطع فوق الاتحاد (IoU Reward - $r_{IoU}$): تشجع على التداخل مع صناديق الحقيقة الأرضية (GT). ومن المهم أن هذه المكافأة مشروطة: حيث تُمنح فقط إذا غطى الصندوق المتوقع 90% على الأقل من صندوق الحقيقة الأرضية الأدنى ($B_1$). هذا يمنع النموذج من التنبؤ بصناديق صغيرة جدًا تفقد التفاصيل.
  2. مكافأة مسافة L1 ($r_{l1}$): تقيس المسافة بين زوايا الصندوق المتوقع وأقرب صندوق حقيقة أرضية. يوفر هذا إشارة تدريب كثيفة حتى عندما لا يتحقق شرط IoU، مما يمنع مشكلة المكافآت الشحيحة.
• الهدف: يتعلم النموذج قص المنطقة الضرورية بالضبط، مما يقلل من العبء الحسابي والضجيج.

3. المساهمات الرئيسية

1. تشخيص سلوك "الإجابة أولاً": تحدد الورقة وتثبت أن الوكلاء القائمين على التعلم التعزيزي الحاليين غالبًا ما يتجاهلون المناطق المقصوصة، ويعتمدون بدلاً من ذلك على الصورة الشاملة بسبب تكرار المعلومات في بيانات التدريب.
2. آلية فجوة المعلومات: استراتيجية تدريب مبتكرة تخلق اصطناعيًا اعتمادًا على المناطق المقصوصة عن طريق تقليل دقة المدخلات الشاملة مع الحفاظ على دقة القص العالية. هذا يجبر النموذج على تعلم فائدة الأداة دون الحاجة إلى مسارات معلم باهظة الثمن.
3. إطار عمل RL ذو مرحلتين: نهج خالٍ من المسارات (trajectory-free) يعلم النموذج أولاً كيف ينظر (المرحلة 1) ثم كيف ينظر بدقة (المرحلة 2) باستخدام كمية صغيرة من البيانات المرمزة وفقدان تأسيس مركب.
4. الكفاءة: تقلل هذه الطريقة بشكل كبير من عدد الرموز المرئية (visual tokens) المطلوبة للصورة الشاملة مع الحفاظ على الأداء أو تحسينه.

4. النتائج التجريبية

تم تقييم الطريقة على معايير HR-Bench 8K و HR-Bench 4K و V*.

• أداء رائد (SOTA): حققت الطريقة المقترحة نتائج رائدة في جميع المعايير.
  • تحت ميزانية صارمة تبلغ 1,024 رمزًا مرئيًا للصورة الشاملة، تفوقت على النماذج المسموح لها بـ 16,384 رمزًا (على سبيل المثال، تفوقت على Mini-o3 و DeepEyes).
  • أظهرت أداءً متفوقًا في كل من الإدراك أحادي الحالة دقيق التفاصيل (FSP) والإدراك متعدد الحالات (FCP).
• دراسات الاستئصال (Ablation Studies):
  • المرحلة الأولى: حسنت الدقة بنسبة ~8.9% في HR-Bench 8K مقارنة بالنماذج المرجعية، مما يثبت أن فجوة المعلومات تجبر فعليًا على الاعتماد على القص.
  • المرحلة الثانية: حسنت الدقة بشكل أكبر وزادت بشكل ملحوظ من IoU (التقاطع فوق الاتحاد) بنسبة 5-9%، مما يؤكد دقة تحديد المواقع بشكل أفضل.
  • كفاءة البيانات: كان استخدام مجموعة بيانات صغيرة وصعبة (VisualProbe) للمرحلة الثانية أكثر فعالية من إعادة استخدام بيانات المرحلة الأولى.
• تحليل الكفاءة:
  • وقت الاستدلال: كانت الطريقة أسرع بكثير (على سبيل المثال، 2.8 ثانية مقابل 12.4 ثانية لـ DeepEyes في HR-Bench 8K) لأنها تعالج الصورة الشاملة بدقة أقل بكثير (1,024 رمزًا مقابل 16,384 رمزًا).
  • وقت التدريب: كان إجمالي وقت التدريب أقل من DeepEyes بسبب تقليل عدد الرموز في المرحلة الأولى.

5. الأهمية

تعالج هذه الدراسة حقيقة أساسية في نماذج MLLM الوكيلية: الميل لمعامل استخدام الأدوات كإجراء شكلي وليس كضرورة. من خلال تقديم فجوة المعلومات، يثبت المؤلفون أنه يمكن تدريب النماذج للاعتماد حقًا على الملاحظات الناتجة عن الأدوات دون الحاجة إلى عملية تقطير (distillation) مكلفة من معلم لطالب.

يوفر النهج ذو المرحلتين مسارًا فعالًا وقابلًا للتوسع للتعامل مع الدقة العالية، مما يثبت أن القص الدقيق والاهتمام دقيق التفاصيل يمكن تعلمهما من خلال التعلم التعزيزي النقي مع حد أدنى من الترميز البشري. وهذا يمهد الطريق لنماذج MLLM أكثر كفاءة وعالية الأداء قادرة على التعامل مع المهام البصرية المعقدة في العالم الحقيقي حيث تكون التفاصيل هي الجوهر.