Learning to Focus and Precise Cropping: A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs

Probleemstelling

Meermodale Grootte Taalmodellen (MLLMs) hebben indrukwekkende prestaties geleverd in visuele taken, maar worstelen nog steeds met fijnkorrelige waarneming en redenering in complexe visuele scènes, vooral wanneer objecten klein zijn of door een complexe achtergrond worden verduisterd.

Recente onderzoeken hebben agent-gebaseerde workflows geïntroduceerd waarbij MLLMs een "cropping-tool" (uitsnijdingstool) gebruiken om in te zoomen op gebieden van belang. Echter, een empirische analyse in dit paper toont een fundamentele beperking van bestaande methoden (zoals DeepEyes en CoF):

• Schijnbare gebruik van tools: Modellen roepen de cropping-tool vaak formeel op, maar vertrouwen in werkelijkheid nog steeds sterk op de originele, volledige ingangsfoto voor het antwoord.
• Gebrek aan afhankelijkheid: De prestaties van het model zijn niet significant afhankelijk van de inhoud van het ingezoomde gebied. Als het ingezoomde gebied wordt vervangen door ruis, daalt de prestatie nauwelijks.
• Oorzaak: Tijdens het trainen hebben de volledige afbeelding en de bron van de uitsnijding vaak dezelfde resolutie. Hierdoor biedt de uitsnijding geen extra informatie ten opzichte van de globale weergave, waardoor het model geen motivering heeft om de details in de uitsnijding te benutten.

Methodologie

De auteurs stellen een twee-staps Reinforcement Learning (RL) framework voor dat geen traject-supervisie (supervisie door een leraar-model) vereist. Het doel is om het model te dwingen actief informatie uit ingezoomde gebieden te zoeken en te gebruiken.

Fase 1: Leren focussen (Learn to Focus) - Het "Information Gap" Mechanisme

Om het model te dwingen de uitsnijding te gebruiken, wordt een Informatiekloof (Information Gap) gecreëerd:

1. Offline Resolutie Selectie: De volledige ingangsfoto wordt strategisch verlaagd in resolutie (downsampled) tot een punt waarop het model het antwoord niet meer correct kan geven op basis van de globale weergave alleen.
2. Hoge Resolutie Uitsnijding: De uitsnijding (crop) wordt echter nog steeds uit de originele, hoge-resolutie afbeelding gehaald.
3. Effect: Er ontstaat een kloof tussen de onduidelijke globale weergave en de scherpe lokale weergave. Het model moet de uitsnijding raadplegen om het antwoord correct te vinden, omdat de globale informatie ontoereikend is.
4. Beloning: Een beloningssysteem (GRPO) wordt gebruikt waarbij een bonus wordt gegeven als het model een correct antwoord geeft en daarbij een hulpmiddel (de crop-tool) heeft gebruikt.

Fase 2: Leren precisie (Learn to Crop Precisely) - Grounding Loss

In de eerste fase leert het model om te zoomen, maar vaak op een te groot gebied (om zekerheid te krijgen), wat inefficiënt is en ruis introduceert. Fase 2 verfijnt dit:

1. Hiërarchische Annotatie: Een klein aantal datasets wordt handmatig geannoteerd met een reeks geneste ground-truth bounding boxes (van het minimale noodzakelijke gebied tot een groter contextueel gebied).
2. Grounding Beloning ($r_{geo}$): Een nieuwe beloning wordt toegevoegd die bestaat uit twee componenten:
   • IoU Beloning: Moedigt een hoge overlap aan met de ground-truth boxes, maar alleen als de voorspelde box de minimale box (B1) voor 90% dekt (om te voorkomen dat het model te kleine, onvolledige boxes kiest).
   • L1 Afstands Beloning: Biedt een dichter trainingssignaal door de afstand tussen de hoekpunten van de voorspelde box en de dichtstbijzijnde ground-truth box te meten. Dit helpt het model zelfs wanneer de IoU-beloning nog nul is.

Belangrijkste Bijdragen

1. Identificatie van een fundamenteel probleem: Het aantonen dat bestaande agent-MLLMs de cropping-tool vaak "formalistisch" gebruiken zonder de inhoud ervan echt te integreren in het redeneerproces.
2. Informatiekloof Mechanisme: Een innovatieve trainingsstrategie die resolutieverschillen creëert om het model te dwingen afhankelijk te worden van de uitsnijding, zonder dat er dure traject-data van een leraar-model nodig is.
3. Precisie-Grounding Loss: Een nieuwe beloningsfunctie die, gebaseerd op een kleine set annotaties, het model leert om niet alleen te zoomen, maar ook op de juiste en efficiënte manier te zoomen.
4. Traject-vrij RL: Het framework komt uit zonder de noodzaak van Supervised Fine-Tuning (SFT) met dure leraar-modellen (zoals GPT-4o), wat de kosten verlaagt en de "ceiling" van het leraar-model doorbreekt.

Resultaten

De methode is getest op hoge-resolutie benchmarks: HR-Bench 8K, HR-Bench 4K en V*.

• State-of-the-Art (SOTA) Prestaties: Het model bereikt de beste resultaten op alle drie de benchmarks, zowel bij een visueel token-budget van 1.024 als 16.384.
• Efficiëntie: Opmerkelijk is dat het model, zelfs met een beperkt budget van 1.024 tokens voor de volledige afbeelding, betere resultaten behaalt dan concurrenten die 16.384 tokens mogen gebruiken. Dit bewijst dat het model de fijnkorrelige details in de uitsnijdingen extreem efficiënt gebruikt.
• Ablatie Studies:
  • De "Information Gap" in Fase 1 zorgt voor een aanzienlijke stijging in nauwkeurigheid (bijv. +8.9% op HR-Bench 8k).
  • De "Grounding Reward" in Fase 2 verbetert de precisie van de uitsnijding (IoU) met 5-9% en verkleint de grootte van de uitsnijdingen, wat de inferentie-efficiëntie verder verhoogt.
• Analyse: Tests tonen aan dat na training de prestaties van het model sterk dalen als de uitsnijding wordt vervangen door ruis, wat bevestigt dat het model nu echt afhankelijk is van de inhoud van de uitsnijding.

Betekenis en Impact

Dit paper biedt een efficiëntere en krachtigere aanpak voor fijnkorrelige visuele waarneming in MLLMs. Door het probleem van "schijnbaar gebruik van tools" op te lossen via een slimme resolutie-strategie en een gerichte beloningsfunctie, maken de auteurs een stap in de richting van echt autonome agents die visuele hulpmiddelen effectief inzetten voor complex redeneren. De methode is niet alleen nauwkeuriger, maar ook computerefficiënter, wat cruciaal is voor de toepassing van MLLMs in real-world scenario's met hoge resolutie beelden.