DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

Titel: DiG: Differentiële Grounding voor het Verbeteren van Fijnmazige Perceptie in Multimodale Grootte Taalmodellen (MLLM's)

1. Het Probleem

Multimodale Grootte Taalmodellen (MLLM's) hebben indrukwekkende prestaties geleverd op diverse visueel-taaltaken, zoals beeldbeschrijving en visuele vraagbeantwoording. Echter, ze kampen met fundamentele beperkingen op het gebied van fijnmazige visuele perceptie en precieze ruimtelijke redenering.

• De beperking: Bestaande modellen missen vaak subtiele visuele aanwijzingen, zoals kleine veranderingen in objecten, kleurvariaties of ontbrekende elementen.
• De oorzaak: Huidige pre-training paradigma's zorgen voor sterke semantische alignering op hoog niveau, maar bieden onvoldoende supervisie voor het ontwikkelen van de gevoeligheid die nodig is voor gedetailleerde scène-analyse.
• Huidige oplossingen: Bestaande methoden (zoals Reinforcement Learning op specifieke taken of proxy-taken zoals puzzels) zijn vaak te gespecialiseerd, vereisen dure handmatige annotatie (zoals bij RefCOCO), of zijn niet expliciet ontworpen om fijnmazige perceptie te versterken.

2. Methodologie: DiG Framework

De auteurs introduceren DiG (Differential Grounding), een nieuw proxy-taakframework dat MLLM's traint om fijnmazige perceptie te leren door verschillen tussen vergelijkbare afbeeldingsparen te identificeren en te lokaliseren.

A. De DiG Taak

• Input: Een paar afbeeldingen ($I_a$ en $I_b$) en een tekstuele instructie. $I_b$ bevat subtiele wijzigingen ten opzichte van $I_a$ (toevoegingen, verwijderingen, of attributenveranderingen).
• Output: Het model moet alle visuele discrepanties identificeren en ze lokaliseren met bounding boxes op de eerste afbeelding ($I_a$), zonder vooraf te weten hoeveel verschillen er zijn.
• Doel: Het model dwingen om voorbij grove semantische alignering te gaan en fijnmazig ruimtelijk redeneren te ontwikkelen.

B. Geautomatiseerde Data Generatie (3D Rendering)
Om schaalbaar en hoogwaardig trainingsmateriaal te creëren zonder handmatige annotatie, ontwikkelen de auteurs een volledig geautomatiseerde pipeline gebaseerd op Blender 3D-rendering:

• Procedurale Generatie: Een JSON-configuratie definieert objecten met attributen (vorm, kleur, grootte, materiaal, positie).
• Controleerbare Verschillen: Een stochastisch proces introduceert $K$ wijzigingen in de configuratie (bijv. kleur veranderen, object verwijderen) om het "na"-beeld te genereren.
• Perfecte Ground Truth: Omdat de wijzigingen programmeerbaar in 3D-ruimte worden gedefinieerd, kunnen de exacte 2D-projecties (bounding boxes) automatisch en foutloos worden gegenereerd. Dit elimineert de noodzaak voor menselijke labeling.

C. Reinforcement Learning met GRPO
Het model wordt geoptimaliseerd met Group Relative Policy Optimization (GRPO):

• Reward Functie: Een gecombineerde beloningssignaal bestaande uit:
  1. Format Reward: Zorgt voor syntactische correctheid (validatie van de JSON-structuur van de bounding boxes).
  2. Accuracy Reward: Meet detectievolledigheid (F1-score via Hongaarse matching) en ruimtelijke precisie (IoU/GIoU).
• Doel: Het model leren om niet alleen de juiste tekst te genereren, maar ook de exacte locatie van de verschillen te vinden.

D. Curriculum Learning Strategie
Een kritieke uitdaging is de sparsiteit van het beloningssignaal: aan het begin van het trainingstraject lokaliseert het model bijna geen enkele verschillen, waardoor de beloning dicht bij nul ligt en de training instabiel wordt.

• Oplossing: Een gefaseerde curriculum-strategie:
  1. Fase 1: Trainen op paren met slechts één verschil (dichte supervisie).
  2. Fase 2: Overgang naar paren met twee verschillen.
  3. Fase 3: Finetuning op een gemengde dataset met willekeurig aantal verschillen (tot 4), waarbij het model het aantal verschillen zelf moet infereren.
• Dit zorgt voor een stabiele overgang van eenvoudige naar complexe taken en voorkomt dat het model overweldigd raakt door de sparsiteit.

3. Belangrijkste Bijdragen

1. DiG Framework: Een nieuw proxy-taak dat fijnmazige ruimtelijke perceptie in MLLM's verbetert door differentiële grounding.
2. Schaalbare Data Pipeline: Een volledig geautomatiseerde 3D-rendering pipeline die hoogwaardige, geanoteerde afbeeldingsparen genereert met volledig controleerbare verschillen.
3. Curriculum Learning: Een strategie die de optimalisatieproblemen van sparsiteit oplost, waardoor stabiel en effectief trainen mogelijk is.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat DiG de prestaties significant verbetert op zowel fijnmazige grounding-taken als algemene multimodale benchmarks.

4. Resultaten

De auteurs evalueren hun methode op basismodellen (Qwen3-VL-4B en Qwen3-VL-8B) en vergelijken deze met de baselines:

• Visuele Perceptie Benchmarks: DiG leidt tot consistente verbeteringen op benchmarks zoals HalBench (reductie van hallucinaties), HRBench-8K, en VSR (visuele ruimtelijke redenering). Bijvoorbeeld, het 8B-model boekte een verbetering van +3.4 op HalBench.
• Grounding Benchmarks (RefCOCO/+/g): Er zijn significante verbeteringen in de nauwkeurigheid van het lokaliseren van objecten op basis van tekstuele verwijzingen (bijv. +2.0 tot +3.4 punten op RefCOCO).
• Algemene Multimodale Redenering: De vaardigheden transfereren effectief naar algemene taken zoals MMBench, MM-Vet en ScienceQA. Het 4B-model met DiG presteert soms beter dan grotere, gespecialiseerde modellen.
• Ablatie Studies:
  • Curriculum learning is essentieel; directe training op complexe data resulteert in slechtere prestaties.
  • Een combinatie van IoU- en F1-rewards werkt beter dan het gebruik van slechts één van beide.

5. Betekenis en Conclusie

DiG biedt een schaalbare en robuuste aanpak om de kloof tussen hoog-level redenering en laag-level waarneming in multimodale modellen te overbruggen.

• Paradigmaverschuiving: In plaats van te vertrouwen op dure, handmatig geannoteerde datasets, demonstreert het paper dat synthetische, verifieerbare data via 3D-rendering een krachtige motor kan zijn voor het verbeteren van perceptie.
• Toekomstperspectief: De methode toont aan dat het trainen van modellen op "verschil-detectie" een fundamentele vaardigheid is die de algehele kwaliteit van visueel-taalkundig begrip en ruimtelijk inzicht verbetert, wat essentieel is voor de volgende generatie AI-systemen die nauwkeurige interactie met de fysieke wereld vereisen.