Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping

Probleemstelling

Multimodale Large Language Models (MLLMs) zoals LLaVA en Qwen-VL kampen met significante beperkingen bij het begrijpen van kleine details en complexe ruimtelijke relaties in rommelige scènes. Hoewel deze modellen geavanceerde aandachtmechanismen (attention mechanisms) hebben, missen ze vaak de vermogen om fijne perceptie te koppelen aan specifieke vragen. Dit leidt tot fouten in:

• Het identificeren van kleine objecten of attributen.
• Het onderscheiden van vergelijkbare objecten.
• Het begrijpen van complexe ruimtelijke relaties (bijv. "wat staat links van de laptop?").
• Het verminderen van hallucinaties (het genereren van informatie die niet in de afbeelding staat).

Bestaande oplossingen, zoals het bijsnijden (cropping) of maskeren van afbeeldingen, gaan vaak ten koste van de globale context of vereisen extra detectors en complexe inferentiepijplijnen.

Methodologie: AttWarp

De auteurs introduceren AttWarp, een lichtgewicht, plug-and-play methode die de invoerafbeelding aanpast voordat deze door het MLLM wordt verwerkt, zonder de modelgewichten of architectuur aan te passen. Het concept is gebaseerd op het biologische principe van "foveale visie": het dynamisch toewijzen van hoge resolutie aan gebieden van belang, terwijl minder relevante gebieden worden gecomprimeerd.

Het proces verloopt als volgt:

1. Attention Extractie:

   • Het MLLM verwerkt de originele afbeelding en de vraag.
   • Uit de taaldecoder (language decoder) van het model worden kruis-modale aandachtspunten (cross-modal attention maps) geëxtraheerd. Deze kaarten tonen welke beeldtokenen het model belangrijk vindt voor de specifieke vraag.
   • Deze 2D-aandachtskaarten worden geaggregeerd tot een Aandachtsscore Matrix.

2. Marginal Profiling:

   • De 2D-matrix wordt gereduceerd tot 1D-marginal profielen langs de horizontale en verticale as. Deze profielen kwantificeren de belangrijkheid van elke rij en kolom in de afbeelding.

3. Rectilineaire Warping (Vervorming):

   • Op basis van deze profielen wordt een Rectilineaire Warping toegepast.
   • De methode gebruikt Cumulatieve Distributie Functies (CDF) van de marginal profielen om een inverse mapping te creëren.
   • Resultaat: Gebieden met hoge aandacht worden ruimtelijk uitgebreid (magnificatie), terwijl gebieden met lage aandacht worden gecomprimeerd.
   • Cruciaal: De vervorming is rectilineair (as-georiënteerd), wat betekent dat het rasterstructuur behouden blijft en alle originele beeldinformatie intact blijft (geen verlies van globale context door bijsnijden).

4. Iteratieve Zelfcorrectie (AttWarp-Chain):

   • De vervormde afbeelding wordt opnieuw door hetzelfde MLLM gevoerd.
   • Omdat de vervorming de aandacht van het model verbetert, kan dit proces iteratief worden herhaald. De auteurs introduceren een stopcriterium gebaseerd op de Kullback-Leibler-divergentie (KL-divergence) tussen opeenvolgende aandachtspunten om over-vervorming te voorkomen.

5. Efficiënte Variant (AttWarp-Distill):

   • Om de inferentie-tijd te verminderen (aangezien het extraheren van aandacht meerdere passes vereist), trainen de auteurs een "student"-model.
   • Dit model leert direct de marginale profielen te voorspellen op basis van de afbeelding en tekst, waardoor de vervorming in één pass kan worden uitgevoerd zonder de attention-mechanismen van het grote model te hoeven doorlopen.

Belangrijkste Bijdragen

1. Een nieuwe, lichtgewicht methode: AttWarp lost fijnmazige perceptieproblemen op door de invoerafbeelding te modificeren vóór feature-extractie, zonder finetuning van het MLLM.
2. Consistente prestatieverbetering: De methode presteert beter dan vier concurrerende baselines (zoals ViCrop, FGVP, SoM) op negen verschillende benchmarks.
3. Generalisatie: De methode werkt effectief over meerdere MLLM-architecturen (LLaVA, Qwen-VL, InternVL, InstructBLIP) en is dus "model-agnostisch".
4. Behoud van data-distributie: De rectilineaire vervorming zorgt ervoor dat de geteste afbeeldingen binnen dezelfde statistische verdeling blijven als de trainingsdata (geen "distribution shift"), wat essentieel is voor de stabiliteit van het model.
5. Open source: Code en demos zijn beschikbaar gesteld.

Resultaten

De auteurs hebben AttWarp getest op negen benchmarks, waaronder TextVQA, GQA, DocVQA, POPE (hallucinaties), MMMU, en RealWorldQA.

• Prestaties: AttWarp (en de varianten AttWarp-Chain en AttWarp-Distill) behaalde consistent de beste resultaten.
  • Op TextVQA (tekstherkenning) verbeterde LLaVA met +8,8% en Qwen met +3,7%.
  • Op GQA (ruimtelijk redeneren) verbeterde LLaVA met +3,2% en Qwen met +1,6%.
  • Op POPE (reductie van hallucinaties) werden significante verbeteringen geboekt.
• Vergelijking met Baselines: AttWarp overtrof methoden die afbeeldingen bijsnijden (ViCrop) of maskeren (FGVP, SoM). Bijsnijden leidt vaak tot verlies van context, terwijl maskeren de afbeelding kunstmatig verstoort.
• Efficiëntie:
  • AttWarp-Distill is ongeveer 3x sneller dan ViCrop en vereist minder VRAM, omdat het slechts één pass door het MLLM nodig heeft (in plaats van meerdere passes voor cropping en context).
  • De methode introduceert geen extra parameters in het MLLM zelf.
• Analyse: Experimenten tonen aan dat de vervorming de aandacht van het model scherper richt op de relevante objecten (verbeterde "Pointing Game Accuracy") en de ruimtelijke redenering verbetert zonder de globale structuur te verstoren.

Significantie

Dit paper is significant omdat het een fundamenteel inzicht biedt: MLLMs kunnen beter presteren als de invoerafbeelding wordt aangepast aan de interne aandacht van het model zelf.

In plaats van te proberen de interne aandacht van het model te repareren door de architectuur te wijzigen of extra loss-functies toe te voegen, manipuleert AttWarp de fysieke invoer op een manier die de "oog" van het model (de attention) optimaliseert voor de specifieke vraag. Dit benadrukt dat input-level transformaties, mits zorgvuldig ontworpen om de globale context te behouden, een krachtige en goedkope manier zijn om de perceptieve capaciteiten van bestaande modellen direct te verbeteren. De methode opent de deur voor "constructive distortion" als een standaardtechniek voor het verbeteren van visuele gronding in multimodale systemen.