Technische Samenvatting: Zelfverbeterende Kleine Object Gronding in LVLMs

Probleemstelling

Large Vision Language Models (LVLMs) hebben opmerkelijke capaciteiten getoond in visuele-taalredenering en directe objectlokalisatie (het uitvoeren van bounding box-coördinaten zonder gespecialiseerde detectiekoppen). Echter, de huidige State-of-the-Art (SOTA) LVLMs vertonen een aanzienlijke prestatiekloof bij het gronden van kleine objecten (bijv. verre voetgangers) vergeleken met grote objecten. Deze beperking vormt een risico voor veiligheidskritische toepassingen.

Bestaande benaderingen om lokalisatie te verbeteren vertrouwen doorgaans op:

1. Aanvullende fine-tuning van de LVLM.
2. Integratie van externe lokalisatiemodules (bijv. SAM, objectdetectoren).
3. Heuristische decoderingsstrategieën.

Deze methoden vereisen vaak aanzienlijke computationele middelen, architecturale wijzigingen of externe supervisie. De centrale vraag die dit werk adresseert is: Kunnen interne representaties binnen een LVLM betrouwbare bounding boxes voor kleine objecten identificeren zonder de model fine-tuning te gebruiken of externe detectoren in te zetten?

Methodologie: Attention-based Candidate Selection (ACS)

De auteurs stellen het Attention-based Candidate Selection (ACS) framework voor, dat de intrinsieke aandachtspatronen (attention patterns) van LVLMs gebruikt om de kwaliteit van bounding boxes te schatten en de beste output te selecteren uit meerdere gesamplede responsen. Het framework werkt in drie stadia:

1. Attention-IoU Regressor & ACS-Learned

De auteurs hypothetiseren dat ruimtelijke aandachtstructuren sterk correleren met de kwaliteit van de grounding.

• Dataverzameling: Ze voeren multi-respons sampling uit (met temperatuurcontrole) om een set kandidaat-bounding boxes te genereren en de bijbehorende attention maps te extraheren uit alle transformer-lagen en heads.
• Regressor Training: Een lichtgewicht IoU Regressor ($f_\theta$) wordt getraind om de Intersection over Union (IoU) score direct te voorspellen vanuit deze attention maps. Het trainingsdoel is de Mean Squared Error (MSE) tussen de voorspelde en de grondwaarheid (ground-truth) IoU.
• ACS-Learned: Tijdens de inferentie scoort deze getrainde regressor elke kandidaat-box op basis van de bijbehorende aandachtspatronen. De kandidaat met de hoogste voorspelde IoU wordt geselecteerd. Deze variant vereist een geleerd component maar geen LVLM fine-tuning.

2. Analyse van Lokalisatie-kritische Patronen

Om de noodzaak van een geleerde regressor tijdens de inferentie te elimineren, analyseren de auteurs de getrainde regressor om te begrijpen wat deze heeft geleerd.

• Gradient Attribution: Door de gradiënten van de loss van de regressor ten opzichte van de attention weights te berekenen, identificeren ze specifieke transformer lagen en heads die het meest kritisch zijn voor lokalisatie. Voor Qwen2.5-VL zijn lagen 14–21 geïdentificeerd als kritisch; voor InternVL-3.5 zijn dit lagen 17–26.
• Entropy-IoU Correlatie: De analyse laat zien dat in deze kritische lagen, kwalitatief hoogwaardige (hoge-IoU) voorspellingen overeenkomen met geconcentreerde (lage-entropie) attention maps, terwijl slechte voorspellingen diffuse (hoge-entropie) aandacht vertonen.

3. ACS-Free: Training-Free Distillatie

Op basis van de analyse leiden de auteurs ACS-Free af, een parameter-vrije selector.

• Mechanisme: Het identificeert de meest discriminerende attention heads (die de grootste entropieverschil vertonen tussen hoge en lage IoU groepen) binnen de kritische lagen.
• Selectieregel: Tijdens de inferentie berekent het de gemiddelde ruimtelijke entropie van de attention maps voor elke kandidaat-box over deze specifieke heads. De kandidaat met de laagste gemiddelde entropie (wat duidt op de meest geconcentreerde aandacht) wordt geselecteerd.
• Voordeel: ACS-Free vereist geen geleerde componenten tijdens de inferentie, wat het een plug-and-play verbetering maakt.

Belangrijkste Bijdragen

1. Ontdekking: Het paper stelt een sterke verbinding vast tussen interne aandachtspatronen en de kwaliteit van de grounding, en demonstreert dat de aandachtsstructuur codeert of een voorspelde kleine-object box betrouwbaar is.
2. Validatie (ACS-Learned): Een lichtgewicht IoU regressor, uitsluitend getraind op attention maps, bereikt een sterke IoU-voorspelling (Pearson $r > 0.67$), wat valideert dat aandacht alleen voldoende signalen bevat voor kwaliteitsinschatting.
3. Interpretabiliteit & Distillatie (ACS-Free): Door middel van gradiënt- en entropie-analyse identificeren de auteurs specifieke transformer-lagen en heads die cruciaal zijn voor lokalisatie. Ze distilleren deze kennis in een training-vrije entropie-gebaseerde regel (ACS-Free) die kandidaten rangschikt zonder geleerde parameters.
4. Prestaties: Het framework bereikt significante zelfverbetering in de lokalisatie van kleine objecten zonder LVLM fine-tuning of externe detectoren.

Experimentele Resultaten

Experimenten werden uitgevoerd op de COCO en Objects365 datasets, met de focus op kleine objecten (0,1%–1% van het beeldoppervlak), gebruikmakend van Qwen2.5-VL-7B en InternVL-3.5-8B.

• Zelfverbetering: ACS-Learned bereikt tot wel 19% verbetering in Acc@0.5 op de lokalisatie van kleine objecten vergeleken met greedy decoding (bijv. InternVL-3.5 op Objects365 verbeterde van 21,9% naar 25,5% Acc@0.5; Qwen2.5-VL op COCO verbeterde van 61,4% naar 65,3%).
• Training-Free Prestaties: ACS-Free rangschikt als de beste onder alle training-vrije methoden en presteert vaak beter dan baselines zoals Majority Voting (MajVote) en Token Entropy (TokEntropy). Bij $\tau=0.5$ verbeterde ACS-Free de Acc@0.5 met +3,26% (Qwen) en +8,15% (InternVL) ten opzichte van greedy decoding op COCO.
• Baselines: Token-level vocabulaire-entropie (TokEntropy) slaagde er niet in de ruimtelijke grounding-kwaliteit te vangen en presteerde slechter dan zelfs single-sample baselines. Dit benadrukt dat het signaal voor lokalisatie ligt in de ruimtelijke aandachtsorganisatie, niet in de onzekerheid van de token-generatie.
• Efficiëntie: De prestaties verzadigen bij $N=3$ tot $N=5$ samples, wat wijst op minimale computationele overhead vergeleken met de winst.

Betekenis en Claims

Het paper claimt dat nuttige aandachtsstructuren zowel de lokalisatiebetrouwbaarheid als de interpreteerbaarheid in LVLMs verbeteren.

• Mechanistisch Inzicht: Het werk biedt interpreteerbare inzichten in hoe LVLMs ruimtelijke informatie verwerken, waarbij wordt onthuld dat specifieke transformer-lagen overgaan van globale patronen naar object-gerichte aandacht, en dat de aandacht-entropie in deze lagen dient als een proxy voor voorspellingsvertrouwen.
• Praktisch Nut: Het ACS-framework biedt een "plug-and-play" verbetering voor bestaande LVLMs. Het maakt zelfverbetering mogelijk voor kleine objectdetectie zonder de kosten van fine-tuning of de afhankelijkheid van externe detectiemodellen.
• Beperkingen: De auteurs merken op dat de methode white-box toegang tot attention maps vereist (wat de toepasbaarheid op closed-API modellen zoals GPT-4V beperkt) en een bescheidenage inferentiekosten met zich meebrengt door sampling, hoewel dit wordt gemitigeerd door de snelle prestatie-verzadiging bij lage sample-aantallen.