Technische Samenvatting: Mitigeren van Cross-Image Informatielekkage in Multi-Image Begrip met Large Vision-Language Models

Probleemstelling

Hoewel Large Vision-Language Models (LVLMs) sterke prestaties leveren bij taken met één enkele afbeelding, nemen hun capaciteiten aanzienlijk af wanneer ze gelijktijdig meerdere afbeeldingen verwerken. Hoewel eerder werk deze prestatiedaling heeft opgemerkt, zijn de onderliggende mechanismen tot nu toe onvoldoende begrepen gebleven.

De auteurs identificeren empirisch een specifiek fenomeen dat zij cross-image informatielekkage noemen. In multi-image settings raken de visuele representaties van het model verstrengeld, waardoor het visuele aanwijzingen van verschillende afbeeldingen met elkaar mengt in plaats van ze onafhankelijk te interpreteren. Zoals geïllustreerd in de motivatie van het artikel, wanneer het model wordt gepresenteerd met twee afbeeldingen (bijvoorbeeld één met gele tulpen en een andere met rode rozen) en een vraag over de eerste afbeelding, faalt het model er vaak in de doelwit te isoleren. In plaats van de juiste optie te selecteren ("gele tulpen"), kiest het onjuist voor een samengevoegde optie ("gele tulpen en rode rozen").

Deze lekkage wordt toegeschreven aan de standaardverwerking van meerdere afbeeldingen als een sequentie van geconcateneerde visuele tokens. Het inter-image causale aandachtmechanisme zorgt ervoor dat tokens van verschillende afbeeldingen sterk met elkaar interageren, wat de latente representaties mengt en leidt tot hallucinaties waarbij de inhoud van niet-doelgerichte afbeeldingen de respons besmet.

Het artikel merkt ook op dat een naïeve oplossing — het onafhankelijk verwerken van elke afbeelding en de resultaten aggregeren — faalt omdat het de inter-image relaties (bijvoorbeeld vergelijkingen, kruisverwijzingen) opoffert die essentieel zijn voor complexe multi-image redeneertaken.

Methodologie: FOCUS

Om deze uitdaging aan te pakken zonder extra training of architecturale wijzigingen te vereisen, stellen de auteurs FOCUS voor, een training-vrije, architectuur-agnostische inferentiemethode. De methode werkt op basis van de observatie dat LVLMs goed redeneren over enkelvoudige afbeeldingen en streeft ernaar het model te sturen om zich op één afbeelding tegelijk te concentreren, terwijl de positionele context van de multi-image input behouden blijft.

FOCUS bestaat uit drie opeenvolgende stappen:

1. Visuele Maskering:
   Voor een set van $N$ inputafbeeldingen genereert de methode $N$ gedeeltelijk gemaskeerde inputs en één volledig gemaskeerde referentie.

   • Voor elke doelafbeelding $I_i$ worden alle andere afbeeldingen $I_j$ ($j \neq i$) gecorrumpeerd met willekeurige ruis (schaal $\lambda$), terwijl $I_i$ schoon blijft.
   • Er wordt ook een volledig door ruis gemaskeerde input ($I_{noise}$) gemaakt waarbij alle afbeeldingen gecorrumpeerd zijn.
   • Dit dwingt het model om in elke forward pass primair te letten op de enkele schone afbeelding, terwijl de oorspronkelijke volgorde van de afbeeldingen behouden blijft.

2. Afbeelding-specifieke Gefocuste Inferentie:
   Het model voert inferentie uit op elk van de $N$ gedeeltelijk gemaskeerde inputs om een logitdistributie $\ell_i$ te verkrijgen voor elke doelafbeelding $I_i$. Daarnaast wordt een ruis-referentie logitdistributie $\ell_{noise}$ berekend met behulp van de volledig gemaskeerde input. Deze stap legt het redeneren van het model vast wanneer het gefocust is op specifieke afbeeldingen binnen de gezamenlijke context.

3. Contrastieve Aggregatie:
   De uiteindelijke output wordt afgeleid door de gefocuste logits te aggregeren terwijl residuele ruis-artefacten worden onderdrukt. De gebruikte formule is:
   $$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$$
   Hierbij is $\alpha$ een hyperparameter die via validatie wordt afgestemd. Het aftrekken van de ruis-referentie ($\ell_{noise}$) helpt om de resterende ruis-artefacten te isoleren en te verwijderen, wat ervoor zorgt dat de uiteindelijke voorspelling steunt op de schone beeldinhoud in plaats van op de door ruis geïnduceerde artefacten.

Belangrijkste Bijdragen

• Identificatie van Cross-Image Informatielekkage: Het artikel levert empirisch bewijs dat de degradatie van multi-image prestaties nauw samenhangt met de verstrengeling van visuele representaties over afbeeldingen heen, wat leidt tot samengevoegde, onjuiste antwoorden.
• FOCUS-methode: Een nieuwe, training-vrije inferentiestrategie die informatielekkage tegengaat door gebruik te maken van ruis-maskering en contrastieve logit-aggregatie. Het behoudt inter-image relaties (in tegen tegenstelling tot onafhankelijke inferentie) terwijl het menging van inhoud voorkomt.
• Generalisatie: De methode blijkt effectief te zijn over diverse LVLM-families (InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL) en schalen (van <7B tot >30B parameters).
• Extensie naar Video-begrip: De auteurs laten zien dat FOCUS verder gaat dan statische multi-image inputs en generaliseert naar video-begripstaken (Vinoground), wat suggereert dat het mechanisme een fundamenteel probleem aanpakt in temporele en sequentiële visuele redenering.

Experimentele Resultaten

De auteurs hebben FOCUS geëvalueerd op vijf multi-image benchmarks: Winoground, VisMin (Easy en Hard), Mantis-Eval, MuirBench en MIRB.

• Prestatiewinsten: FOCUS verbeterde consistent de Image Score (I) en de Group Score (G), die direct de multi-image redeneercapaciteiten reflecteren, terwijl de Text Score (T) grotendeels ongewijzigd bleef.
  • Op Winoground bereikten de winsten tot wel +18.8 voor de Image score en +16.8 voor de Group score.
  • Op VisMin-Easy waren de verbeteringen aanzienlijk, bijvoorbeeld zag InternVL3-2B een toename in de Image Score van 29.96 naar 74.33.
  • Op Mantis-Eval verbeterde de nauwkeurigheid met tot wel +5.5 procentpunten.
  • Op MuirBench en MIRB werden consistente, zij het kleinere, winsten waargenomen over de modellen heen.
• Vergelijking met Alternatieven: FOCUS presteerde beter dan alternatieve benaderingen, waaronder:
  • Onafhankelijke Verwerking: Het apart verwerken van afbeeldingen en het concateneren van tekst, wat er niet in slaagde de inter-image relaties te vatten.
  • Conventionele Contrastieve Decodering (VCD): Standaard contrastieve methoden ontworpen voor enkelvoudige afbeeldingen vertoonden een verminderde prestatie in multi-image settings.
  • SoFA: Een methode gericht op positiebias, die de prestaties niet consistent verbeterde, wat aangeeft dat positiebias en informatielekkage verschillende problemen zijn.
• Ablatiestudies: Het verwijderen van de ruisinjectie of de stap van het aftrekken van de ruis-referentie leidde tot een significante verslechtering van de prestaties, wat bevestigt dat beide componenten essentieel zijn.
• Latentie: De methode introduceert een matige latentie-overhead (het vereist $N+1$ inferentie-passes voor $N$ afbeeldingen), wat de auteurs als een rechtvaardige afweging beschouwen voor de winst in nauwkeurigheid.

Betekenis en Claims

Het artikel claimt dat FOCUS een praktische en generaliseerbare inferentie-oplossing biedt voor het verbeteren van multi-image redeneren. Door cross-image informatielekkage empirisch te karakteriseren en een methode te bieden om dit te mitigeren zonder hertraining, adresseert dit werk een kritieke beperking in huidige LVLMs.

De auteurs benadrukken dat hun aanpak:

1. Geen extra trainingsdata of architecturale wijzigingen vereist.
2. Werkt over een breed scala aan modelgroottes en -families.
3. Extendeert naar video-begrip, wat suggereert dat het probleem van visuele verstrengeling niet beperkt is tot statische afbeeldingen.
4. Een algemene oplossing biedt voor het verbeteren van de betrouwbaarheid van multi-image redeneren, wat essentieel is voor real-world toepassingen waar gebruikers meerdere afbeeldingen tegelijkertijd aanleveren.

Het artikel concludeert dat hoewel FOCUS de prestaties aanzienlijk verbetert, het geen wondermiddel is voor alle long-context of retrieval-zware taken, waarbij de bottleneck kan liggen bij het lokaliseren van relevante informatie in plaats van het onderscheiden van visuele inhoud. Echter, voor taken die integratie en vergelijking van meerdere visuele inputs vereisen, biedt FOCUS een robuuste verbetering.