Technische Samenvatting: Logit-Aandacht Divergentie: Het Mitigeren van Positiebias in Multi-Beeld Retrieval via Aandacht-Gestuurde Kalibratie

1. Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) hebben sterke capaciteiten aangetoond in cross-modale retrievaltaken die meerdere beelden betrekken. Deze modellen lijden echter aan ernstige positiebias, waarbij de voorspellingnauwkeurigheid wordt gedomineerd door de invoervolgorde van de beelden in plaats van hun semantische relevantie voor de query.

• Het Fenomeen: In multi-beeld retrievaltaken (bijvoorbeeld het selecteren van het juiste beeld uit een reeks van $N$ kandidaten) vertonen MLLMs irrationele voorkeuren voor specifieke posities (bijvoorbeeld de 7e positie) terwijl ze andere posities negeren, ongeacht de visuele inhoud. Dit leidt tot drastische schommelingen in prestaties: de nauwkeurigheid kan oplopen tot ~99% als de ground truth overeenkomt met een voorkeurspositie, maar instorten tot 0% als deze in een genegeerde positie valt.
• Oorzaak: Deze bias vloeit voort uit de autorectieve architectuur die is overgenomen van Grootte Taalmodellen (LLMs). Hoewel temporale positionele coderingen en causale aandachtmaskers nuttig zijn voor tekstgeneratie, introduceren ze onbedoelde structurele asymmetrieën wanneer ze worden toegepast op niet-temporale visuele sequenties, waardoor voorspellingen uiterst gevoelig worden voor de invoervolgorde.
• Beperkingen van Bestaande Oplossingen:
  • Prompting: Op instructies gebaseerde prompting of Chain-of-Thought (CoT) prompting faalt om zich aan te passen aan het dynamische karakter van deze bias.
  • Statische Kalibratie: Methoden zoals PriDe gaan ervan uit dat positiebias een statische, inhoudsonafhankelijke offset is (een globale prior). Empirische analyse toont echter aan dat bias in MLLMs conditioneel is en dynamisch verschuift op basis van de locatie van het doelwit. Statische prioren kunnen deze conditionele ambiguïteit niet oplossen.

2. Kerninzicht: Logit-Aandacht Divergentie

Door middel van empirische analyse identificeren de auteurs een kritiek fenomeen dat Logit-Aandacht Divergentie wordt genoemd:

• Observatie: MLLMs kijken vaak "naar" het juiste antwoord (interne aandachtskaarten zijn goed afgestemd op het relevante visuele bewijs), maar "zeggen" het verkeerde (output-logits worden zwaar beïnvloed door positionele prioren).
• Implicatie: Het falen zit niet in semantische perceptie, maar in besliskalibratie. Sterke structurele prioren tijdens het decodeerproces overschrijven correcte interne kenmerken, wat leidt tot foutieve voorspellingen ondanks nauwkeurige visuele grounding.

3. Methodologie: Aandacht-Gestuurde Debiasing

Het artikel stelt een trainingsvrij framework voor tijdens de inferentie dat gebruikmaakt van intrinsieke aandachtsignalen om positiebias te corrigeren. De methode vereist slechts een minimale kalibratieset (bijvoorbeeld 5 samples) en verwaarloosbare rekenkosten.

3.1. Conditionele Bias Schatting

In plaats van een globale statische prior, schat de methode conditionele positiebias met behulp van een contrafactuele statistische aanpak:

• Gesymmetriseerde Kalibratie: Een kleine kalibratieset wordt geconstrueerd via cyclische permutaties van kandidaatbeelden en indices van de ground truth. Dit zorgt ervoor dat de ground truth uniform elke positie doorloopt.
• Decompositie: De waargenomen generatiekans wordt gemodelleerd als een product van een positie-afhankelijke biasterm ($P_{bias}$) en een doelwit-specifiek visueel signaal ($P_{vis}$).
• Schatting: Door de verhouding van waargenomen kansen over permutaties te analyseren, isoleert de methode de structurele biascomponent die is geconditioneerd op de positie van de ground truth.

3.2. Aandacht Prior Schatting

Omdat ruwe aandachtscores ook verward worden door structurele artefacten (bijvoorbeeld "attention sinks"), schat de methode een statische aandachtsprior:

• De gemiddelde aandachtsverdeling over de gesymmetriseerde kalibratieset wordt berekend om de onderliggende structurele bias in het aandachtsmechanisme zelf vast te leggen.
• Deze prior dient als een basislijn om het visuele bewijs tijdens de inferentie te kalibreren.

3.3. Correctie tijdens Inferentie

Het debiasingproces volgt een Bayesiaans geïnspireerd framework:

1. Adaptieve Laagselectie: Het model identificeert de top-$K$ Transformer-lagen met de sterkste visuele bewijskracht (som van aandachtskansen toegewezen aan kandidaatbeelden) om de meest informatieve signalen te extraheren.
2. Intrinsiek Visueel Bewijs Retrieval: De ruwe aandachtscores van de geselecteerde lagen worden gecorrigeerd door de statische aandachtsprior te verwijderen (in het log-domein), wat resulteert in een gezuiverde visuele posteriorverdeling ($\pi$) die de ware overtuiging van het model over de locatie van de ground truth vertegenwoordigt.
3. Verwachte Bias Correctie: Omdat de ware ground truth latent is tijdens inferentie, construeert de methode een dynamische meng-prior door de vooraf berekende conditionele biasprofielen te marginaliseren over de afgeleide visuele posterior $\pi$.
4. Finale Kalibratie: De geschatte dynamische prior wordt afgetrokken van de ruwe output-logits om de intrinsieke visuele kans voor de uiteindelijke voorspelling te herstellen.

4. Experimentele Resultaten

De methode is geëvalueerd op benchmarks gebaseerd op MS-COCO over drie MLLM-backbones (Qwen2.5-VL-3B, LLaVA-OneVision-8B, InternVL3-8B) onder Random en Adversariale (hard negative) settings.

• Prestatiewinst: De voorgestelde methode bereikt state-of-the-art prestaties en verbetert de nauwkeurigheid met meer dan 40% ten opzichte van baselines (bijvoorbeeld Vanilla, PriDe, Self-Consistency).
  • Op LLaVA-OneVision (N=4, Random) steeg de nauwkeurigheid van 67,52% (Vanilla) naar 98,66%.
  • In adversariale settings verbeterde het van 49,56% naar 71,06%.
• Permutatie-Invariantie: De methode vermindert de standaardafwijking van Recall (RStd) drastisch en verhoogt de Consistentie (Cons.), wat aantoont dat voorspellingen worden gedreven door visueel bewijs in plaats van invoervolgorde.
• Schaalbaarheid: De methode behoudt een hogere nauwkeurigheid met een geleidelijkere daling naarmate de grootte van de kandidatenpool ($N$) toeneemt van 2 tot 12, terwijl baselines snelle degradatie ondergaan.
• Generalisatie: De aanpak generaliseert effectief over domeinen (Flickr8k naar MS-COCO) en moeilijkheidsgraden (Random naar Adversariaal) zonder taak-specifieke herkalibratie.
• Efficiëntie: De methode werkt binnen een enkele forward pass. Hoewel er een lichte latentie-overhead optreedt door contrafactuele bias-schatting en aandachtsextractie, worden de hoge kosten van ensemble-methoden vermeden.

5. Betekenis en Claims

Het artikel claimt de volgende bijdragen en betekenis:

• Identificatie van Logit-Aandacht Divergentie: Het onthult een fundamentele beperking in bestaande logit-niveau kalibratiemethoden, en toont aan dat interne aandacht vaak semantisch blijft uitgelijnd, zelfs wanneer outputs door bias worden aangetast.
• Trainingsvrij Framework: Het introduceert een praktische, aandacht-gestuurde debiasing-mechanisme dat geen hertraining van het model vereist en minimale kalibratiegegevens nodig heeft (zoveel als 5 samples).
• Herstel van Robuustheid: De methade herstelt effectief permutatie-invariantie in multi-beeld retrieval, wat suggereert dat MLLMs latente visuele perceptiecapaciteiten bezitten die momenteel worden gemaskeerd door structurele decodeerprioren.
• Brede Implicaties: De bevindingen suggereren dat gerapporteerde lage nauwkeurigheid in bepaalde MLLM-benchmarks positiebias kan weerspiegelen in plaats van echte capaciteitsbeperkingen, aangezien de modellen intern het juiste antwoord "zien" maar falen om dit tot uitdrukking te brengen.

Het werk benadrukt het onbenutte potentieel van interne aandachtsmechanismen voor het versterken van de robuustheid van MLLMs in complexe, multi-beeld contexten.