See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment

1. Het Probleem: Object Hallucinaties door Onbillijke Aandacht

Multimodale Grootte Taalmodellen (MLLMs) presteren uitstekend in taken zoals beeldbeschrijving en visuele vraagbeantwoording, maar lijden vaak aan objecthallucinaties. Dit is het fenomeen waarbij modellen objecten beschrijven die niet in de afbeelding aanwezig zijn, of bestaande objecten negeren.

De auteurs identificeren de fundamentele oorzaak niet als een tekortkoming in de visuele perceptie (de encoder ziet de objecten wel), maar als een structureel onbalans in de aandacht (attention) tijdens het decoderen:

• Dominantie van grote objecten: Visueel dominante objecten (groot, frequent, opvallend) trekken disproportioneel veel aandachtstokens naar zich toe.
• Ondervertegenwoordiging: Zeldzame, kleine of perifere objecten krijgen onvoldoende aandacht, waardoor het model deze "vergeet" of hallucineert dat ze er niet zijn.
• Onbillijkheid: Bestaande methoden proberen aandacht gelijk te verdelen, maar dit lost het probleem niet op. Het vereist billijkheid (equity): zeldzame objecten moeten extra aandacht krijgen om de schaal- en frequentie-ongelijkheid te compenseren, terwijl dominante objecten iets moeten worden onderdrukt.

2. Methodologie: DOP-OBC

De auteurs stellen DOP-OBC voor, een trainingsvrije, architectuur-onafhankelijke decoding-strategie die tijdens de inferentie (tijdens het genereren van tekst) wordt toegepast. De methode werkt door de logit-amplitudes in de causale attentiemaskers van de transformer aan te passen zonder de modelgewichten te wijzigen.

De kern van de methode bestaat uit drie componenten:

A. Dominant Object Penalty (DOP)

Om te voorkomen dat het model te vroeg "vastloopt" op dominante objecten, wordt een zachte straf toegepast:

• Er wordt een dominantiescore berekend voor elk object op basis van:
  1. Grootte (normalized size).
  2. Temporele persistentie (hoe lang het object zichtbaar blijft).
  3. Reeds ontvangen attentie-aandeel.
• Een strafterm ($w_{pen}$) vermindert de logit-amplitude voor deze dominante objecten, waardoor representatieve capaciteit vrijkomt voor andere objecten.

B. Outlier Boost Coefficient (OBC)

Om zeldzame maar betrouwbare objecten te benadrukken:

• Er wordt een zeldzaamheidsscore ($r$) berekend op basis van de afstand van het object tot de gemiddelde verdeling van objecten in de scène (gebruikmakend van een Exponential Moving Average).
• Een boost-factor ($b$) versterkt de attentie voor objecten die zowel zeldzaam zijn als een hoge detectie-sequentie (confidence) hebben.
• Dit zorgt ervoor dat "lange staart" (long-tail) objecten niet worden onderdrukt.

C. Integratie in de Aandachtsmechaniek

Deze signalen worden geïntegreerd in een boven-driehoekige positie-afname register (upper-triangular positional decay register):

• Row-wise modulatie: Voor elke rij in de attentiematrix (geassocieerd met een object) worden de parameters $\alpha$ (amplitude) en $\sigma$ (afnamesnelheid) aangepast.
• Formule: De logit-matrix wordt aangepast als $\mathbf{W} = \text{diag}(\alpha) \cdot \mathbf{S} + \mathbf{P}$, waarbij $\mathbf{P}$ een register is dat overtollige massa naar toekomstige tokens absorbeert om de causale structuur te behouden.
• Resultaat: Dit creëert een evenwichtigere verdeling van aandacht over de gehele decodestap, zonder de autoregressieve eigenschappen te schenden.

3. Belangrijkste Bijdragen

1. Diagnose: Het identificeren van onbillijke attentieverdeling als de primaire oorzaak van objecthallucinaties, in plaats van een representatief probleem.
2. DOP-OBC: Een plug-in oplossing die geen extra training vereist, geen externe modellen nodig heeft en werkt op bestaande MLLM-architecturen.
3. Dual Mechanism: De unieke combinatie van onderdrukking van dominante objecten (DOP) en versterking van zeldzame objecten (OBC) binnen een causale attentiematrix.
4. Empirische Validatie: Uitgebreide tests op zowel beeld- als videomodellen die aantonen dat deze aanpak hallucinaties reduceert en de kwaliteit van beschrijvingen verbetert.

4. Resultaten

De methode is getest op diverse benchmarks (CHAIR, POPE, MMBench, Video-QA) met modellen zoals LLaVA-1.5, Video-LLaVA, InstructBLIP en Chat-UniVi.

• Reductie van Hallucinaties:
  • Op de CHAIR-benchmark (lagere scores zijn beter) toonde DOP-OBC een significante verbetering ten opzichte van de basismodellen en andere state-of-the-art methoden (zoals FarSight, FixVPE).
  • Op de POPE-benchmark (hogere scores zijn beter) werden de Recall, Precision en Accuracy aanzienlijk verbeterd, wat aangeeft dat het model objecten beter "vasthoudt" aan de visuele input.
• Verbetering van Generatiekwaliteit:
  • Bij videobeschrijvingen, beoordeeld door GPT-4o, verbeterde DOP-OBC alle vijf dimensies: Juistheid, Consistentie, Detail, Context en Temporaal begrip.
  • Er was geen sprake van een trade-off; de algemene prestaties op VQA-taken (zoals MSVD-QA en ActivityNet-QA) namen eveneens toe.
• Kwalitatieve Analyse:
  • Visuele vergelijkingen tonen aan dat DOP-OBC een stabielere attentieverdeling behoudt tijdens het genereren, waardoor perifere objecten (zoals verkeersborden of kleine figuren) correct worden beschreven, terwijl basismodellen deze vaak negeren.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in het aanpakken van hallucinaties in multimodale modellen. In plaats van te focussen op het verbeteren van de visuele encoder of het hertrainen van het taalmodel, toont het aan dat het herverdelen van representatieve capaciteit tijdens het decoderen een krachtige en efficiënte oplossing is.

• Praktische toepasbaarheid: Omdat de methode trainingsvrij is en werkt als een "drop-in" plug-in, kan deze direct worden toegepast op bestaande, gedeployde systemen.
• Fundamenteel inzicht: Het bevestigt dat hallucinaties vaak een gevolg zijn van de dynamiek van de decoder (aandachtsmechanisme) en niet per se van het gebrek aan visuele informatie.
• Toekomstperspectief: De auteurs suggereren dat "billijke aandacht" (equitable attention) een essentieel ontwerpprincipe moet worden voor toekomstige multimodale systemen om betrouwbare en grondige generatie te garanderen.

Kortom, DOP-OBC bewijst dat door "eerlijk" te verdelen welke objecten aandacht krijgen, multimodale modellen waarheidsgetrouwer en completer kunnen worden.