TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection

Probleemstelling: Hallucinaties in LVLMs

Grote Visueel-Taalmodellen (LVLMs) hebben indrukwekkende prestaties geleverd, maar lijden nog steeds onder hallucinaties: het genereren van feitelijke onjuiste informatie die niet in het beeld aanwezig is. Bestaande oplossingen hebben twee grote nadelen:

1. Trainingsgebaseerde methoden: Vereisen enorme rekenkracht en uitgebreide herscholing van het model.
2. Trainingsvrije methoden (inference-stage): Bestaande technieken zoals contrastieve decoding (bijv. VCD) of het verstoren van "attention sinks" (bijv. OPERA) zijn vaak computatief zwaar. Ze introduceren significante latentie (vertraging) en geheugennadelen, wat hun praktische toepasbaarheid beperkt.

De auteurs identificeren een fundamentele oorzaak van hallucinaties: visuele aandachtverval (visual attention decay). Tijdens het generatieproces van een tekst, neemt de aandacht van het model voor de beeldtokens geleidelijk af naarmate er meer tokens worden gegenereerd. Waar hallucinaties optreden, is deze visuele aandacht vaak extreem laag.

Methodologie: TARAC

De auteurs stellen TARAC (Temporal Attention Real-time Accumulative Connection) voor, een trainingsvrij, plug-and-play framework dat dit verval tegengaat door historische aandacht dynamisch te accumuleren en opnieuw te injecteren. Het werkt als een lichtgewicht module binnen de Transformer-architectuur en bestaat uit drie stappen per gegenereerde token:

1. Accumulatie van Aandacht op Beeldtokens:

   • Voor elke gegenereerde token wordt de aandacht die het model besteedt aan de beeldtokens vastgelegd.
   • In plaats van een gemiddelde te nemen, wordt het maximum over de verschillende attention-heads gebruikt om de meest prominente visuele informatie te extraheren.
   • Een geheugenupdate-factor ($\alpha$) wordt toegepast om een cumulatieve aandachtverdeling ($\hat{A}_t$) bij te werken. Dit mechanisme is geïnspireerd op de Ebbinghaus-vergetelheidscurve: recente visuele cues krijgen meer gewicht, terwijl oudere informatie geleidelijk afneemt om te voorkomen dat verouderde informatie de huidige generatie verstoort.
   • Formule: $\hat{A}_t = \alpha \bar{A}_t + (1 - \alpha) \hat{A}_{t-1}$.

2. Injectie van Geaccumuleerde Aandacht:

   • De geaccumuleerde aandacht wordt met een schalingsfactor ($\beta$) opnieuw geïnjecteerd in de huidige aandachtswaarden voor de beeldtokens.
   • Dit versterkt de focus van het model op visuele informatie tijdens het generatieproces.
   • Formule: $A_t = A_t + \beta \cdot \hat{A}_t$.

3. Her-normalisatie:

   • Omdat de injectie de som van de aandachtswaarden verandert, wordt de laatste rij van de attentiematrix opnieuw genormaliseerd (via rij-som normalisatie) om de probabilistische eigenschappen van het model te behouden zonder de oorspronkelijke verdeling volledig te verstoren.

Belangrijke implementatiedetails:

• De methode wordt alleen toegepast op een specifiek bereik van lagen in het model (meestal de middenlagen), aangezien de perceptie van visuele informatie per laag verschilt.
• Het vereist geen aanpassing van de modelarchitectuur of herscholing.

Kernbijdragen

1. Nieuw Trainingsvrij Framework: TARAC is de eerste methode die specifiek het tijdsgebonden verval van visuele aandacht aanpakt door real-time accumulatie en herinjectie.
2. Uitzonderlijke Efficiëntie: In tegenstelling tot concurrenten die meerdere forward-passes vereisen of backtracking gebruiken, introduceert TARAC slechts een ~4% toename in de tijd per output-token (TPOT) en verwaarloosbaar geheugengebruik.
3. Brede Toepasbaarheid: Het werkt als een plug-and-play module voor diverse LVLM-architecturen (LLaVA-1.5, Qwen2-VL, InternVL2) zonder architectuurspecifieke wijzigingen.

Resultaten

Uitgebreide experimenten op meerdere benchmarks tonen aan dat TARAC de staat-der-kunst (SOTA) methoden overtreft:

• Hallucinatiemitigatie:
  • Op de CHAIR-benchmark (objecthallucinaties in beeldbeschrijvingen) reduceert TARAC het percentage hallucinerende zinnen (CS) met 25,2% ten opzichte van de baseline, wat aanzienlijk beter is dan VCD, AGLA en OPERA.
  • Op de MME-benchmark verbetert de perceptiescore met +10,65 punten.
  • Op de SHR-benchmark (Sentences Per Image) wordt de hallucinatie-ratio met ongeveer 31% verbeterd ten opzichte van VCD.
• Efficiëntie:
  • TARAC veroorzaakt slechts een 4% vertraging in inferentie-tijd.
  • Vergelijkbare methoden zoals OPERA leiden tot een 7,79x vertraging, en contrastieve methoden (VCD, AGLA) tot een 2,2x vertraging, vaak gepaard met enorme geheugentoename (tot >5 GB).
• Kwaliteit van Tekstgeneratie:
  • Analyse van perplexiteit (PPL) toont aan dat TARAC de vlotheid en coherentie van de gegenereerde tekst behoudt of zelfs verbetert, in tegenstelling tot methoden die de tekstkwaliteit ten koste gaan van hallucinatiemitigatie.

Betekenis en Conclusie

TARAC biedt een efficiënte en effectieve oplossing voor het hardnekkige probleem van hallucinaties in LVLMs. Door in te spelen op het dynamische verval van visuele aandacht tijdens het generatieproces, slaagt het erin om de visuele gronding (visual grounding) te behouden zonder de zware rekenkosten van bestaande trainingsvrije methoden.

De studie onderstreept dat het handhaven van visuele focus cruciaal is voor feitelijke nauwkeurigheid. TARAC bewijst dat een lichtgewicht, trainingsvrije ingreep de prestaties van bestaande modellen aanzienlijk kan verbeteren, waardoor ze praktischer inzetbaar worden voor real-world toepassingen waar feitelijke juistheid essentieel is. De enige beperking is momenteel de afhankelijkheid van vaste hyperparameters, wat toekomstig werk richt op adaptieve aanpassing.