Technische Samenvatting: SIRA – Shared-Prefix Internal Reconstruction of Attribution

Probleemstelling

Grote Vision-Language Modellen (LVLM's) lijden vaak aan hallucinaties, waarbij het model beschrijvingen genereert van objecten, attributen of relaties die taalkundig plausibel zijn, maar niet worden ondersteund door de visuele input. Dit probleem is vooral acuut wanneer visueel bewijs zwak of ambigu is, waardoor taal-priors met hoge waarschijnlijkheid de tokenvoorspelling domineren.

Bestaande mitigeringsstrategieën, met name contrastieve decoding, proberen dit aan te pakken door de voorspelling van het model op de originele afbeelding te vergelijken met een referentievoorspelling die is afgeleid van een gedegradeerde of verstoord input (bijvoorbeeld onscherpe of gemaskeerde afbeeldingen). De auteurs identificeren echter twee kritieke beperkingen in deze externe benaderingen:

1. Rekenkundige Overhead: Ze vereisen doorgaans een tweede, volledige forward pass door het model.
2. Off-Manifold Artifacts: Het verstoren van de inputafbeelding kan artefacten introduceren die niet representatief zijn voor de ware visuele verdeling. Bijgevolg kunnen de resulterende logit-afwijkingen mismatches weerspiegelen die worden veroorzaakt door de verstoring zelf, in plaats van een schone attributie van visueel bewijs versus taal-priors.

Het artikel stelt dat een effectieve contrafactualische referentie niet extern in de inputruimte hoeft te worden geconstrueerd. In plaats daarvan betoogt het dat de sleutelvereiste een uitgelijnde referentie is die onthult hoe dezelfde multimodale toestand zou evolueren als de toegang tot fijnkorrelig visueel bewijs in latere verwerkingsstadia zou worden beperkt.

Methodologie: SIRA

De auteurs stellen SIRA (Shared-Prefix Internal Reconstruction of Attribution) voor, een trainingsvrij, intern contrastief decodingkader. SIRA construeert een contrafactualische referentie binnen dezelfde LVLM-inferentietraject door de informatieflow binnen de transformerlagen te manipuleren, in plaats van de inputafbeelding te veranderen.

Kernmechanisme

SIRA werkt door twee gesynchroniseerde decodingtakken te onderhouden die een gemeenschappelijk "prefix" delen en pas divergeren na een specifieke splitsingsgrens ($b$):

1. Gedeeld Prefix ($0$ tot $b-1$): Zowel de Volledige Tak (standaard inferentie) als de Contrafactualische Tak delen dezelfde prompt, modelparameters, decodinggeschiedenis, positionele structuur en berekeningen in de vroege lagen. Dit zorgt ervoor dat beide takken een identieke, stabiele multimodale interpretatie en vroege visuele grounding ervóór de splitsing.
2. Late Vertakking ($b$ tot $L-1$): Na de grenslaag $b$ divergeren de takken:
   • De Volledige Tak zet de standaard multimodale inferentie voort, waarbij aandacht wordt gegeven aan afbeeldingstokens.
   • De Contrafactualische Tak past een specifieke attentiemasker ($M_{cf}$) toe die toegang tot afbeelding-tokenposities blokkeert. In deze tak kunnen afbeeldingstokens niet worden gelezen door queries, noch kunnen ze queries produceren die de tekststroom voeden.
3. Interne Contrast: Bij elke decodingstap berekent SIRA de logits voor beide takken ($z_{full}$ en $z_{cf}$). De uiteindelijke decodinglogit ($z_{cd}$) wordt als volgt berekend:
   $$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$$
   Waar $\alpha$ de contraststerkte regelt.
   • Tokens die sterk blijven in de Contrafactualische Tak (zonder visuele toegang) worden gestraft, aangezien ze waarschijnlijk worden gedreven door taal-priors.
   • Tokens die specifiek een voordeel behalen in de Volledige Tak worden bevoordeeld, aangezien hun waarschijnlijkheid afhankelijk is van voortdurend visueel bewijs.

Efficiëntie

In tegenstelling tot methoden die twee volledige forward passes vereisen (zoals VCD), deelt SIRA de berekening voor de eerste $b$ lagen. Het maakt alleen kosten voor de laatste $K$ lagen voor de contrafactualische tak. Dit resulteert in een geïdealiseerde kostenratio per token van $1 + K/L$ (ongeveer $1,5\times$ voor een splitsing in een middenlaag), aanzienlijk lager dan de $2\times$ kosten van externe contrastieve methoden.

Belangrijkste Bijdragen

1. Perspectief Informatieflow: Het artikel evalueert hallucinatiemitigatie opnieuw door te betogen dat effectieve referenties vroege multimodale grounding moeten behouden terwijl ze latere toegang tot afbeeldingstokens beperken, in plaats van te vertrouwen op externe inputverstoringen.
2. SIRA Kader: Het voorstellen van een trainingsvrije, interne contrastieve decodingmethode die een contrafactualische referentie construeert via late vertakking met gedeeld prefix en masking van afbeeldingstokens na de grens.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat SIRA hallucinaties vermindert terwijl het de beschrijvende dekking behoudt en lagere overhead veroorzaakt dan methoden met twee passes.

Experimentele Resultaten

De auteurs hebben SIRA geëvalueerd op Qwen2.5-VL en LLaVA-v1.5 over drie benchmarks: POPE (objectniveau hallucinaties), CHAIR (captioning hallucinaties) en AMBER (multidimensionale captioning).

• POPE: SIRA behaalde de beste resultaten over alle 36 metrieken (combinaties van backbone, dataset en negatieve-samplingstrategie). Het verbeterde de nauwkeurigheid met gemiddeld +5,4 punten op Qwen2.5-VL en +4,9 punten op LLaVA-v1.5 ten opzichte van basisdecoders, en presteerde beter dan sterke baselines zoals DoLa, OPERA en VCD. Opmerkelijk was dat de verbeteringen consistent waren, zelfs in "Adversarial" splitsen waar taal-priors sterk zijn.
• CHAIR: SIRA verlaagde zowel zinsniveau (CHAIRs) als instantieniveau (CHAIRi) hallucinatiepercentages. Bijvoorbeeld, op LLaVA-v1.5 daalde CHAIRs van 31,5 naar 23,1 bij lengte 64, wat wijst op een vermindering van spurious objectvermeldingen in plaats van eenvoudige weglating.
• AMBER: SIRA verlaagde hallucinatiemetrieken (Hal, Cog) terwijl het de beschrijvende dekking (Cover) behield of verhoogde. Dit staat in contrast met baselines zoals OPERA en VCD, die vaak hallucinaties verlaagden door captions te verkorten of te hedgen (over-hedging). SIRA verlaagde specifiek "Cognitieve" hallucinaties (Cog), die nauw gekoppeld zijn aan taal-priors.
• Efficiëntie: SIRA veroorzaakte een latentie-overhead van ongeveer 1,4–1,5$\times$ ten opzichte van standaard decoding, aanzienlijk lager dan VCD ($\sim2,1\times$) en OPERA ($\sim5,9\times$).

Betekenis en Beperkingen

Betekenis:
Het artikel stelt dat SIRA een directere en schonere tokenniveau-attributieproxy biedt dan extern geconstrueerde referenties. Door de contrafactualische tak op hetzelfde modelmanifold te houden en de vroege semantische toestand te delen, isoleert SIRA de bijdrage van visueel bewijs zonder verstoringartefacten in te brengen. Het bereikt state-of-the-art reductie van hallucinaties zonder modelhertraining, externe verifiers of verstoord input te vereisen, waardoor het toepasbaar is op open-weight LVLM's met white-box toegang.

Beperkingen:
De auteurs erkennen twee primaire beperkingen:

1. Overhead: Hoewel lager dan methoden met twee passes, draagt SIRA nog steeds een niet-nul per-stap decodingkosten mee door de herbeoordeling van de contrafactualische tak.
2. Toegangsvereisten: Het construeren van het interne contrast vereist white-box toegang tot verborgen toestanden, attentiemaskers en cache-toestanden, wat de toepassing beperkt tot open-weight of controleerbare LVLM's in plaats van black-box API's.