Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward

Probleemstelling

Visueel-taalmodellen (VLMs) hebben indrukwekkende prestaties geleverd op diverse taken, maar er blijven zorgen bestaan over hun betrouwbaarheid. Twee kritieke problemen worden geïdentificeerd:

1. Overmatige afhankelijkheid van tekst: VLMs neigen vaak om meer te vertrouwen op tekstuele aanwijzingen dan op visuele bewijslast, wat leidt tot foutieve conclusies.
2. Hallucinaties en ongefundeerde antwoorden: Modellen produceren soms inhoud die niet wordt ondersteund door de afbeelding (hallucinaties) of genereren redeneringen die niet eerlijk (faithful) de werkelijke visuele focus van het model weerspiegelen. Zelfs wanneer een model een correct antwoord geeft, kan het redeneringsproces (Chain-of-Thought) zich richten op irrelevante delen van de afbeelding, wat de interpretatie en het vertrouwen ondermijnt.

Bestaande methoden voor interpretatie (zoals Grad-CAM of Integrated Gradients) zijn vaak computatie-intensief en vereisen extra forward- of backward-passes, wat ze ongeschikt maakt voor directe integratie in trainingspijplijnen.

Methodologie: Saliency-R1

De auteurs stellen Saliency-R1 voor, een raamwerk dat de interpretatie en eerlijkheid van VLM-redenering verbetert door de aandacht (saliency) van het model af te stemmen op menselijke annotaties. Het proces bestaat uit drie kerncomponenten:

1. Token-level Saliency-map Generatie via Logits Decompositie

In plaats van zware gradienten te berekenen, gebruiken de auteurs een efficiënte methode om bijdragen van tokens direct af te leiden uit de transformer-architectuur:

• Ze ontleden de logits (uitvoer van de laatste laag) in directe bijdragen van individuele context-tokens.
• Specifiek worden de bijdragen van visuele tokens geïsoleerd en herschikt om een saliency map te genereren die de belangrijke beeldregio's voor een bepaald gegenereerd token aangeeft.
• Efficiëntie: Deze methode vereist geen extra forward- of backward-passes en maakt gebruik van bestaande attention-weights en KV-cache, waardoor het real-time berekenbaar is.

2. Holistische Aggregatie met "Thinking Tokens" als Bottleneck

Om te begrijpen hoe visuele informatie stroomt naar het eindantwoord via het denkproces:

• Ze introduceren een attention rollout mechanisme.
• Visuele tokens sturen informatie naar "thinking tokens" (Chain-of-Thought), die vervolgens sturen naar "answer tokens".
• Door de attention-weights te vermenigvuldigen ($A_{vt} \times A_{ta}$), visualiseren ze hoe visuele informatie de "bottleneck" van het denkproces passeert om het eindantwoord te beïnvloeden. Dit onthult of het model daadwerkelijk op relevante beeldgebieden focust tijdens het redeneren.

3. Optimalisatie via GRPO met Saliency-Alignment Reward

Om het model te dwingen zich te richten op de juiste regio's, gebruiken ze Group Relative Policy Optimization (GRPO):

• Reward Functie: De beloning ($R_{saliency}$) is gebaseerd op de overlap tussen de gegenereerde saliency maps en menselijke annotaties (bounding boxes die de relevante gebieden markeren).
• Score: De "Alignment Score" wordt berekend als de verhouding van de saliency-massa binnen de annotatie-bounding box ten opzichte van de totale saliency-massa van de afbeelding.
• Training: Het model wordt getraind om de kans op outputs te maximaliseren die een hoge alignment score hebben, gecombineerd met rewards voor juistheid en formaat.

Belangrijkste Bijdragen

1. Efficiënte Saliency-techniek: Een nieuwe, attention-gebaseerde methode om token-specifieke belangrijke regio's te visualiseren zonder extra rekentijd.
2. Visuele Stroomvisualisatie: Een mechanisme om te traceren hoe visuele informatie via het denkproces (thinking tokens) naar het antwoord stroomt, waardoor "onbetrouwbare" redeneringen (die de afbeelding negeren) zichtbaar worden.
3. Post-training met GRPO: Het toepassen van saliency-annotatie-alignment als een beloningssignaal in GRPO om de eerlijkheid en interpretatie van VLM-redenering structureel te verbeteren.

Resultaten

De methode is geëvalueerd op diverse benchmarks (o.a. MMMU-Pro, MMBench, POPE, ChartQA) met Qwen2.5-VL modellen (3B en 7B):

• Eerlijkheid (Faithfulness): Saliency-R1 presteert gelijkwaardig of beter dan state-of-the-art methoden (zoals ATTN-LRP en TAM) in deletion/insertion tests, wat aantoont dat de gegenereerde saliency maps de werkelijke causale invloed van beeldregio's op het antwoord nauwkeurig weergeven.
• Prestatieverbetering: Het model toont significante verbeteringen op visueel-gecentreerde taken, met name bij het verminderen van hallucinaties (POPE) en het interpreteren van图表 (ChartQA). Op sommige benchmarks (zoals MME en ScienceQA) overtreft het zelfs gesloten commerciële modellen.
• Interpretatie: Kwalitatieve evaluaties en "pointing games" tonen aan dat Saliency-R1 zich meer concentreert op de relevante objecten in de afbeelding en minder op irrelevante achtergronden vergeleken met basismodellen of modellen die alleen SFT hebben ondergaan.
• Efficiëntie: De methode is computatie-efficiënt en kan naadloos worden geïntegreerd in bestaande trainingspijplijnen.

Betekenis en Conclusie

Saliency-R1 biedt een praktische oplossing voor het "black box"-probleem van VLMs. Door de redenering van het model expliciet te koppelen aan visuele bewijslast via een beloningssysteem, dwingt het modellen om eerlijker en meer onderbouwd te redeneren. Dit is cruciaal voor de inzet van VLMs in veiligheidskritieke domeinen zoals medische diagnose en autonoom rijden, waar vertrouwen in de beslissingsprocessen van het model essentieel is. De paper demonstreert dat het aligneren van interne aandachtmechanismen met menselijke verwachtingen een krachtige route is om zowel de nauwkeurigheid als de interpretatie van multimodale modellen te verbeteren.