Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization

Probleemstelling

Multimodale Large Reasoning Models (MLRMs) hebben indrukwekkende prestaties geleverd in complexe taken zoals wiskunde en natuurkunde door middel van Chain-of-Thought (CoT) redenering. Echter, deze modellen lijden nog steeds onder hallucinaties: ze genereren semantisch plausible maar feitelijk onjuiste of visueel irrelevante inhoud.

Het paper identificeert een tegenintuïtief fenomeen: MLRMs hallucineren vaak ernstiger dan hun niet-redenerende tegenhangers. De auteurs stellen twee kernvragen:

1. Aandachtverdeling: Het introduceren van een expliciete redeneerstap zorgt ervoor dat modellen minder aandacht besteden aan visuele tokens en juist meer afhankelijk worden van taalkundige priors (aannames gebaseerd op tekst). Dit leidt tot CoT's met verdunde visuele signalen en redundante tekst.
2. Causale propagatie: Hallucinaties in de redeneerketen (CoT) propageren zich bijna altijd door naar het uiteindelijke antwoord. Een betrouwbare redeneerketen leidt echter bijna altijd tot een hallucinatie-vrij antwoord.

Bestaande oplossingen richten zich vaak op benchmarks of zelf-contradicties, maar er ontbreekt een effectieve trainingsmethode om hallucinaties in algemene multimodale taken te mitigeren.

Methodologie: C3PO

De auteurs stellen C3PO voor, een tweestaps trainingsframework dat bestaat uit Chain-of-Thought Compression en Contrastive Preference Optimization.

1. Chain-of-Thought (CoT) Compression

Gebaseerd op het Information Bottleneck (IB) principe, wordt het doel gesteld om redundante informatie te verwijderen terwijl cruciale visuele signalen behouden blijven.

• Proces: Het model genereert eerst een volledige redeneerketen. Vervolgens wordt een tool (LLMlingua-2) gebruikt om token-gebaseerde belangrijkheidsscores te berekenen.
• Filtering: Tokens met lage belangrijkheid (zoals overgangsworden en redundante beschrijvingen) worden verwijderd. Alleen de top 90% van de belangrijkste tokens ($\gamma = 0.9$) wordt behouden om een compacte $z'$ te vormen.
• Training: Het model wordt via Supervised Fine-Tuning (SFT) getraind om te redeneren en antwoorden te genereren op basis van deze gecomprimeerde ketens, zonder extra supervisie buiten de oorspronkelijke output.

2. Contrastive Preference Optimization (CPO)

Om de kwaliteit van de redenering verder te verbeteren en hallucinaties actief te onderdrukken, wordt een voorkeursleringsstrategie toegepast.

• Positieve voorbeelden (Preferred): Redeneerketens worden verfijnd door een geavanceerd MLLM (Qwen3-VL) die hallucinaties op zinsniveau detecteert en corrigeert. Deze "verbeterde" ketens dienen als de gewenste output.
• Negatieve voorbeelden (Rejected):
  • Originele output: De oorspronkelijke, mogelijk hallucinerende ketens van het model.
  • Multimodal Hallucination-Inducing (MHI) Mechanisme: Een innovatieve techniek waarbij het model bewust wordt geprikkeld om te hallucineren. Dit gebeurt door:
    1. Visuele inputs te maskeren (vermindering van visuele bewijslast).
    2. Misleidende tekstuele prompts te gebruiken die het model dwingen om prioriteit te geven aan taalkundige priors.
  • Deze opzettelijk gegenereerde hallucinaties dienen als informatieve negatieve contrasten.
• Optimalisatie: Het model wordt getraind met een combinatie van verliesfuncties:
  • $\mathcal{L}_{RE}$: Voorkeursverlies gericht op de redeneerketen (zorgt voor betrouwbare CoT).
  • $\mathcal{L}_{DPO}$: Voorkeursverlies gericht op de volledige output (CoT + Antwoord).
  • $\mathcal{L}_{Anc}$: Anker-regulering om te voorkomen dat de kans op de gewenste output te sterk afneemt.

Theoretische Onderbouwing

De auteurs bieden een theoretisch bewijs vanuit het Information Bottleneck perspectief. Ze tonen aan dat zowel het comprimeren van de CoT (verwijdering van ruis) als het verbeteren ervan (voegen van waarheidsgetrouwe informatie) de IB-objective functie verlaagt. Dit betekent dat het model een efficiëntere tussenrepresentatie leert die beter gecorreleerd is met het juiste antwoord en minder afhankelijk is van irrelevante input.

Resultaten

C3PO is uitgebreid getest op vijf verschillende MLRMs (o.a. R1-Onevision, MM-Eureka, Orsta-R1) en diverse benchmarks:

• CHAIR & POPE: C3PO toont een consistente en aanzienlijke reductie in object-hallucinaties vergeleken met baselines zoals RLAIF-V en OPA-DPO. Bijvoorbeeld, op de Orsta-R1 model werd een reductie van 13,27% (CS) en 18,82% (CI) bereikt.
• GPT-4 Assisted Evaluation: C3PO verlaagt de zinsniveau-hallucinatieratio (SHR) significant (bijv. 14,05% reductie voor Orsta-R1) en verbetert tegelijkertijd de detailrijkdom van de antwoorden.
• AMBER: Het framework presteert beter op deze benchmark voor fijne hallucinaties (attributen, relaties) dan bestaande methoden.
• Algemene Capaciteiten: In tegenstelling tot sommige baselines die de algemene prestaties ten koste gaan van hallucinatiemitigatie, behoudt of verbetert C3PO de algemene multimodale vaardigheden (gemeten via MME en MMBench).

Bijdragen en Significantie

1. Analyse van Oorzaken: Het paper identificeert voor het eerst dat het introduceren van redenering de afhankelijkheid van visuele inputs verzwakt en dat hallucinaties in de CoT direct leiden tot fouten in het antwoord.
2. C3PO Framework: De introductie van een tweestaps trainingsframework dat CoT-compressie combineert met een voorkeursoptimalisatie die gebruikmaakt van AI-versterkte positieve voorbeelden en opzettelijk gegenereerde negatieve voorbeelden.
3. MHI Mechanisme: Een nieuwe techniek om de inherente hallucinatiepatronen van een model te eliciteren voor effectievere contrastieve training.
4. Theoretische Validatie: Een principieel bewijs dat compressie en verbetering van de redeneerketen leiden tot een betere informatie-optimalisatie.

Deze studie is een pioniersstap in het oplossen van hallucinaties in MLRMs en biedt een robuust, trainingsgebaseerd pad voor het ontwikkelen van betrouwbaardere multimodale redeneermodellen.