Technische Samenvatting: Redeneren is Belangrijk: Hallucinaties Verminderen in Multimodale Grote Redeneringsmodellen via Redenerings-Gecconditioneerde Voorkeursoptimalisatie

Probleemstelling

Multimodale Grote Redeneringsmodellen (MLRMs) hebben sterke prestaties aangetoond op complexe visueel-taakgebonden taken door expliciet tussenliggende redeneringsstappen (Chain-of-Thought, of CoT) te genereren voordat ze de uiteindelijke antwoorden produceren. Deze modellen blijven echter vatbaar voor hallucinaties: het genereren van inhoud die plausibel lijkt maar inconsistent is met visuele invoer. In tegenstelling tot conventionele Multimodale Grote Taalmodellen (MLLM's), waar hallucinaties doorgaans in de uiteindelijke output optreden, kunnen hallucinaties in MLRM's ontstaan binnen de tussenliggende CoT en zich vervolgens voortplanten naar het uiteindelijke antwoord.

Bestaande trainingsgebaseerde mitigeringsmethoden, zoals Direct Preference Optimization (DPO), behandelen de CoT en het uiteindelijke antwoord doorgaans als een monolithische output. Het artikel stelt vast dat deze optimalisatie op antwoordniveau zich gedraagt als optimalisatie alleen op antwoordniveau, waarbij voornamelijk voorkeuren op antwoordniveau worden geleerd terwijl toezicht op CoT-niveau onvoldoende wordt benut. Bijgevolg blijven resterende hallucinaties in de redeneringsketen vaak bestaan en domineren ze het totale foutpercentage van de volledige respons.

Methodologie: RC-DPO

Om het tekort aan grofgemiddeld toezicht aan te pakken, stellen de auteurs Reasoning-Conditioned Direct Preference Optimization (RC-DPO) voor. Dit kader modelleert expliciet de relatie tussen redeneringsketens en uiteindelijke antwoorden door de CoT te behandelen als een voorwaarde voor het genereren van antwoorden.

1. Kerndoelstelling

In plaats van de volledige respons $(c, a)$ gezamenlijk te optimaliseren, contrasteert RC-DPO de waarschijnlijkheid van het genereren van hetzelfde gewenste antwoord ($a_w$) onder verschillende CoT-voorwaarden:

• Gewenste Voorwaarde ($c_w$): Een visueel onderbouwde en logisch geldige redeneringsketen.
• Afgewezen Voorwaarde ($c_l$): Een gehallucineerde of beschadigde redeneringsketen.

De doelstellingsfunctie isoleert het effect van de redeneringsketen op het genereren van antwoorden. Het maximaliseert de marge tussen de conditionele waarschijnlijkheid van het gewenste antwoord gegeven een hoogwaardige CoT versus een beschadigde CoT:
$$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$$
De uiteindelijke trainingsdoelstelling combineert deze redeneringsgeconditioneerde loss met de standaard response-level DPO:
$$L = L_{DPO} + \lambda L_{RC}$$

2. Constructie van Voorkeursdata

RC-DPO vereist het construeren van voorkeursparen $(x, c_w, a_w, c_l, a_l)$ zonder te vertrouwen op externe grondwaarheidsannotaties of sterkere modellen. De auteurs introduceren een pijplijn die gebruikmaakt van de eigen outputs van het model:

• Constructie van Positieve Steekproeven (MCTS): De auteurs maken gebruik van Monte Carlo Tree Search (MCTS) om hoogwaardige redeneringstrajecten te ontdekken. Uitgaande van een supervised fine-tuned (SFT) model, breidt MCTS kandidaat-redeneringsstappen uit en gebruikt het een verificateur om trajecten te scoren op basis van visuele consistentie, logische geldigheid en antwoordcorrectheid. Het traject met de hoogste score wordt geselecteerd als de positieve steekproef $(c_w, a_w)$.
• Constructie van Negatieve Steekproeven (Attention-Guided Pruning): Om uitdagende negatieve steekproeven te creëren, maken de auteurs gebruik van een strategie voor token-pruning geleid door afbeeldingsaandacht. Ze berekenen de aandachtscores van elke CoT-token naar afbeeldingstokens. Tokens met hoge visuele relevantie worden geïdentificeerd en verwijderd (gepruned) uit de oorspronkelijke CoT. Dit verstoort de visuele onderbouwing van de redeneringsketen, waardoor een beschadigde CoT ($c_l$) ontstaat die dient als een negatieve voorwaarde voor hetzelfde antwoord.

3. Trainingspijplijn

1. CoT-Formaat Uitlijning: Een warm-up SFT-fase brengt het model in lijn met een gestructureerd CoT-formaat (stap-voor-stap redenering gevolgd door een antwoord) om MCTS-operaties te faciliteren.
2. Data-Generatie: MCTS en attention-guided pruning genereren het voorkeursdataset.
3. Optimalisatie: Het model wordt getraind met de gecombineerde $L_{DPO} + \lambda L_{RC}$ doelstelling.

Belangrijkste Bijdragen

1. Analyse van Bestaande DPO: Het artikel onthult dat standaard response-level DPO vooroordeelsvol is ten opzichte van optimalisatie op antwoordniveau, waardoor hallucinaties op CoT-niveau onvoldoende worden aangepakt.
2. RC-DPO Kader: Het voorstellen van een fijnmazig voorkeursoptimalisatiekader dat redeneringsketens expliciet uitlijnt door hetzelfde gewenste antwoord te contrasteren onder verschillende CoT-voorwaarden.
3. Strategie voor Data-Generatie: De introductie van een zelfstandige pijplijn voor het genereren van voorkeursdata die MCTS gebruikt voor positieve steekproeven en attention-guided token-pruning voor negatieve constructie.
4. Empirische Validatie: Uitgebreide experimenten over vier MLRMs en negen benchmarks die de effectiviteit van de aanpak aantonen.

Experimentele Resultaten

De auteurs hebben RC-DPO geëvalueerd op vier representatieve MLRMs: R1-Onevision-7B, MM-Eureka-7B, ThinkLite-VL-7B en OpenVLThinker-7B.

• Mitigatie van Hallucinaties: Op de Object HalBench behaalde RC-DPO consequent de laagste CHAIRS- en CHAIRI-scores over alle modellen, met een significant betere prestatie dan baselines zoals VCD, SID, RLAIF-V en OPA-DPO. Bijvoorbeeld, op R1-Onevision daalde CHAIRS van 36,7 (Vanilla) naar 21,7 (RC-DPO).
• Bestaan van Objecten: Op de POPE-benchmark behaalde RC-DPO de beste nauwkeurigheid en F1-scores in willekeurige, populaire en adversariële instellingen, wat wijst op een verbeterde herkenning van het bestaan van objecten.
• Open-ended Generatie: Op MMHal-Bench en evaluaties ondersteund door GPT-4 verlaagde RC-DPO de hallucinatiepercentages terwijl het de beschrijvende kwaliteit en vloeiendheid behield of verbeterde.
• Algemene Capaciteiten: Evaluaties op MME, MMBench, VMCBench en MMVP toonden aan dat RC-DPO geen afbreuk doet aan algemene multimodale waarneming of redeneervermogens; in veel gevallen verbeterde het de prestaties op fijnmazige visuele taken (zoals OCR en positieherkenning).

Betekenis en Beweringen

Het artikel beweert dat expliciete uitlijning van tussenliggende redeneringsketens cruciaal is voor het bouwen van trouwe en betrouwbare MLRMs. Door over te stappen van grofgemiddelde optimalisatie op responsniveau naar fijnmazige redeneringsgeconditioneerde optimalisatie, pakt RC-DPO de worteloorzaak van hallucinatievoortplanting in redeneringsmodellen aan. De auteurs benadrukken dat hun methode hallucinaties effectief mitigeert in zowel de tussenliggende CoT als het uiteindelijke antwoord, wat leidt tot betrouwbaarder multimodaal redeneren zonder afbreuk te doen aan algemene capaciteiten. Het werk onderstreept dat het behandelen van de CoT als een voorwaarde voor het genereren van antwoorden een direct trainingsignaal biedt voor het leren van redeneringsvoorkeuren die antwoorden ondersteunen.