💻 computer science

DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

Het artikel introduceert DeFacto, een tegenfeitelijk redeneringskader dat gebruikmaakt van een taalgeleide pijplijn om een gespecialiseerde dataset te genereren en GRPO-gebaseerde versterkingsleer met veelzijdige beloningen toepast om zowel de antwoordnauwkeurigheid als de op bewijs gebaseerde consistentie in multimodale taalmodellen aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een toets maakt waarbij je vragen moet beantwoorden over een afbeelding. De meeste slimme computerprogramma's (zogenaamde Multimodale Grootte Taalmodellen) lijken op leerlingen die erg goed zijn in gokken op basis van wat ze in boeken hebben gelezen, maar die vaak de daadwerkelijke afbeelding voor hen negeren. Ze kunnen het juiste antwoord geven, maar dan om de verkeerde redenen, of ze kijken misschien helemaal naar het verkeerde deel van de foto.

Het artikel introduceert een nieuwe methode genaamd DeFacto (afkorting van "De Facto", wat "in werkelijkheid" betekent) om dit op te lossen. Denk aan DeFacto als een strenge leraar die de leerling dwingt te bewijzen dat hij daadwerkelijk naar de afbeelding kijkt voordat hij een antwoord mag schrijven.

Hier is hoe het werkt, opgesplitst met eenvoudige analogieën:

1. Het Probleem: De "Valse Expert"

Huidige AI-modellen lijden vaak aan drie specifieke "valsspeler"-gewoonten:

De Blinde Gok: Ze kijken naar het verkeerde deel van de afbeelding en geven het verkeerde antwoord.
De Gelukkige Gok: Ze kijken naar het verkeerde deel van de afbeelding, maar gokken toch het juiste antwoord (puur door geluk of door het memoriseren van tekst).
De Eerlijke Fout: Ze kijken naar het juiste deel van de afbeelding, maar krijgen het antwoord toch verkeerd omdat ze de punten niet kunnen verbinden.

Het artikel stelt dat "slim" zijn niet genoeg is; de AI moet trouw zijn, wat betekent dat haar antwoord direct gekoppeld moet zijn aan wat ze daadwerkelijk ziet.

2. De Oplossing: Het "Ontbrekende Prikje"-Spel

Om de AI te leren stoppen met valsspelen, hebben de onderzoekers een speciaal trainingspel bedacht genaamd Counterfactual Thinking (Gegenfeitelijke Denken). Stel je een spel voor als "Waar is Wally?", maar dan met een draai:

Ronde 1 (Het Positieve Geval): Je toont de AI de volledige afbeelding met de aanwijzingen zichtbaar. Ze moet de aanwijzingen vinden (zoals een rode hoed of een specifiek bord) en de vraag beantwoorden. Als ze het goed heeft, krijgt ze een gouden ster.
Ronde 2 (Het Gegenfeitelijke Geval): Dit is het magische deel. De onderzoekers nemen de exacte aanwijzingen die de AI nodig heeft (zoals de rode hoed) en bedekken ze met een zwarte doos (maskeren). Nu wordt de AI dezelfde vraag gesteld.
- Als de AI toch probeert te gokken, krijgt ze een zware straf.
- Als de AI zegt: "Ik weet het niet, de aanwijzing ontbreekt," krijgt ze een gouden ster.
- Waarom dit belangrijk is: Dit leert de AI dat als het bewijs niet aanwezig is, ze niet moet doen alsof ze het antwoord weet. Ze leert onwetendheid toe te geven in plaats van te hallucineren.
Ronde 3 (Het Willekeurig Maskeren Geval): De onderzoekers bedekken delen van de afbeelding die niet belangrijk zijn (zoals de lucht of een boom op de achtergrond). De AI moet nog steeds correct antwoorden. Dit voorkomt dat de AI leert dat "zwarte dozen" altijd "niet antwoorden" betekenen. Ze leert onderscheid te maken tussen "ontbrekend bewijs" en "irrelevante achtergrond".

3. Het Trainingsproces: Het "Gecorrigeerde Huiswerk"

De onderzoekers hebben deze vragen niet gewoon met de hand geschreven (wat eeuwig zou duren). Ze bouwden een robot-pijplijn die:

De vraag leest.
Automatisch de belangrijke delen van de afbeelding vindt (zoals "de tekst op het shirt" of "de bladeren op de boom").
Duizenden van deze "bedekking"-versies van de afbeeldingen maakt.

Ze creëerden een enorm dataset genaamd DeFacto-100K (100.000 voorbeelden) om de AI mee te trainen.

Vervolgens gebruikten ze een speciale trainingsmethode genaamd GRPO (Group Relative Policy Optimization). Denk hierbij aan een coach die de AI vier keer achter elkaar het spel ziet spelen. Als de AI in één ronde beter presteert dan het gemiddelde van de andere drie, krijgt ze een beloning. Dit helpt de AI om consistent te leren: Zoek altijd naar het bewijs, en als het weg is, zeg dan "Ik weet het niet."

4. De Resultaten: Een Beter Leerling

Toen ze deze nieuwe "DeFacto"-AI testten tegen andere topmodellen:

Ze beantwoordde meer vragen correct.
Ze was veel moeilijker te misleiden. Wanneer het bewijs verborgen was, zei de DeFacto-AI veel vaker correct "Ik weet het niet" dan andere modellen, die bleven gokken.
Ze was eerlijker. Ze stopte met het verzinnen van redenen voor haar antwoorden. Als ze naar een specifiek deel van de afbeelding wees om haar antwoord te rechtvaardigen, bevatte dat deel daadwerkelijk het bewijs.

Samenvatting

Kortom, DeFacto is een trainingsmethode die AI-modellen leert eerlijke detectives te zijn. In plaats van alleen maar te gokken op het antwoord op basis van wat ze denken dat misschien waar is, worden ze getraind om:

Het specifieke visuele bewijs te vinden.
Als het bewijs ontbreekt, toe te geven dat ze het niet weten.
Als het bewijs aanwezig is, het te gebruiken om hun antwoord te bewijzen.

Het artikel beweert dat dit de redenering van AI betrouwbaarder maakt en verankert in de werkelijkheid, waardoor het wordt voorkomen dat ze verhalen verzinnen die goed klinken maar niet waar zijn.

en`-tags).
3. Beloning voor Coherentie van Regioselectie ( $R_{sel}$ ):
* Belooft overlap tussen voorspelde omhullende vakken en ground-truth bewijsregio's ( $R^+$ ).
* Straft overlap met irrelevante regio's af ( $R^-$ ).
* Biedt geen beloning voor regioselectie in counterfactuele gevallen (waar het model zich dient te onthouden).

3. Belangrijkste Bijdragen

DeFacto-kader: Een counterfactueel redeneringskader dat antwoordjuistheid en geloofwaardigheid op regio-niveau gezamenlijk optimaliseert via GRPO-gebaseerd versterkend leren.
DeFacto-100K Dataset: Een grootschalige counterfactuele dataset die is opgebouwd via een geautomatiseerd, taalgeleid proces dat open-vocabulaire detectie en gerichte bewijsmaskering integreert zonder handmatige annotatie.
DeFacto-1.5K Benchmark: Een door mensen geannoteerde benchmark die is ontworpen om evidence-gebaseerde consistentie systematisch te evalueren, verder dan eenvoudige antwoordnauwkeurigheid, door detectie-achtige metrieken (mAP, IoU) naast nauwkeurigheid te gebruiken.
Empirische Validatie: Uitgebreide experimenten die aantonen dat DeFacto zowel de antwoordnauwkeurigheid als de geloofwaardigheid van de grounding verbetert over diverse benchmarks in vergelijking met sterke baselines.

4. Experimentele Resultaten

De auteurs evalueerden DeFacto (opgebouwd op de Qwen2.5-VL-7B-ruggengraat) tegen state-of-the-art baselines, waaronder GRIT, DeepEyes, Visual-SR1 en ViCrop.

Algemene VQA-benchmarks: DeFacto behaalde de beste prestaties op 4 van de 6 algemene benchmarks (VQAv2, OKVQA, GQA, VSR), met significante verbeteringen ten opzichte van de basis Qwen2.5-VL (bijvoorbeeld +5,1% op VQAv2, +10,7% op GQA).
Document- en tekstgerichte benchmarks: Het model liet aanzienlijke winsten zien op taken voor documentbegrip, met verbeteringen van +2,0% op DocVQA, +7,7% op ChartQA en +17,7% op DeepForm.
Evaluatie van Geloofwaardigheid (DeFacto-1.5K):
- DeFacto behaalde de hoogste totaalscores in detectie-achtige metrieken (mAP: 35,5, AP50: 49,8, AP75: 35,0).
- Het verminderde Spurious Correctness aanzienlijk (5,6% versus 11,6% voor GRIT) en Mislocalized & Wrong-fouten.
- Het toonde superieure Counterfactuele Robuustheid, met een onthoudingsnauwkeurigheid van 64,1% wanneer bewijs werd gemaskerd, in vergelijking met 46,1% voor GRIT.

5. Betekenis en Claims

Het artikel beweert dat DeFacto een verschuiving vertegenwoordigt van het optimaliseren voor alleen antwoordnauwkeurigheid naar het afdwingen van evidence-antwoordconsistentie. Door modellen expliciet te trainen om zich te onthouden wanneer kritisch visueel bewijs ontbreekt, vermindert DeFacto de afhankelijkheid van taalkundige priors en hallucinaties.

De auteurs positioneren dit werk als het eerste visueel-taalredeneringskader dat expliciet is verankerd in counterfactuele supervisie om regio-geloofwaardig redeneren af te dwingen. Zij erkennen beperkingen, waarbij zij opmerken dat de regiovoorstelling afhankelijk is van bestaande detectoren (wat ruis kan introduceren) en dat de huidige evaluatie beperkt is tot statische afbeeldingen, waardoor video en temporeel redeneren als toekomstige richtingen overblijven. Zij stellen echter dat hun bevindingen nieuwe richtingen openen voor het integreren van counterfactuele supervisie in multimodale redeneringsystemen.