LogicGaze: Benchmarking Causal Consistency in Visual Narratives via Counterfactual Verification

Technische Samenvatting: LogicGaze

Probleemstelling

Vision-Language Models (VLM's) hebben een bekwaamheid getoond in het genereren van vloeiende, structureel coherente narratieven voor complexe multimodale taken. Er bestaat echter een kritieke betrouwbaarheidsgap: deze modellen falen vaak in het funderen van hun redeneerketens in werkelijke visuele bewijslast. In plaats daarvan vertrouwen ze vaak op sterke linguïstische priors en statistische tekstuele waarschijnlijkheden, wat leidt tot "hallucinaties" waarbij tussenliggende logische sprongen worden gedreven door taalmodellering-heuristieken in plaats van perceptuele gronding. Traditionele benchmarks, zoals statische beschrijvingen of captioning-taken, detecteren deze foutmodi vaak niet omdat oppervlakkige linguïstische plausibiliteit een gebrek aan werkelijk visueel begrip kan maskeren. Er is behoefte aan een rigoureus evaluatiekader dat de linguïstische waarschijnlijkheid expliciet ontkoppelt van visuele verificatie, met name in sequentiële, meerstaps scenario's.

Methodologie

De auteurs introduceren LogicGaze, een benchmarkframework ontworpen om te onderzoeken of VLM's sequentiële causale ketens kunnen valideren tegen visuele inputs. De methodologie is gebouwd op drie kernzuilen:

1. Datacuratie en Counterfactual Injectie

LogicGaze is geconstrueerd uit twee primaire bronnen:

• Video-data: 40.000 segmenten van ShareGPT4Video.
• Beeld-data: Een gecureerde subset van ongeveer 5.000 afbeeldingen van Flickr30k.

De kerninnovatie ligt in het modelleren van elk instance als een gestructureerde causale keten bestaande uit drie stadia: Antecedent → Reactie → Consequentie. Om visuele gronding te testen, synthetiseert het framework counterfactual perturbaties. Deze perturbaties zijn linguïstisch coherent en plausibel, maar visueel ongeldig (bijv. het refereren aan objecten die niet aanwezig zijn in de scène of het voorstellen van ongefundeerde relaties). Dit dwingt het model om redeneringsstappen te kruisverwijzen met de visuele input in plaats van te vertrouwen op taal-priors.

2. Tripartiet Evaluatieprotocol

De benchmark evalueert VLM's over drie verschillende taken:

• Causale Validatie: Een multiple-choice taak waarbij het model de enige correcte causale sequentie moet identificeren die gegrond is in de visuele data tussen verschillende opties, waarbij het onderscheid maakt tussen accurate ketens en spuriële ketens.
• Gegronde Narratieve Synthese: Een open-ended generatietaak die vereist dat het model een coherente sequentiële redeneerketen construeert die strikt verankerd is in visuele feiten. Prestaties worden gemeten met behulp van BLEU- en ROUGE-metrieken tegen geverifieerde referentieteksten.
• Perturbatie Rejectie: Een veiligheids- en robuustheidstaak waarbij het model wordt gepresenteerd met niet-onderbouwde of tegenstrijdige evenementsequenties en expliciet de opdracht krijgt deze als ongeldig te identificeren en te verwerpen, in plaats van te proberen ze te rechtvaardigen. Dit test het vermogen van het model om "te weten wat het niet weet".

3. Kwaliteitsborging

De datasetgeneratie-pipeline dwingt strikte reproduceerbaarheid af:

• Geautomatiseerde sanitatie van modeloutputs om formateringsartefacten te verwijzen.
• Syntactische validatie van JSON-structuren.
• Handmatige audit van een willekeurige 10% steekproef, met een inter-annotator overeenkomst van 96%.
• Gestandaardiseerde prompting-schema's om uniforme gestructureerde outputs te garanderen.

Belangrijkste Bijdragen

1. Causale-Keten Modellering: De introductie van een gestructureerde drie-staps representatie (Antecedent, Reactie, Consequentie) die de nadruk legt op temporele progressie en tussenliggende logica, waarmee verder wordt gegaan dan statische objectenumeratie.
2. Visueel-Gegronde Counterfactuals: De inzet van linguïstisch geloofwaardige maar visueel ongeldige alternatieven om taalbias te isoleren en expliciet de afhankelijkheid van werkelijke visuele perceptie te testen.
3. Rigoureus Curatieprotocol: Een gestandaardiseerd proces dat geautomatiseerde consistentiechecks integreert met human-in-the-loop verificatie om annotatie-ruis te minimaliseren en dataintegriteit te waarborgen.

Experimentele Resultaten

Het framework werd geëvalueerd op zes veeleisende open-domain en multi-hop vraagbeantwoording-benchmarks (PopQA, TriviaQA, ARC-Challenge, OpenBookQA, HotpotQA, en 2WikiMultihopQA) met behulp van diverse backbones, waaronder Qwen2.5-7B en LLaMA3-8B.

• Prestaties: LogicGaze presteerde consequent beter dan zowel standaard zero-shot/SFT baselines als geavanceerde Retrieval-Augmented Generation (RAG) systemen (bijv. Self-RAG, RankRAG, IterDRAG).
  • Op Qwen2.5-7B behaalde LogicGaze state-of-the-art resultaten, met verbeteringen in nauwkeurigheid variërend van +0,6% tot +1,9% ten opzichte van de sterkste baselines (bijv. 68,4% op PopQA versus 66,5% voor IterDRAG).
  • Op LLaMA3-8B werden vergelijkbare verbeteringen waargenomen, waarbij LogicGaze alle retrieval-augmented baselines overtrof (bijv. 73,8% op TriviaQA versus 71,9% voor IterDRAG).
• Efficiëntie: LogicGaze demonstreerde superieure computationele efficiëntie vergeleken met multi-stage RAG-systemen. Het bereikte de laagste end-to-end latentie (2,10s) en vereiste een minimaal contextvenster (5,4k tokens), wat het levensvatbaar maakt voor real-world deployment.
• Ablatie-studies: Analyse van retrieval diepte ($k$) en contrastief gewicht ($\lambda$) toonde aan dat optimale prestaties worden bereikt bij $k=10$ en $\lambda=0,3$. Een lagere $k$ brengt het risico met zich mee dat cruciale bewijslast wordt weggelaten, terwijl een hogere $k$ ruis introduceert. Similaire resultaten voor $\lambda$ laten zien dat het verhogen van $\lambda$ de bewijs-alignement verbetert tot 0,3, maar dat excessieve weging (0,5) de prestaties licht degradeert door complexe gevallen te zwaar te bestraffen.

Betekenis en Claims

Het artikel stelt dat LogicGaze een gerichte methodologie biedt voor het kwantificeren en mitigeren van het kritieke risico op modelconfabulatie in multimodale redenering. Door modellen te dwingen sequentiële causale ketens te valideren tegen visueel bewijs, legt de benchmark significante kwetsbaarheden bloot in state-of-the-art VLM's die traditionele metrieken missen. De auteurs beweren dat LogicGaze pleit voor de ontwikkeling van robuuste, betrouwbare multimodale redeneringssystemen. Alle middelen, inclus inclusief de dataset en de evaluatiecode, worden publiekelijk beschikbaar gesteld in een geanonimiseerd repository om reproduceerbaarheid te ondersteunen.