💻 computer science

DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

DualFact+ introduceert een nieuw dubbel-laags multimodaal raamwerk dat procedurele videofactoren scheidt in conceptuele en contextuele componenten om een meer interpreteerbare en mensgerichte evaluatie van videoondertiteling te bieden, waarbij wordt aangetoond dat state-of-the-art-modellen vaak lijden aan systematische feitelijke omissies en inconsistenties die standaardmetrieken niet detecteren.

Oorspronkelijke auteurs: Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kookshow of een doe-het-zelf meubeltutorial bekijkt. Een slimme computer probeert een recept of een reeks instructies te schrijven op basis van wat het in de video ziet. Soms schrijft de computer een zin die perfect klinkt en prachtig loopt, maar liegt het eigenlijk over wat er gebeurd is. Misschien zegt het: "De chef heeft de uien gesneden," terwijl de video duidelijk laat zien dat ze wortelen snijden. Of misschien vergeet het te vermelden dat de chef een mes gebruikte in plaats van een lepel.

Dit artikel introduceert een nieuwe manier om te controleren of deze door de computer gegenereerde instructies daadwerkelijk waar zijn. Ze noemen hun systeem DualFact.

Hier is hoe het werkt, opgesplitst in eenvoudige ideeën:

1. De Twee Laags van Waarheid

De auteurs realiseerden zich dat het controleren van een videobeschrijving niet alleen gaat over het lezen van de woorden; het gaat over het begrijpen van twee verschillende lagen van realiteit:

De "Conceptuele" Laag (Het Plan): Dit is het abstracte idee van wat zou moeten gebeuren. Bijvoorbeeld: "Snijd het groente." Het maakt niet uit welk groente of welk gereedschap er gebruikt wordt; het weet alleen dat er een actie plaatsvindt. Denk hierbij aan een ruwe schets van een schilderij.
De "Contextuele" Laag (De Realiteit): Dit is het specifieke, verankerde detail van wat er echt gebeurd is in de video. Sneden ze een tomaat of een ui? Gebruikten ze een mes of een hakmes? Dit is het afgewerkte, gedetailleerde schilderij.

Het Probleem: De meeste huidige computerprogramma's zijn goed in de "Conceptuele" laag (ze klinken slim), maar falen vaak in de "Contextuele" laag (ze krijgen de specifieke details verkeerd). Ze kunnen zeggen "snijd het groente" (waar), maar missen dat ze een stompe mes gebruikten, of ze kunnen een gereedschap verzinnen dat helemaal niet aanwezig was.

2. De "DualFact"-Detective

Om dit op te lossen, bouwden de onderzoekers een detectivesysteem genaamd DualFact. Het werkt als een strenge redacteur die het werk van de computer op twee manieren controleert:

De Tekstcontrole: Het vergelijkt de zin van de computer met de "gouden standaard" tekst (de perfecte door mensen geschreven instructies).
De Videocontrole: Het vergelijkt de zin van de computer met de daadwerkelijke videobeelden.

Het systeem breekt elke zin op in kleine "feiten" (zoals: Actie = Snijden, Object = Tomaat, Gereedschap = Mes). Vervolgens vraagt het: "Wordt dit feit ondersteund door de video?"

3. Het Opvangen van Drie Soorten Fouten

Het artikel legt uit dat computers drie specifieke soorten leugens maken, en DualFact is ontworpen om deze op te vangen:

Hallucinaties (De "Magische" Fout): De computer verzint iets dat er niet is.
- Voorbeeld: De video toont een kom, maar de computer zegt: "De chef gebruikte een blender." De blender bestond nooit in de video.
Omissies (De "Ontbrekende" Fout): De computer vergeet iets belangrijks te vermelden dat wel aanwezig was.
- Voorbeeld: De video toont de chef die zout toevoegt, maar de computer zegt gewoon: "De chef mengde de soep," en vergeet het zout volledig.
Salientiefouten (De "Aandacht" Fout): Dit is de lastigste. De computer noemt iets dat wel in de video staat, maar het is niet belangrijk voor de taak.
- Voorbeeld: De chef snijdt een tomaat, maar er ligt een citroen op het aanrecht op de achtergrond. De computer zegt: "De chef sneed de citroen." De citroen was er (dus het is geen hallucinatie), maar het was niet het hoofdonderwerp. De computer liet zich afleiden door de achtergrondruis.

4. Wat Ze Vonden

De onderzoekers testten dit systeem op twee soorten video's: koken (YouCook3) en meubelmaken (CraftBench). Ze vonden enkele verrassende dingen:

Vloeiendheid $\neq$ Waarheid: De best klinkende, meest vloeiende zinnen waren vaak degenen met de meeste feitelijke fouten. De computers waren "gladde praters" maar slecht in details.
Oude Metrieken liegen: Standaard manieren om succes te meten (zoals het tellen van hoeveel woorden overeenkomen) waren slecht in het opvangen van deze fouten. Ze gaven hoge scores aan zinnen die feitelijk onjuist waren.
Video is de Waarheidsspreker: Toen het systeem controleerde tegen de video in plaats van alleen de tekst, bleek dat veel "leugens" eigenlijk gewoon "afleidingen" (Salientiefouten) of "weglatingen" waren. De video verankerde de waarheid op een manier die alleen tekst niet kon.

5. De Conclusie

Het artikel concludeert dat we, om procedurele video's (zoals koken of bouwen) echt te begrijpen, een systeem nodig hebben dat niet alleen controleert of de woorden mooi klinken, maar verifieert of de specifieke rollen (Actie, Gereedschap, Object) overeenkomen met het visuele bewijs.

DualFact is als een strenge feitencontroleur die het "grote idee" scheidt van de "specifieke details", zodat wanneer een computer een video beschrijft, het de hele waarheid vertelt, en niet alleen een mooie versie ervan.

1. Probleemstelling

Procedurale video-captioning (bijvoorbeeld koken, meubelmontage) vereist dat modellen beschrijvingen genereren die niet alleen vloeiend zijn, maar ook feitelijk correct en visueel verankerd zijn. Bestaande evaluatiemetingen slagen er niet in om de specifieke uitdagingen van dit domein aan te pakken:

Lexicale Metrieken (BLEU, ROUGE): Vertrouwen op oppervlakkige overlapping en kunnen geen semantische rolfouten detecteren (bijvoorbeeld het verwisselen van een ingrediënt met een tool) of ontbrekende argumenten.
Visueel-Taalmetrieken (CLIPScore, EMScore): Meten globale semantische gelijkenis, maar missen gestructureerd redeneren over predikaat-argumentrelaties. Ze missen vaak fijne inconsistenties.
Huidige op feiten gebaseerde Metrieken: Representeren feiten doorgaans als vlakke, niet-getypeerde statements. Ze worstelen met het onderscheid tussen conceptuele fouten (verkeerde abstracte rol, bijvoorbeeld "zout toevoegen" terwijl het "suiker" zou moeten zijn) en contextuele fouten (verkeerde visuele realisatie, bijvoorbeeld "zout aan de pan toevoegen" terwijl de video een kom toont).
Impliciete Argumenten: Procedurale bijschriften laten vaak visueel aanwezige argumenten weg (bijvoorbeeld "roer het" zonder "soep" of "lepel" te specificeren), wat leidt tot ambiguïteit die standaardmetrieken negeren.

2. Methodologie: Het DualFact/MultiFactScore Kader

De auteurs stellen een tweelaags feitenverificatiekader voor dat Conceptuele Feiten scheidt van Contextuele Feiten om een fijne evaluatie mogelijk te maken.

A. Tweelaagse Feitrepresentatie

Conceptuele Feiten ( $F_{con}$ ): Vangen abstracte taaksemantiek op die onafhankelijk is van oppervlakkige realisatie. Ze identificeren de beoogde actie en kernrolspelers (bijvoorbeeld ACTIE=ROEREN, INGREDIËNT=SOEP, TOOL=LEPEL).
Contextuele Feiten ( $F_{ctx}$ ): Vangen de verankerde predikaat-argumentrelaties op die zichtbaar zijn in de video (bijvoorbeeld ROEREN(soep, kom, lepel)).
- Betekenis: Deze scheiding stelt het systeem in staat om te detecteren of een model de taak begrijpt (conceptueel) maar faalt in het beschrijven van de visuele uitvoering (contextueel), of andersom.

B. Datasetconstructie (YouCook3-Fact & CraftBench-Fact)

De auteurs hebben twee nieuwe benchmarks gecreëerd met drie belangrijke voorverwerkingsstappen:

Clausule-decompositie: Het splitsen van meer-actie zinnen in atomaire clausules die zijn uitgelijnd met specifieke videosegmenten.
Augmentatie van Impliciete Argumenten (VIA): Het annoteren van ontbrekende maar visueel aanwezige argumenten (bijvoorbeeld het uitbreiden van "roer het" naar "roer de soep met een lepel in de pan") om rolconsistentie te waarborgen.
Gestructureerde Feitannotatie: Het extraheren van zowel conceptuele als contextuele feiten, samen met negatieve feitageneratie (het creëren van plausibele maar valse varianten voor contrastief leren).

C. Verificatiepijplijn

Het kader gebruikt Natural Language Inference (NLI)-modellen om feiten in twee modi te verifiëren:

DualFact-T (Tekstueel): Verifieert gegenereerde feiten tegen het gouden bijschrift.
DualFact-V (Multimodaal): Verifieert gegenereerde feiten direct tegen de videoclip.
Scorebepaling: De MultiFactScore wordt berekend als het aandeel feiten dat door de verificateur als "ONDERSTEUND" wordt beoordeeld.
Foutdecompositie: Het systeem categoriseert fouten in:
- Hallucinatie: Inhoud die niet wordt ondersteund door de video.
- Salientiefout: Inhoud is visueel aanwezig maar taak-irrelevant (bijvoorbeeld het noemen van een citroen bij het snijden van een komkommer).
- Omissie: Ontbrekende taakkritische entiteiten of rollen.

3. Belangrijkste Bijdragen

Tweelaagse Feitrepresentatie: Een nieuw kader dat abstracte rolsemantiek scheidt van verankerde visuele realisaties, waardoor detectie van inconsistenties op rolniveau en omissies mogelijk wordt.
Nieuwe Benchmarks: Introductie van YouCook3-Fact (koken) en CraftBench-Fact (meubelbewerking), met clausule-niveau segmentatie, VIA en gestructureerde feitannotaties.
Empirische Inzichten: Aantonen dat state-of-the-art Multimodale LLM's (bijvoorbeeld Qwen2.5-VL) vloeiende bijschriften produceren die systematisch feitelijk onvolledig zijn, met hoge rates van omissies en fouten op rolniveau die standaardmetrieken missen.
Evaluatieprotocol: Een methode die aantoont dat evaluatie op basis van alleen bijschrift hallucinaties significant overschat in vergelijking met visueel verankerde verificatie, wat "salientiefouten" (visueel aanwezig maar irrelevante details) blootlegt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op YouCook3-Fact en CraftBench-Fact met Qwen2.5-VL en standaardmetrieken.

Feitextractie: De op LLM gebaseerde extractor behaalde hoge nauwkeurigheid (F1 > 96% voor conceptuele rollen, >95% voor contextuele relaties), waardoor evaluatieruis minimaal is.
Prestatie van de Verificateur:
- De verificateur presteert bijna perfect op gouden feiten (Tekstueel: ~99%, Multimodaal: ~88-93%).
- Modelconsistentiebias: Bij het verifiëren van voorspelde bijschriften daalt de nauwkeurigheid aanzienlijk (bijvoorbeeld tekstuele verificatie van voorspelde bijschriften daalde tot ~20-40%), wat aangeeft dat modellen geen ground-truth entiteiten coderen.
Foutanalyse:
- Alleen Bijschrift vs. Visueel Verankerd: Evaluatie op basis van alleen bijschrift labelde ~50-60% van de fouten als "Hallucinatie". Visueel verankerde verificatie classificeerde veel hiervan opnieuw als Salientiefouten (bijvoorbeeld 36% van objectfouten waren salientie, geen hallucinatie).
- Omissies: De primaire faalmodus was omissie van taakrelevante entiteiten (bijvoorbeeld ontbrekende tools of ingrediënten), wat standaardmetrieken niet zwaar genoeg bestraften.
Correlatie met Menselijke Beoordeling:
- De voorgestelde Op Bijschrift Gebaseerde Conceptuele Feitscore toonde de sterkste correlatie met menselijke beoordelingen (Spearman $\rho$ = 0,429), en presteerde beter dan BLEU, ROUGE en EMScore.
- Op video gebaseerde scores toonden lagere correlatie vanwege "plafondeffecten" (hoge absolute correctheid maar lage variantie).

5. Betekenis en Conclusie

Voorbij Vloeiendheid: Het artikel betoogt dat vloeiendheid niet gelijkstaat aan feitelijke correctheid in procedurale taken. Een bijschrift kan grammaticaal perfect zijn maar kritieke stappen missen of rollen verkeerd toekennen.
Interpreteerbaarheid: Het kader biedt een diagnostisch hulpmiddel om te onderscheiden tussen wat het model miste (omissie), wat het bedacht (hallucinatie) en wat het goed had maar irrelevant was (salientie).
Toekomstige Richting: Het werk benadrukt de noodzaak voor toekomstige modellen om zich te richten op rol-consistente en visueel verankerde generatie, voorbij oppervlakkige semantische gelijkenis. Het legt de basis voor robuustere systemen voor instructievideo-interpretatie.

Beperkingen: De huidige reikwijdte is beperkt tot koken en ambacht; feitenextractie is afhankelijk van de nauwkeurigheid van de onderliggende LLM; en het kader modelleert nog geen op attributen gerichte feiten (bijvoorbeeld grootte, kleur) of onderscheidt tussen ernstniveaus van hallucinaties.