💻 computer science

TRACE: Evidence Grounding-Guided Multi-Video Event Understanding and Claim Generation

TRACE is een door evidence grounding geleid raamwerk dat het begrip van gebeurtenissen in meerdere video's en het genereren van claims verbetert door middel van het opstellen van doorzoekbare tijdlijnen via OCR en objectdetectie, waarmee een nauwkeurige, query-bewuste lokalisatie van bewijsmateriaal mogelijk wordt vóór visuele redenering, en dat aldus de feitelijke volledigheid, de citatieherinnering en de state-of-the-art prestaties op benchmarks zoals MAGMaR 2026 aanzienlijk verbetert.

Oorspronkelijke auteurs: Pengyu Yan, Akhil Gorugantu, Mahesh Bhosale, Abdul Wasi, Vishvesh Trivedi, David Doermann

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pengyu Yan, Akhil Gorugantu, Mahesh Bhosale, Abdul Wasi, Vishvesh Trivedi, David Doermann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie over een enorme storm probeert op te lossen. Je hebt een bibliotheek met duizenden uur videomateriaal van verschillende nieuwszenders, sociale media en overheidsuitzendingen. Je baas stelt je een specifieke vraag: "Hoeveel mensen werden vermist en stuurde de overheid hulp?"

Als je een standaard AI zou zijn (zoals die beschreven in de "oude manier"), zou je een gigantische stapel van deze video's krijgen met de opdracht: "Lees ze allemaal en geef me het antwoord." Het probleem? De AI raakt overweldigd. Het probeert elke seconde te bekijken, maar omdat het niet zoveel informatie tegelijk in zijn "hersenen" kan houden, moet het snel door de video's scrollen. Hierdoor mist het de kleine, cruciale details – zoals een wazige tekst op een nieuwsticker die "300 vermisten" aangeeft of een scorebord met hulpcijfers – omdat het te druk is met het kijken naar de dramatische beelden van de storm zelf.

TRACE is een nieuwe, slimmere manier om dit op te lossen. De auteurs noemen het een "Ground-Before-Reasoning" strategie. Denk hierbij aan het volgende:

Het Probleem: De "Blinde Zoektocht"

Huidige AI-modellen zijn als een detective die een kamer binnenloopt vol met mensen die schreeuwen en probeert één specifiek feit te vinden door alleen naar de luidste stemmen te luisteren. Ze missen de fluisterende stemmen (de tekst op een scherm) die het antwoord daadwerkelijk bevatten. Ze raken ook uitgeput (lopen hun "contextbudget" tegen) als de kamer te groot is.

De TRACE-oplossing: De "Eerst Indexeren"-benadering

In plaats van de video's blind te bekijken, fungeert TRACE als een bibliothecaris die eerst een zoekbare index aanmaakt voordat de detective überhaupt begint met lezen.

Hier is hoe het proces stap voor stap werkt:

1. De "Scanner" (Grounding)
Voordat de AI probeert te "denken" of te "redeneren", voert het eerst een snelle, goedkope scan uit over de video's.

Wat het doet: Het gebruikt twee eenvoudige hulpmiddelen: OCR (Optical Character Recognition, dat tekst op schermen zoals nieuwstickers en scoreborden leest) en Objectdetectie (dat dingen zoals microfoons, podia of menigten opspoort).
De Analogie: Stel je een robot voor die snel door elke pagina van een boek bladert en een lijst schrijft van elk nummer, elke naam en elk object dat het ziet, samen met het tijdstip waarop het ze zag. Het probeert het verhaal nog niet te begrijpen; het bouwt gewoon een tekstgebaseerde tijdlijn.
Waarom dit helpt: Dit verandert een rommelige video in een schone, zoekbare lijst van feiten.

2. De "Zoekmachine" (Localisatie)
Nu stelt de mens (of de gebruiker) zijn vraag: "Waar staat de informatie over vermiste mensen?"

Wat het doet: Een alleen-tekst AI (die zeer snel en goedkoop is) kijkt naar die zoekbare tijdlijn die in Stap 1 is gemaakt. Het vergelijkt de vraag met de lijst van nummers en objecten.
De Analogie: In plaats van het hele boek opnieuw te lezen, gebruikt de bibliothecaris de index om te zeggen: "Ah, het antwoord staat op pagina 45, 82 en 110." Het negeert de rest van het boek.
Waarom dit helpt: Het vindt de exacte momenten die er toe doen zonder tijd te verspillen aan irrelevante scènes.

3. De "Verhaler" (Claimgeneratie)
Nu komt de krachtige video-AI (de "Verhaler") aan het werk.

Wat het doet: Het krijgt alleen de specifieke videoclips die in Stap 2 zijn geïdentificeerd, plus de notities uit de index. Het krijgt te horen: "Kijk naar deze specifieke momenten en vertel me de feiten."
De Analogie: De detective krijgt nu alleen de drie relevante pagina's van het boek, met de belangrijke nummers gemarkeerd. Hij kan 100% van zijn aandacht richten op die pagina's om een perfect, accuraat rapport te schrijven.
Het Resultaat: De AI genereert een claim (bijvoorbeeld: "300 mensen zijn vermist") en, cruciaal, citeert exact welke videoclips dat feit bewezen.

4. De "Redacteur" (Consolidatie)
Omdat je 10 verschillende video's had, kun je 10 licht verschillende rapporten krijgen.

Wat het doet: Een laatste stap combineert deze rapporten. Als Video A zegt "300 vermisten" en Video B zegt "300 vermisten", voegt het systeem ze samen tot één sterk feit en behoudt de citaten van beide video's.
De Analogie: Een redacteur neemt alle notities van verschillende verslaggevers, controleert of ze overeenkomen en schrijft één final, gezaghebbend artikel dat elke enkele bron erkent.

Waarom Dit Belangrijk Is (De Resultaten)

Het paper testte dit systeem op echte nieuwsgebeurtenissen (MAGMaR 2026) en ontdekte dat:

Het meer feiten vond: Het miste de kleine details die verborgen zaten in tekstoverlays niet.
Het beter citeerde: Het was veel beter in het wijzen op het exacte videobewijs dat zijn claims bewees (een aanzienlijke verbetering van de "citation recall").
Het nauwkeuriger was: Het sloeg de vorige beste systemen met een grote marge.

De Conclusie

TRACE verandert het spel door te zeggen: "Probeer niet het hele video in één keer te begrijpen. Scan het eerst om de aanwijzingen te vinden, gebruik die aanwijzingen vervolgens om het antwoord te vinden." Het verandert een chaotische, overweldigende taak in een gestructureerd, stap-voor-stap onderzoek, zodat de AI de kleine maar kritieke details die de waarheid bevatten niet mist.

Technische Samenvatting: TRACE – Evidence Grounding-Gestuurde Multi-Video Evenementbegrip en Claimgeneratie

Probleemstelling

Multi-video evenementbegrip vereist dat modellen niet alleen visuele inhoud herkennen, maar ook specifieke bewijsstukken die verspreid liggen over lange, heterogene video-corpora lokaliseren en toewijzen om gebruikersvragen te beantwoorden. Huidige Large Vision-Language Models (LVLM's) kampen in dit regime met twee primaire faalmodi:

Contextverzadiging: LVLM's hebben beperkte contextvensters, wat agressieve temporele onderbemonstering dwingt die vaak korte, informatiedichte momenten (bijv. nieuwsbalken, scoreborden of broadcast-overlays) overslaat die cruciaal zijn voor feitelijke vragen.
Gefrustreerde Aandacht: Wanneer LVLM's direct worden geprompt met ruwe video, richten ze zich eerder op visueel opvallende inhoud dan op vraag-relevant bewijs, wat leidt tot brede narratieve samenvattingen in plaats van precieze, toewijsbare claims.

Bestaande benaderingen vertrouwen vaak op brute-force contextuitbreiding of uniforme framebemonstering, wat het kernprobleem van het identificeren van welke frames er toe doen voordat ze worden verwerkt, niet aanpakt.

Methodologie: Het TRACE-kader

TRACE introduceert een grounding-voor-redenering paradigma. In plaats van een LVLM te vragen om bewijs en claims gezamenlijk te ontdekken, decomposeert het kader de taak in een lichtgewicht, tekstgebaseerde grounding-fase gevolgd door geleide multimodale redenering.

1. Gestructureerde Video Grounding

Het systeem converteert eerst lange, ongestructureerde video's naar een tekst-doorzoekbare tijdlijn met behulp van lichtgewicht, niet-visuele verwerking:

Objectdetectie: YOLOv12 verwerkt bemonsterde frames om objecten te detecteren (bijv. mensen, microfoons, podia). Co-voorkomende patronen bieden contextuele signalen (bijv. het identificeren van een persconferentie).
Tekstherkenning (OCR): Een OCR-module haalt zichtbare tekst uit broadcast-overlays, scoreborden en lower-thirds. Dit vangt hoog-precieze semantische signalen (entiteiten, statistieken, locaties) op die objectdetectoren missen.
Tijdlijnconstructie: Deze streams worden samengevoegd tot een chronologische, tekst-serialiseerbare tijdlijn $F = \{(t, D_t, T_t)\}$ , waarbij $D_t$ gedetecteerde objecten voorstelt en $T_t$ OCR-tekst.

2. Vraag-geconditioneerde Bewijslocalisatie

Een tekst-only LLM (Qwen3-30B) werkt op de gestructureerde tijdlijn om bewijslocalisatie uit te voeren zonder een visuele encoder in te roepen:

Alignering: De tijdlijn wordt gepartitioneerd in vensters en geserialiseerd. De LLM aligneert deze tekstrepresentaties met de gebruikersvraag en persona om relevante momenten te identificeren.
Overbrugging van de Kloof: Deze fase vertaalt laag-niveau detector-output naar semantische intentie, waarbij indirect bewijs wordt geïdentificeerd (bijv. een "stempercentage"-overlay) zelfs zonder expliciete trefwoordovereenkomsten.
Grounding Samenvatting: De LLM synthetiseert een coherente semantische beschrijving van het gelokaliseerde bewijs, dienend als brug tussen ruwe perceptie en downstream redenering.

3. Grounding-Gestuurde Claimgeneratie

Een downstream LVLM (Qwen3-VL-30B) genereert claims geconditioneerd op expliciete begeleiding:

Hybride Frameselectie: De visuele input combineert uniform bemonsterde frames (voor narratieve dekking) met begeleiding-gerichte sleutelframes geïdentificeerd tijdens de localisatiefase.
Temporele Alignering: Frame-indexen worden doorgegeven als expliciete positionele metadata om temporele spacing te behouden in de roterende positie-embeddings van het model, zodat tekstannotaties aligneren met visuele tokens.
Bewijsfusie: De LVLM ontvangt de hybride frames, de vraag, de persona, de grounding-samenvatting en gestructureerde annotaties (tijdstippen, objecten, OCR). Het wordt geïnstrueerd om zinslange claims te genereren die zijn verankerd in waargenomen bewijs, waarbij specifieke feiten prioriteit krijgen boven vage parafrases.

4. Cross-Video Claimconsolidatie

Claims uit meerdere video's worden geaggregeerd om een unified evenementrapport te vormen:

Semantische Clustering: gegenereerde claims worden ingebed en geklusterd op basis van gelijkenis.
Verificatie: Een LLM verifieert clusters onder een strikt "zelfde-propositie"-criterium om ware parafrases te onderscheiden van feitelijk verschillende claims.
Citatiepropagatie: Het systeem behoudt de meest informatie-complete claim als canonieke representatie en propageert de vereniging van ondersteunende videocitaties over alle clusterleden, waardoor citatie-recall wordt gemaximaliseerd.

Belangrijkste Bijdragen

Grounding-Gestuurde Pipeline: Een nieuwe architectuur die een gestructureerde, tekst-doorzoekbare video-tijdlijn construeert via OCR en objectdetectie, waardoor vraag-geconditioneerde bewijslocalisatie mogelijk wordt vóór dure visuele inferentie.
Grounding-voor-Redenering Paradigma: Een strategie die bewijsontdekking scheidt van multimodale generatie, waarmee de contextflesnek en aandachtsmisalignering van huidige LVLM's worden aangepakt.
Hybride Kader: Een systeem dat gerichte sleutelframe-selectie combineert met cross-video claimdeduplicatie en citatiepropagatie.
State-of-the-Art Prestaties: Behalen van topprestaties op de MAGMaR 2026-benchmark en sterke generalisatie op de WikiVideo-dataset.

Experimentele Resultaten

De auteurs evalueerden TRACE op de MAGMaR 2026 Oracle Track (8 real-world nieuws-evenementthema's) en de WikiVideo-dataset (52 vragen, 398 video's).

MAGMaR 2026 Resultaten

Algemene Prestaties: TRACE behaalde de hoogste scores op de officiële leaderboard, met een Avg. F1 van 0,499 (InfoF1: 0,551, CiteF1: 0,447), waarmee het het tweede gerangschikte team (HAIVLab) met 0,049 punten voorbleef.
Vergelijking met Baselines: In vergelijking met een ongeleide Qwen3-VL-30B baseline op de validatieset, verbeterde TRACE de macro-average MiRAGE F1 van 0,705 naar 0,811.
Citatie-Recall: De meest significante verbetering was in citatie-recall, die steeg van 0,440 naar 0,628 (+42,7% relatief), wat het vermogen van het kader aantoont om het volledige scala aan relevante bronnen te identificeren en te citeren in plaats van alleen de meest opvallende video.
Menselijke Evaluatie: TRACE eindigde tweede in menselijke evaluatie (3,825/5,0), slechts 0,008 punten achter het top-team.

WikiVideo Generalisatie

TRACE behield de hoogste Avg. F1 (0,879) op WikiVideo, presterend beter dan zowel Qwen3-VL-8B als Qwen3-VL-30B baselines.
Hoewel de absolute marge kleiner was vanwege de kortere duur en uniforme verdeling van WikiVideo-video's (wat ten goede komt aan uniforme bemonstering), bereikte de methode toch de hoogste citatie-recall (0,838).

Ablatiestudies

Grounding Impact: Alle pipelinevarianten presteerden beter dan de sterkste ongeleide baseline, wat bevestigt dat multimodale grounding de primaire bron van verbetering is.
Aggregatiestrategie: Op embedding gebaseerde gelijkenisaggregatie met LLM-verificatie (EMBED-SIM) presteerde beter dan pure LLM-samenvoeging, met name in citatie-F1.
Sleutelframe-augmentatie: Het toevoegen van begeleiding-gerichte sleutelframes verbeterde de Informatie-Recall (InfoR), wat aantoont dat de tekstgebaseerde grounding het model succesvol richt op visueel bewijs dat door uniforme bemonstering wordt gemist.

Betekenis en Claims

Het artikel betoogt dat gestructureerde, perceptie-gebaseerde grounding een effectief en overdraagbaar principe is voor video claim-toewijzing. Door de last van bewijslocalisatie te verschuiven van de dure visuele redeneringsfase naar een lichtgewicht, tekst-serialiseerbare fase, mitigeert TRACE contextverzadiging en richt het visuele capaciteit op bewijsrelevantie momenten.

De auteurs claimen dat deze aanpak:

Het "naald in de hooiberg"-probleem in lang-video begrip oplost zonder enorme contextvensters te vereisen.
Feitelijke volledigheid en toewijzingsfideliteit verbetert, wat cruciaal is voor multi-video evenementbegrip.
Een schaalbaar alternatief biedt voor brute-force lang-context verwerking, aangezien de grounding-fase snel, deterministisch en interpreteerbaar is.

Het artikel concludeert dat hoewel de methode state-of-the-art resultaten bereikt, beperkingen blijven bestaan, waaronder de afhankelijkheid van het COCO-80-vocabulaire voor objectdetectie (wat domeinspecifieke entiteitsherkenning beperkt) en het niet-differentieerbare karakter van de pipeline, wat end-to-end foutherstel verhindert. Toekomstig werk wordt voorgesteld om open-vocabulaire detectie en adaptieve framebemonstering op te nemen.