🤖 machine learning

NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding

Dit paper introduceert NarrativeTrack, het eerste benchmark dat multimodale grote taalmodellen evalueert op hun vermogen tot narratief begrijpen door middel van fijnmazig, entiteitsgericht redeneren via een gestructureerd kader dat de fundamentele afweging tussen perceptieve verankering en temporele coherentie blootlegt.

Oorspronkelijke auteurs: Hyeonjeong Ha, Jinjin Ge, Bo Feng, Kaixin Ma, Gargi Chakraborty

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hyeonjeong Ha, Jinjin Ge, Bo Feng, Kaixin Ma, Gargi Chakraborty

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

NARRATIVETRACK: De "Vergeten Personage"-Test voor AI

Stel je voor dat je naar een lange film kijkt. Jij, als mens, bent een meester in het volgen van het verhaal. Je weet precies wie de hoofdpersoon is, zelfs als die even uit beeld verdwijnt achter een deur. Je ziet dat de persoon zijn jas uittrekt, dat hij van een kantoor naar een park gaat, en dat hij later weer terugkomt, maar dan met een ander kapsel. Je bouwt een mentaal verhaal op: "Ah, dat is nog steeds Jan, alleen is hij nu in een andere situatie."

Nu, laten we kijken naar de slimste computers (de zogenaamde Multimodale Large Language Models of MLLM's). Deze AI's zijn geweldig in het beschrijven van één enkel plaatje. Ze kunnen zeggen: "Hier zie ik een man in een rode jas." Maar als je hen een hele film laat kijken en vraagt: "Wie deed wat, wanneer en waar, en is het dezelfde man die we eerder zagen?", dan raken ze vaak in de war. Ze vergeten wie wie is, of ze beginnen dingen te verzinnen die niet gebeurd zijn.

NARRATIVETRACK is een nieuwe test die dit probleem oplost. Het is als een "reality check" voor AI, speciaal ontworpen om te zien of ze echt een verhaal kunnen volgen, in plaats van alleen maar plaatjes te herkennen.

Hier is hoe het werkt, vertaald in simpele termen:

1. Het Probleem: De "Foto-album" vs. De "Verhaalboek"

Veel bestaande tests voor AI zijn als een foto-album. Je laat de AI één foto zien en vraagt: "Wat zie je?" De AI kan dat vaak goed. Maar een verhaal is geen verzameling losse foto's; het is een continu verhaal.

Huidige AI: Ziet een foto van een man in een blauwe jas. Later ziet hij een foto van een man in een rode jas. De AI denkt: "Oh, dat is een andere man!" (Terwijl het dezelfde man is die zijn jas heeft gewisseld).
Mens: Ziet de man in de blauwe jas, ziet hem zijn jas wisselen, en denkt: "Dat is nog steeds dezelfde man."

2. De Oplossing: NARRATIVETRACK (De "Personage-Tracker")

De onderzoekers hebben een nieuwe test bedacht genaamd NARRATIVETRACK. In plaats van de hele film te laten samenvatten, kijken ze heel nauwkeurig naar de personages (de mensen in de video).

Ze hebben een slimme, geautomatiseerde robot-ploeg gebouwd die de video's analyseert en een "dossier" aanmaakt voor elke persoon:

Wie is het? (Gezichtsherkenning)
Waar is hij? (Locatie)
Wat doet hij? (Actie)
Wat draagt hij? (Kleding)

Met deze dossiers maken ze vragen die de AI moet beantwoorden. De test bestaat uit drie niveaus van moeilijkheid, zoals een videogame:

Niveau 1: "Is hij nog steeds hier?" (Bestaan)
- Vraag: "Zie je de man met de hoed alleen aan het begin, of komt hij ook aan het einde terug?"
- Doel: Kan de AI onthouden dat een persoon bestaat, zelfs als hij even weg is?
Niveau 2: "Wat is er veranderd?" (Veranderingen)
- Vraag: "De man begon met een blauwe jas. Draagt hij later een rode jas, en doet hij dan nog steeds hetzelfde?"
- Doel: Kan de AI zien dat de persoon hetzelfde blijft, terwijl zijn kleding of omgeving verandert?
Niveau 3: "Wie is wie?" (Verwarring)
- Vraag: "Er lopen twee mannen in rode jassen. Is de man die nu loopt, dezelfde als de man die we aan het begin zagen, of een andere?"
- Doel: Kan de AI twee bijna-identieke personen uit elkaar houden? Dit is het moeilijkste deel.

3. Wat hebben ze ontdekt? (De Verbluffende Resultaten)

Toen ze de beste AI-modellen van vandaag de dag op deze test lieten, kwamen ze tot een interessante ontdekking:

De "Alles-kunner" vs. De "Video-specialist":
- De algemene AI's (zoals GPT-4o) zijn heel goed in het zien van details (ze zien precies welke jas je draagt), maar ze zijn slecht in het onthouden van de tijdlijn. Ze vergeten snel wie wie is als er een scène wisselt.
- De video-specialisten (AI's die specifiek voor video zijn getraind) zijn beter in het volgen van tijd, maar ze hallucineren vaak. Ze denken dat ze iemand zien die er niet is, of ze verwarren twee mensen met elkaar.
De "Reversal Curse" (De Omgekeerde Vloek):
- AI's zijn geweldig in het vertellen van een verhaal van begin tot eind. Maar als je ze vraagt: "Wie was deze persoon voordat hij dit deed?" (terugkijken in de tijd), dan zakken ze dramatisch in prestaties. Het is alsof ze een film kunnen afspelen, maar niet kunnen terugspoelen zonder de plot te verliezen.
Meer frames helpt niet altijd:
- Je zou denken: "Als we de AI meer beelden per seconde geven, wordt hij slimmer." Nee, dat werkt niet. Als je te veel beelden geeft, raakt de AI overbelast en maakt hij meer fouten. Het probleem is niet het aantal beelden, maar het vermogen om die beelden logisch aan elkaar te knopen.

Conclusie: Waarom is dit belangrijk?

NARRATIVETRACK laat zien dat AI's nog niet echt "verhalen" begrijpen. Ze zijn nog steeds bezig met het herkennen van losse momenten. Om echt slim te worden in het begrijpen van films, documentaires of zelfs je eigen videobewaking, moeten AI's leren om personages te volgen door de tijd heen, net zoals wij dat doen.

Het is alsof we de AI nu eindelijk een rijbewijs geven voor het volgen van een verhaal, en tot nu toe bleek dat de meeste auto's (AI-modellen) wel kunnen rijden, maar niet goed kunnen navigeren als de weg even verdwijnt en weer verschijnt. NARRATIVETRACK is de kaart die hen laat zien waar ze nog moeten oefenen.

1. Probleemstelling

Multimodale grote taalmodellen (MLLMs) hebben indrukwekkende vooruitgang geboekt in visueel-taalredenering, maar hun vermogen om narratief begrip in video's te ontwikkelen, blijft onderbelicht. Bestaande benchmarks focussen vaak op:

Lokale herkenning: Het identificeren van objecten of acties in een enkel frame.
Globale samenvatting: Het begrijpen van het algemene verhaal zonder diepgang in de continuïteit van individuele entiteiten.

De kern van menselijk narratief begrip ligt echter in het bijhouden van entiteiten (wie doet wat, wanneer en waar) over tijdsgrenzen, scène-overgangen en tijdelijke gaten heen. Bestaande benchmarks missen vaak de noodzaak voor echt tijdsredenering; veel vragen kunnen worden beantwoord op basis van statische visuele aanwijzingen of taalkundige priors zonder de video in chronologische volgorde te analyseren. Er is een kritieke kloof in het evalueren of modellen consistent kunnen redeneren over de identiteit en staat van entiteiten terwijl deze veranderen, verdwijnen en weer verschijnen.

2. Methodologie

De auteurs introduceren NARRATIVETRACK, het eerste benchmark dat narratief begrip evalueert via entiteitsgerichte redenering (entity-centric reasoning). De aanpak bestaat uit drie hoofdbestanden:

A. Geautomatiseerde Entiteitsgerichte Pijplijn

Om schaalbaarheid te garanderen zonder menselijke annotatie, ontwikkelen de auteurs een volledig geautomatiseerde pijplijn die gestructureerde representaties van entiteiten extrahert uit ruwe video's:

Entiteitsdetectie: Gebruik van een ensemble van detectiemodellen (Detectron2 en Owlv2) met een ruimtelijke consensus-strategie om nauwkeurige bounding boxes te genereren.
Entiteits-tracking: Identificatie van hoofdpersonages door clustering van ReID-embeddings (OSNet-x1.0). Trajecto's worden verfijnd met gezichtsherkenning en een meerderheidsstemming (majority voting) via meerdere MLLMs om identiteitsdrift te minimaliseren.
Contextuele Herkenning: Gebruik van een geavanceerd model (Gemini-2.5-Pro) om per tijdstip attributen toe te wijzen: Actie, Kleding (outfit) en Scène. Dit resulteert in een tijdsgebonden entiteitsrepresentatie ( $\tau_{e_i}$ ) die de evolutie van een entiteit vastlegt.

B. Compositional Reasoning Progression (CRP)

Het benchmark-evaluatiekader is opgebouwd rond een gestructureerde progressie van complexiteit in drie dimensies:

Entiteitsexistentie (Entity Existence): Test de basis van tijdscontinuïteit. Kan het model bijhouden of een entiteit aanwezig is, verdwijnt en weer terugkeert?
Entiteitsveranderingen (Entity Changes): Evalueert het redeneren over dynamische staten. Dit omvat:
- Actieveranderingen: Tijdsgebondenheid van gebeurtenissen.
- Kledingveranderingen: Fijnmazige perceptuele grounding van visuele transities.
- Scèneveranderingen: Ruimtelijk-contextuele grounding.
Entiteitsambiguïteit (Entity Ambiguity): Introduceert visueel vergelijkbare entiteiten om het vermogen te testen om de juiste entiteit te onderscheiden onder tijdsdynamiek (fine-grained perceptual disambiguation).

C. Vraaggeneratie en Distractors

Vragen worden programmatisch gegenereerd op basis van de metadata van de pijplijn. Er worden drie formaten gebruikt: binair, meerkeuze en ordening (chronologische volgorde).

Realistische Distractors: Afkomstig van andere entiteiten binnen dezelfde video (test discriminatie).
Synthetische Distractors: Afkomstig uit andere video's (test hallucinatie-resistentie).

3. Belangrijkste Resultaten

De auteurs evalueren 12 open-source modellen (algemeen en video-specialistisch) en 1 propriëtair model (GPT-4o) op NARRATIVETRACK:

Prestatiekloof: Er is een aanzienlijke prestatiekloof tussen propriëtaire en open-source modellen. GPT-4o behaalt de hoogste gemiddelde nauwkeurigheid (72,27%), terwijl open-source modellen aanzienlijk lager scoren (bijv. Qwen-2.5-VL-32B: 56,90%).
Trade-off tussen Grounding en Continuïteit:
- Algemene MLLMs (OGP): Hebben sterke perceptuele grounding (herkennen statische visuele cues goed) maar falen vaak in het handhaven van tijdsconsistentie.
- Video-specialistische MLLMs (OVS): Blijken beter in het vangen van tijdscontinuïteit, maar hallucineren vaker entiteiten of hun context (zwakke perceptuele precisie).
Tijdsrichtingsbias: Modellen vertonen een sterke bias naar voorwaartse redenering (start $\to$ einde). Prestaties dalen drastisch bij achterwaartse redenering (einde $\to$ start) of agnostische redenering (midden $\to$ begin/einde). Dit suggereert dat modellen tijdsrelaties niet omkeerbaar leren, maar enkel causaal van links naar rechts decoderen.
Schaalbaarheid en Frame-dichtheid: Het simpelweg vergroten van het model of het verhogen van het aantal ingevoerde frames (bijv. van 20 naar 128) leidt niet tot lineaire verbeteringen. Bij te veel frames daalt de prestatie vaak door redundante informatie en het gebrek aan selectieve aandacht voor tijdsafhankelijkheden.
Noodzaak van Visuele Grounding: Wanneer visuele input wordt verwijderd bij GPT-4o, daalt de prestatie naar willekeurig gokniveau, wat aantoont dat NARRATIVETRACK echt visueel-tijdsredenering vereist en niet op taalkundige priors kan vertrouwen.

4. Bijdragen

Eerste Benchmark voor Entiteitsgerichte Narratieven: NARRATIVETRACK is het eerste framework dat narratief begrip systematisch evalueert via de lens van het bijhouden van entiteiten over tijd, in plaats van via globale samenvattingen.
Gestructureerd Evaluatiekader (CRP): De introductie van de Compositional Reasoning Progression biedt een gedetailleerde diagnose van waar modellen falen (continuïteit, perceptie, of ambiguïteit).
Volledig Geautomatiseerde Data-pijplijn: Een schaalbare methode om hoogwaardige, tijdsgebonden entiteitsrepresentaties en QA-paren te genereren zonder menselijke tussenkomst, wat de kosten van benchmarking verlaagt.
Empirische Inzichten: De studie onthult fundamentele beperkingen in huidige MLLMs, met name de trade-off tussen perceptuele precisie en tijdsredenering, en de richting-bias in temporeel modelleren.

5. Significatie

NARRATIVETRACK markeert een verschuiving in het veld van video-MLLM-evaluatie. Het benadrukt dat narratief begrip een compositie vaardigheid is die alleen ontstaat uit de integratie van fijnmazige perceptie en robuust tijdsredeneren. De bevindingen wijzen erop dat huidige modellen, ondanks schaalwinsten, nog niet in staat zijn om coherente, tijdsgebonden narratieve structuren te bouwen. Dit benchmark biedt een noodzakelijke diagnose voor de gemeenschap om de volgende generatie modellen te ontwikkelen die in staat zijn tot bidirectioneel tijdsmodelleren en entiteitsgerichte training, essentieel voor toepassingen zoals videobewaking, filmanalyse en geavanceerde interactieve agents.