💻 computer science

HAVEN: Hierarchically Aligned Multimodal Benchmark for Unified Video Understanding

Dit artikel introduceert HAVEN, een nieuw hierarchisch uitgelijnd multimodaal benchmark dat de beperkingen van bestaande gefragmenteerde video-evaluatiemethoden aanpakt door een unificatie, volledig gedetailleerde dataset en een uitgebreide evaluatiesuite te bieden om de vaardigheden van multimodale grote taalmodellen in complexe video-samenvatting en redenering grondig te beoordelen.

Oorspronkelijke auteurs: Mengqi Shi, Haopeng Zhang

Gepubliceerd 2026-05-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mengqi Shi, Haopeng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een film moet begrijpen. Je laat hem een film zien en vraagt: "Wat is er gebeurd?" De robot geeft je een zeer vloeiende, grammaticaal perfecte samenvatting. Het klinkt geweldig! Maar als je vraagt: "Welk specifiek tafereel toonde de held die springt?", dan kan de robot naar het verkeerde tafereel wijzen, of een tafereel verzinnen dat nooit heeft plaatsgevonden.

Dit is het probleem dat het artikel HAVEN aanpakt. De auteurs stellen dat huidige AI-modellen lijken op acteurs die een script perfect uit hun hoofd kunnen leren, maar het verhaal of de personages niet echt begrijpen. Ze zijn "vloeiend", maar niet "gegrondeerd".

Hier is een eenvoudige uiteenzetting van wat ze hebben gedaan en wat ze hebben gevonden:

1. Het Probleem: De "Gebroken Puzzel"

Bestaande tests voor video-AI zijn als het geven van een puzzel aan een student waarbij de stukjes verspreid liggen en niet in elkaar passen.

De Oude Manier: Tests vragen de AI meestal om naar een video te kijken en een samenvatting te schrijven, OF een paar belangrijke afbeeldingen te selecteren. Ze behandelen deze als aparte taken.
De Tekortkoming: Echte video's zijn hiërarchisch opgebouwd. Een video bestaat uit frames (individuele afbeeldingen), die groeperen tot shots (korte clips), die op hun beurt het hele video (het verhaal) vormen. Oude tests negeren deze structuur. Ze controleren ook niet of de woorden van de AI daadwerkelijk overeenkomen met de specifieke momenten in de video. De AI kan de juiste woorden raden door simpelweg te weten hoe taal werkt, zonder de video daadwerkelijk te "zien".

2. De Oplossing: HAVEN (De "Meesterblauwdruk")

De auteurs hebben een nieuwe benchmark ontwikkeld genaamd HAVEN (Hierarchically Aligned Multimodal benchmark for unified Video undErstandiNg). Denk aan HAVEN als een meesterblauwdruk voor een gebouw.

In plaats van alleen naar het afgewerkte huis (de video) te kijken, dwingt HAVEN de AI om tegelijkertijd de bakstenen (frames), de muren (shots) en het hele huis (video) te begrijpen.

Volledige Uitlijning: Voor elke zin die de AI schrijft, controleert HAVEN precies welk deel van de video het afkomstig is. Het is als een vertaler die voor elk woord dat ze vertalen, moet wijzen naar het exacte woord in de originele taal.
Drie Niveaus: Het test de AI op drie niveaus:
1. Frame-niveau: Kun je deze enkele afbeelding beschrijven?
2. Shot-niveau: Kun je deze korte clip beschrijven en weten welke afbeeldingen erbij horen?
3. Video-niveau: Kun je het hele verhaal samenvatten en weten welke clips het belangrijkst zijn?

3. De Test: Vier Verschillende Uitdagingen

De auteurs vroegen de AI niet alleen om een samenvatting te schrijven. Ze gaven haar vier verschillende uitdagingen om te zien of ze echt slim was of alleen maar goed in praten:

Samenvatting: "Schrijf een verhaal over deze video."
Tijdsreizen (Temporeel Redeneren): "Hier zijn de clips van een video, maar ik heb ze door elkaar geschud. Zet ze in de juiste volgorde."
De Detective (Gronding): "Hier is een zin uit het verhaal. Wijs naar de exacte clip in de video die overeenkomt met deze zin."
De Redacteur (Saliëntie-rangschikking): "Hier zijn 10 clips. Rangschik ze van 'belangrijkst voor het verhaal' tot 'minst belangrijk'."

4. De Resultaten: De "Illusie van Bekwaamheid"

Toen ze de slimste beschikbare AI-modellen (zoals GPT-4, Qwen en anderen) op HAVEN testten, vonden ze een schokkende kloof:

De Sprekers: De modellen waren uitstekend in het schrijven van vloeiende, goed lopende samenvattingen. Ze klonken alsof ze de film begrepen.
De Blinden: Toen ze werden gevraagd om naar de specifieke scènes te wijzen (Gronding) of het belang van clips te rangschikken (Saliëntie), faalden ze jammerlijk.
De Tekstvalstrik: Ze testten zelfs een "alleen-tekst"-versie (een AI die alleen beschrijvingen van de frames leest, niet de afbeeldingen zelf). Verrassend deed deze alleen-tekst AI het vaak beter in het vinden van de juiste scènes dan de volledige video-AI. Dit bewijst dat de video-AI alleen maar gokte op basis van taalpatronen, en niet daadwerkelijk het visuele bewijs analyseerde.

5. De Conclusie

Het artikel concludeert dat we hebben overschat hoe goed AI video begrijpt. Alleen omdat een AI een geweldig verhaal over een video kan schrijven, betekent niet dat hij de video daadwerkelijk "heeft gezien".

HAVEN is een nieuwe, strengere test die de AI dwingt te bewijzen dat het zijn woorden kan verbinden met het daadwerkelijke visuele bewijs, zodat toekomstige AI-modellen niet alleen goede sprekers zijn, maar echte begrijpers van de visuele wereld.

(Opmerking: Het artikel richt zich strikt op het evalueren van modellen voor video-begrip. Het stelt geen specifieke medische, industriële of toekomstige toepassingen voor deze technologie voor, noch beweert het dat deze modellen klaar zijn voor implementatie in de echte wereld op die gebieden.)

Technische Samenvatting: HAVEN – Hiërarchisch Geregistreerde Multimodale Benchmark voor Geïntegreerd Videobegrip

Probleemstelling

Hoewel Multimodale Grote Taalmodellen (MLLM's) sterke prestaties hebben aangetoond op standaard video-taken zoals samenvatting, bijschriften en vragenbeantwoording, blijft hun vermogen om complexe verhalen betrouwbaar samen te vatten en te redeneren slecht geëvalueerd. Huidige videobenchmarks lijden onder twee systemische beperkingen:

Gefragmenteerde Supervisie: De meeste bestaande datasets opereren op één temporele granulariteit (bijvoorbeeld sleutelbeelden, clips of video-niveau samenvattingen), en negeren de inherent hiërarchische structuur van realistische video's, waarbij frames shots vormen en shots coherente verhalen opbouwen.
Gebrek aan Precieze Cross-modale Verankering: Tekstannotaties zijn doorgaans zwak afgestemd op visuele inhoud. Dit stelt modellen in staat om te slagen door taalpriors te exploiteren zonder de relevante visuele bewijslast nauwkeurig te lokaliseren of daarover te redeneren.

Bijgevolg overschatten huidige evaluatieprotocollen systematisch de capaciteiten van MLLM's, waardoor een "illusie van capaciteit" ontstaat waarbij modellen vloeiende tekst produceren maar hun output niet verankeren in correct visueel bewijs.

Methodologie: De HAVEN Benchmark

Om deze gaten te dichten, introduceren de auteurs HAVEN (Hierarchically Aligned multimodal benchmark for unified Video undErstandiNg), een dataset en evaluatiekader gebaseerd op twee kernprincipes: Hiërarchische volledigheid en Cross-modale continuïteit.

Datasetconstructie

HAVEN is geconstrueerd door zes bestaande datasets voor videosamenvatting uit te breiden (SumMe, TVSum, OVP, YouTube, VideoXum en MR.HiSum). Het constructieproces omvat:

Hiërarchische Annotatie: Elke video-instantie wordt op drie niveaus geannoteerd:
- Frame-niveau: Uniform gesampelde frames (gemiddeld 164,9 per video) gekoppeld aan door LLM gegenereerde tekstuele beschrijvingen ( $D_V$ ) en door mensen geannoteerde sleutelbeelden ( $V_{key}$ ).
- Shot-niveau: Frames worden gepartitioneerd in temporeel coherente shots ( $H$ ) met behulp van Kernel Temporal Segmentation (KTS). Elke shot heeft een door LLM gegenereerde beschrijving ( $D_H$ ) en door mensen geannoteerde sleutelshots ( $H_{key}$ ).
- Video-niveau: Een globaal document ( $T$ ) en een beknopte samenvatting ( $S$ ) worden gegenereerd door shot-niveau beschrijvingen te aggregeren, met expliciete zins-naar-shot afstemmingen.
Afstemming: De dataset beschikt over expliciete, continue afstemming tussen visuele inhoud en tekstuele beschrijvingen op alle niveaus, zodat taal geworteld is in temporeel gelokaliseerd bewijs.
Kwaliteitscontrole: Menselijke evaluatie op 15 gesampelde video's bevestigde hoge scores voor nauwkeurigheid, informatieve waarde en volledigheid op alle annotatieniveaus.

Evaluatiesuite

HAVEN definieert een geïntegreerde suite van vier taakfamilies om verschillende aspecten van videobegrip te evalueren:

Multimodale Samenvatting: Omvat Video-naar-Text (V2T), Sleutelbeeldselectie (V2V) en Gecombineerde Video-Text (V2VT) samenvatting.
Temporeel Begrip: Vereist dat modellen de chronologische volgorde van geschudde video-shots herstellen, met en zonder document-niveau context.
Multimodale Verankering: Stelt modellen de taak om geschudde samenvattingszinnen af te stemmen op hun corresponderende visuele shots.
Saliëntie Rangschikking: Vereist dat modellen video-shots rangschikken op belangrijkheid, met en zonder documentcontext.

Belangrijkste Bijdragen

Nieuwe Dataset: HAVEN is een pionier in een volledig granulaire (frame, shot, video) en volledig multimodaal kader met expliciete, continue cross-modale afstemming, afgeleid van bestaande hoogwaardige door mensen geannoteerde datasets.
Rigoureus Testkader: De auteurs stellen een veelzijdige beoordeling vast die vier kerndimensies bestrijkt (samenvatting, verankering, temporeel redeneren en saliëntie), waardoor gecontroleerde analyse van modelgedrag op verschillende abstractieniveaus mogelijk wordt.
Empirische Analyse: Het artikel biedt een uitgebreide analyse van state-of-the-art MLLM's, waarbij een ernstige discrepantie wordt blootgelegd tussen oppervlakkige tekstuele vloeiheid en ware multimodale verankering.

Experimentele Resultaten

De auteurs hebben verschillende commerciële en open-source MLLM's (waaronder GPT-5.2, Qwen3-VL, VideoLLaMA3 en InternVideo2.5) getest in een zero-shot setting. Belangrijkste bevindingen zijn:

De "Capaciteitsillusie": Modellen produceren consequent vloeiende tekstuele samenvattingen, maar falen vaak om deze output te verankeren in het juiste visuele bewijs. Hoge scores in tekstgeneratie correleren niet met nauwkeurig visueel begrip.
Taakgevoeligheid: De prestaties van modellen zijn zeer gevoelig voor taakformulering. Zo presteren modellen die sterk zijn in V2T-samenvatting vaak aanzienlijk slechter bij sleutelbeeldselectie (V2V) en multimodale verankeringstaken.
Beperkingen bij Gecombineerde Generatie: Gecombineerde multimodale generatie (V2VT) verbetert de afstemming tussen tekstuele en visuele output niet consequent ten opzichte van onafhankelijke generatie. In sommige gevallen leidt dit tot een afweging waarbij de tekstkwaliteit verbetert ten koste van de nauwkeurigheid van de visuele selectie.
Tekst-proxy Baselines: Verrassend presteren tekst-only baselines (met behulp van framebeschrijvingen) vaak beter dan multimodale modellen in verankerings- en temporele redeneertaken, wat suggereert dat huidige MLLM's moeite hebben om precieze semantische correspondenties tussen modaliteiten tot stand te brengen, ondanks toegang tot visuele data.
Saliëntie versus Samenvatting: Er is een duidelijke kloof tussen prestaties op het gebied van samenvatting en saliëntierangschikking. Sterke prestaties in samenvatting impliceren geen nauwkeurig saliëntiebegrip, wat aangeeft dat samenvatting rust op een meer holistisch begrip van belangrijkheid, terwijl saliëntierangschikking expliciete visuele modellering vereist.

Betekenis en Beweringen

Het artikel beweert dat HAVEN de evaluatie van multimodale systemen verder brengt dan traditionele Vragen-Antwoorden (QA) formaten. Door een rigoureus, gestandaardiseerd testkader met expliciete hiërarchische afstemming aan te bieden, beoogt HAVEN:

De beperkingen van huidige MLLM's aan het licht te brengen die worden gemaskeerd door grove of zwak verankerde evaluatieprotocollen.
Toekomstig onderzoek te stimuleren naar interpreteerbaar, hiërarchisch videobegrip waarbij modellen zowel tekstuele als visuele informatie op een geïntegreerde manier effectief kunnen verankeren, afstemmen en redeneren.
Een bron te bieden voor het ontwikkelen van modellen die verder gaan dan "plausibele" taalgeneratie naar echt multimodaal begrip.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de benchmark biases overneemt uit bron-datasets, momenteel audio-modaliteiten uitsluit en zich richt op relatief korte video's, waardoor video-begrip van lange duur en multi-modale integratie (inclusief audio) richtingen zijn voor toekomstig werk.