← Nieuwste papers
💻 informatica

VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

Dit artikel introduceert VideoMemBench, een nieuwe benchmark bestaande uit 326 video's en meerkeer-dialogen met geverifieerde cross-turn afhankelijkheden, om de "in-context videogeheugen"-capaciteiten van Multimodale Grote Taalmodellen (MLLM's) te evalueren, wat onthult dat zelfs de best presterende modellen aanzienlijk moeite hebben met deze taak, met een beste score van slechts 45,7%.

Oorspronkelijke auteur: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

Gepubliceerd 2026-11-04
📖 1 min leestijd☕ Koffiepauze-leesvoer

Oorspronkelijke auteur: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Technische Samenvatting: VideoMemBench

Probleemstelling

Multimodale Large Language Models (MLLM's) zijn geavanceerd tot het punt waarop ze urenlange video's met miljoenen tokens aan context kunnen verwerken, wat uitgebreide dialogen over een enkele video mogelijk maakt. Het onderhouden van dergelijke gesprekken vereist echter in-context video-geheugen: het vermogen om informatie die eerder in de dialoog is vastgesteld te onthouden en te hergebruiken, variërend van zowel visuele episodes die het model heeft gezien als antwoorden die het model eerder heeft gegenereerd.

Bestaande benchmarks voor video-begrip (bijv. MVBench, Video-MME, LVBench) meten deze capaciteit niet. Hun vragen zijn onderling onafhankelijk, verwijzen nooit naar elkaar en zijn uitsluitend te beantwoorden op basis van de video en de huidige vraag. Hierdoor hoeft er geen informatie over verschillende beurten heen te worden meegenomen, waardoor de cruciale uitdaging van in-context video-geheugen ongemeten blijft.

Methodologie: Constructie van VideoMemBench

De auteurs introduceren VideoMemBench, een benchmark die specifiek is ontworpen om in-context video-geheugen te evalueren via gestructureerde, getypeerde cross-turn afhankelijkheden. De constructie-pipeline omvat drie LLM-rollen en menselijke expertbeoordeling:

  1. Videoverzameling: Een initiële pool van ongeveer 3.200 video's werd samengesteld uit bestaande benchmarks (Video-MME, VSI-Bench, etc.) en het web (YouTube), verdeeld over vier belangrijke domeinen: Lifestyle & Entertainment, Kennis & Educatie, Kunst & Literatuur, en Sport & Competitie.
  2. Afhankelijkheidsplanning (Planner LLM): Voordat de vragen worden gegenereerd, stelt een planner een globale dialoogspecificatie op. Dit omvat een video-synopsis, dialoogrichtlijnen en een getypeerde afhankelijkheidsgrafiek. De grafiek wijst ouder-beurten toe aan afhankelijke beurten, waarbij de randen worden gelabeld als:
    • Episodische Afhankelijkheid: De vraag verwijst naar een visuele episode die in een eerdere beurt is beschreven (het testen van het geheugen van wat het model heeft gezien).
    • Antwoord-Afhankelijkheid: De vraag bouwt voort op het eigen eerdere antwoord van het model (het testen van het geheugen van wat het model heeft gezegd).
  3. Beurt-gewijze Generatie (Generator LLM): De generator construeert de dialoog beurt voor beurt, in overeenstemming met het plan. Het zorgt ervoor dat afhankelijke beurten verwijzende uitdrukkingen gebruiken (bijv. "de scène uit T1") zonder de voorafgaande inhoud te herhalen.
  4. Geautomatiseerde Verificatie (Judger LLM): Een beoordelaar (judger) handhaaft drie strikte vereisten voor elke beurt:
    • Noodzakelijkheid: De vraag moet onbeantwoordbaar zijn als de ouder-beurten worden verwijderd (zelfs met toegang tot de video).
    • Niet-lekken (Non-leakage): De vraag mag informatie uit ouder-beurten niet herhalen of hun antwoorden niet onthullen.
    • Visuele Gronding: Elk antwoord moet verifieerbaar zijn tegen specifieke videoframes.
      Gefaalde beurten worden opnieuw gegenereerd; twee opeenvolgende mislukkingen leiden tot herplanning.
  5. Menselijke Expertbeoordeling: Acht menselijke experts beoordelen alle dialogen tegen de video om de juistheid van de antwoorden, de geldigheid van de afhankelijkheden en de afwezigheid van informatielekken te verifiëren.

Dataset Statistieken:

  • 326 video's gekoppeld aan 326 multi-turn dialogen.
  • 2.476 totale QA-beurten.
  • 1.387 beurten zijn afhankelijk (56,02%), bestaande uit 1.200 Episodische en 594 Antwoord-afhankelijkheden.
  • Afhankelijkheden omvatten multi-parent structuren (tot 3 ouders) en langetermijnketens (tot 9 beurten afstand).

Evaluatieprotocol

De benchmark evalueerde 25 MLLM's (8 closed-source, 17 open-weight) met behulp van een self-rollout protocol waarbij modellen 128 uniform gesamplede frames en de volledige gesprekshistorie ontvangen. Drie metrieken werden gedefinieerd:

  1. TurnAcc: Nauwkeurigheid over alle beurten, onafhankelijk gescoord.
  2. EpiDepAcc: Nauwkeurigheid op beurten met Episodische afhankelijkheden (geheugen van visuele context).
  3. AnsDepAcc: Nauwkeurigheid op beurten met Antwoord-afhankelijkheden met behulp van chain crediting. Een beurt wordt alleen meegeteld als het antwoord en alle antwoorden langs de Antwoord-afhankelijkheids-voorouders correct zijn. Dit straft foutaccumulatie af.

Belangrijkste Resultaten

  • Algemene Prestaties: Het best presterende model, Claude Opus 5, behaalde een algemene score van slechts 45,7%, wat aanzienlijk lager is dan de menselijke baseline van 86,1%.
  • Type Afhankelijkheden: De prestaties waren consequent lager op afhankelijke beurten vergeleken met onafhankelijke beurten.
    • AnsDepAcc was de meest uitdagende metriek (35,7% voor Claude Opus 5), wat 16,6 procentpunt achterloopt op TurnAcc. Dit duidt op een ernstige moeilijkheid in het handhaven van consistentie met eerdere antwoorden.
    • EpiDepAcc (49,1%) was iets beter, maar nog steeds lager dan de onafhankelijke beurt-nauwkeurigheid (52,3%).
  • Impact van Complexiteit:
    • Afstand: De nauwkeurigheid nam af naarmate de afhankelijkheidsafstand toenam (van 30,2% bij afstand 1 naar 23,1% bij afstand ≥5).
    • Multi-parent: De nauwkeurigheid daalde naarmate het aantal ouder-beurten toenam.
    • Positie: Afhankelijke beurten op latere posities in de dialoog vertoonden een consistente daling in nauwkeurigheid.
  • Foutbronnen: Experimenten waarbij de modelhistorie werd vervangen door de grondwaarheid (Oracle history) lieten significante prestatiewinsten zien (bijv. Qwen3-VL-8B verbeterde van 12,3% naar 32,4%), wat bevestigt dat fouten in eerdere reacties een primaire bron van moeilijkheid zijn voor daaropvolgende beurten. Echter, zelfs met een perfecte historie bleef de nauwkeurigheid onder het niveau van onafhankelijke beurten, wat suggereert dat een correcte historie alleen onvoldoende is voor betrouwbaar in-context video-geheugen.

Betekenis en Claims

Het artikel beweert dat in-context video-geheugen een openstaand en uitdagend probleem blijft voor huidige MLLM's, zelfs voor frontier-modellen. De belangrijkste bijdragen zijn:

  1. Identificatie van een Gat: Het benadrukken dat bestaande benchmarks er niet in slagen het vermogen te meten om gevestigde dialoogcontext te herinneren en te hergebruiken in video-gesprekken.
  2. VideoMemBench: Het bieden van de eerste benchmark met expliciete, getypeerde cross-turn afhankelijkheden (Episodisch en Antwoord) die noodzakelijkheid en niet-lekken afdwingen, ondersteund door een rigoureuze constructie-pipeline.
  3. Empirisch Bewijs: Het aantonen dat huidige modellen aanzienlijk moeite hebben met cross-turn afhankelijkheden, met name bij het handhaven van consistentie met hun eigen eerdere antwoorden (chain crediting) en het afhandelen van langetermijn- of multi-parent afhankelijkheden.

De auteurs concluderen dat VideoMemBench een noodzakelijke basis biedt voor de ontwikkeling van video-MLLM's die in staat zijn om betrouwbaar eerdere observaties en reacties te herinneren en erop voort te bouwen in uitgebreide gesprekken.

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →