Technische Samenvatting: ViMU - Benchmarken van Metaforisch Videobegrip

1. Probleemdefinitie

Huidige modellen voor videobegrip richten zich voornamelijk op letterlijk visueel begrip, zoals het herkennen van objecten, handelingen en temporele relaties. De ware betekenis van veel video's bevindt zich echter niet in de expliciete inhoud, maar in de onderliggende betekenis: impliciete ideeën, retorische middelen, sociale signalen en cultureel verankerde betekenissen (bijvoorbeeld ironie, spot, kritiek of politieke allusies) die inferentie vereisen die verder gaat dan wat expliciet wordt getoond.

Bestaande benchmarks slagen er niet in om deze kloof effectief aan te pakken, omdat ze ofwel:

1. Doelgericht zijn op verborgen ruimtelijke of fysieke relaties in plaats van maatschappelijk verankerde betekenissen.
2. Zich beperken tot non-verbale humor.
3. Steunen op meerkeuzeformaten waarbij de opties onbedoeld plausibele hypothesen over de onderliggende betekenis kunnen onthullen, waardoor inferentie zonder hints niet wordt afgedwongen.

Het artikel stelt dat het begrijpen van video-onderliggende betekenis vereist dat multimodale bewijsvoering wordt geïntegreerd, cultureel gesitueerde referenties worden gerecupereerd en de communicatieve intentie van de maker wordt afgeleid zonder expliciete aanwijzingen.

2. Methodologie: De ViMU-benchmark

De auteurs introduceren ViMU (Video Metaphorical Understanding), de eerste benchmark die is ontworpen om systematisch de vaardigheden van geavanceerde modellen voor het begrijpen van onderliggende betekenis te evalueren.

Datasetconstructie

• Schaal: 588 video's met 2.352 vragen.
• Bron: Gecureerd van platformen zoals YouTube, Bilibili en TikTok.
• Cureringsproces: Een meerfasig proces dat omvat:
  1. Extrahering van multimodale bewijsvoering: Egaal bemonsterde frames en audio-transcripten.
  2. LLM-gebaseerde taxonomie-annotatie: Het gebruik van geavanceerde modellen om letterlijke inhoud te scheiden van de beoogde betekenis, waarbij onderliggende betekenis wordt ontbonden in retorische mechanismen en signalen van sociale waarde.
  3. Generatie van vragen zonder hints: Vragen worden gegenereerd als "zonder hints", wat betekent dat ze de semantische dimensie (bijvoorbeeld sarcasme, bias) die wordt getest niet expliciet onthullen, waardoor shortcut learning wordt voorkomen.
  4. Iteratieve validatie: Een iteratieve cyclus waarbij LLM's en menselijke experts vragen verfijnen om zekerheid te krijgen over de moeilijkheidsgraad, de impliciete aard en de afstemming op de beoogde betekenis.
• Diversiteit: De dataset bestrijkt meer dan 10 retorische mechanismen (bijvoorbeeld ironie, droge humor, bait-and-switch) en signalen van sociale waarde (bijvoorbeeld minachting, normschending, politieke signalering). Bronnen voor bewijsvoering omvatten frames, zichtbare tekst, bewerkingspatronen, transcripten en toon van de audio.

Evaluatietaken

ViMU omvat vier distincte taken om complementaire aspecten van het begrijpen van onderliggende betekenis te toetsen:

1. Open-eindige interpretatie (OE): Modellen moeten de algehele beoogde betekenis van een video uitleggen zonder vooraf gedefinieerde opties.
2. Gronding in bewijs (EG): Een meerkeuzetaak waarbij modellen de specifieke multimodale elementen (bijvoorbeeld toon van de audio, bewerkingspatroon) selecteren die hun interpretatie ondersteunen.
3. Identificatie van retorische mechanismen (RM): Modellen identificeren de retorische middelen die worden gebruikt om de boodschap te construeren, gebaseerd op een vooraf gedefinieerde taxonomie.
4. Identificatie van signalen van sociale waarde (SV): Modellen identificeren de onderliggende maatschappelijke houding of normatieve implicatie die door de video wordt overgebracht.

3. Belangrijkste Bijdragen

• Eerste systematische benchmark: ViMU is de eerste benchmark die specifiek is ontworpen om metaforisch videobegrip en inferentie van onderliggende betekenis te evalueren op een manier zonder hints.
• Gestructureerde taxonomie: Het introduceert een tweedimensionaal raamwerk dat scheidt hoe betekenis wordt overgebracht (retorische mechanismen) van wat voor sociale betekenis wordt uitgedrukt (signalen van sociale waarde).
• Uitgebreid evaluatieprotocol: De benchmark omvat zowel open-eindige als meerkeuzetaken, met een specifieke focus op het grondvesten van interpretaties in waarneembare multimodale bewijsvoering.
• Rigoureuze curatie: De dataset is geconstrueerd om externe contextafhankelijkheden te elimineren en ervoor te zorgen dat vragen niet alleen via een oppervlakkige beschrijving kunnen worden beantwoord.

4. Experimentele Resultaten

De auteurs evalueerden 16 populaire Multimodale Grootte Taalmodellen (MLLM's), inclusief zowel open-weight als gesloten-bronmodellen.

• Algehele prestaties: Geavanceerde modellen hebben aanzienlijke moeite met metaforisch begrip. De meeste modellen, inclusief de meest geavanceerde gesloten-bronmodellen, bereiken onder de 50% algehele prestatie over de vier taken.
• Taakdispariteit:
  • Modellen presteren relatief beter op Open-eindige interpretatie (OE) en Gronding in bewijs (EG), waarbij top-presteerders (bijvoorbeeld GPT-5.2) ongeveer 70% bereiken.
  • De prestaties dalen scherp bij Identificatie van retorische mechanismen (RM) en Sociale waarde (SV), waarbij topmodellen vaak scoren rond de 20-30%.
• Modellengedrag:
  • Conservatisme: Modellen neigen conservatief te zijn bij de selectie van bewijs, waarbij ze vaak minder benodigde aanwijzingen selecteren dan nodig is, in plaats van extra te hallucineren.
  • Bias: Er is een systematische neiging om generieke of "veiligere" categorieën te overvoorspellen (bijvoorbeeld "Letterlijk/Direct" of "Emotionele Attitude"), terwijl impliciete of sociaal gecodeerde categorieën (bijvoorbeeld "Impliciet/Gecodeerde Sociale Framing" of "Identiteit/Ideologische Signalering") worden onderschat.
  • Familieclustering: Modellen uit dezelfde familie vertonen vergelijkbare foutprofielen, wat wijst op gedeelde inductieve bias in hoe ze taxonomielabels organiseren.
  • Geen universele superioriteit: Hoge prestaties op algemene video-begripstaken garanderen geen succes op taken voor metaforische onderliggende betekenis. Bovendien presteren sommige open-weight modellen (bijvoorbeeld Qwen3.5-27B) beter dan bepaalde gesloten-bronmodellen.

5. Betekenis en Claims

Het artikel stelt dat ViMU een fundamentele beperking blootlegt in huidige systemen voor videobegrip: het onvermogen om voorbij letterlijke perceptie te gaan om impliciete, maatschappelijk verankerde betekenissen te interpreteren.

• Identificatie van de kloof: De benchmark toont aan dat geavanceerde capaciteiten in algemene video-interpretatie niet automatisch vertalen naar een nauwkeurig begrip van impliciete houding, retorische framing of sociaal gecodeerde betekenis.
• Diagnostische bruikbaarheid: Door verfijnde analyses van modellengedrag te bieden (bijvoorbeeld fouten in gronding van bewijs, vervorming van taxonomie-geometrie), biedt ViMU inzichten in specifieke zwaktes, zoals het falen om gestructureerde patronen van multi-bron bewijsvoering te recupereren.
• Toekomstige richting: De auteurs suggereren dat de vooruitgang naar robuust, mensachtig video-interpretatie vereist dat niet alleen wordt gemodelleerd wat wordt getoond, maar wat wordt bedoeld. Zij positioneren ViMU als een hulpmiddel om de ontwikkeling van modellen te sturen die bestand zijn tegen de complexiteit van sociale en culturele onderliggende betekenis in video-inhoud.

Het artikel sluit af met een disclaimer dat de dataset potentieel beledigende en schadelijke inhoud bevat, uitsluitend bedoeld voor evaluatiedoeleinden om modelbeperkingen op het gebied van veiligheid en sociaal begrip bloot te leggen, en niet als trainingsbron.