Where is the multimodal goal post? On the Ability of Foundation Models to Recognize Contextually Important Moments

Deze studie toont aan dat huidige multimodale foundation modellen moeite hebben om contextueel belangrijke momenten in voetbalvideo's te herkennen, omdat ze vaak te veel vertrouwen op één dominante modality in plaats van informatie uit meerdere bronnen effectief te synthetiseren.

De kern

De "Multimodale Doelstok": Kunnen AI's echt begrijpen wat er belangrijk is in een voetbalwedstrijd?

Stel je voor dat je een hele voetbalwedstrijd van 90 minuten opneemt. Dat is veel beeldmateriaal! Als je daar een kort, spannend samenvattingsfilmpje van wilt maken (zoals die je op het nieuws ziet), moet je eerst beslissen: Welke momenten zijn echt belangrijk en welke mag je weglaten?

Een goal is duidelijk belangrijk. Maar wat met een corner die net naast de paal gaat? Of een gevaarlijke aanval die uiteindelijk niets oplevert? Voor een mens is dat makkelijk te voelen, maar voor een kunstmatige intelligentie (AI) is dit een enorme uitdaging.

De auteurs van dit paper, onderzoekers van de Universiteit van Amsterdam, hebben zich afgevraagd: Kunnen de slimste AI-modellen van vandaag de dag dit verschil maken? Ze noemen dit de "multimodale doelstok" (multimodal goal post).

Hier is wat ze hebben ontdekt, vertaald in simpele taal:

1. De Proef: Een Nieuwe Speelbal

De onderzoekers wilden testen of AI's kunnen zien wat belangrijk is. Ze maakten een nieuwe dataset genaamd MOMENTS.

• Hoe deden ze dat? Ze namen officiële "highlight-reels" (samenvattingen) van voetbalwedstrijden en keken welke stukjes daar in zaten. Die stukjes noemden ze "belangrijk". Alles wat niet in die samenvatting zat, noemden ze "niet-belangrijk".
• Het geheim: Ze hoefden niemand handmatig te vragen wat belangrijk is. Ze maakten gebruik van de keuzes die de echte voetbal-experts (de makers van de highlight-filmpjes) al hadden gemaakt.

2. De Test: De AI's aan het werk

Ze gaven verschillende super-slimme AI-modellen (zoals de nieuwste versies van Qwen en Llama) deze video's, de geluidsopnames van de commentatoren en de tekst van wat ze zeiden. De AI's moesten een ja/nee-vraag beantwoorden: "Is dit een belangrijk moment?"

Het slechte nieuws:
De AI's presteerden niet veel beter dan gokken.
Het was alsof je een kind vraagt om een meesterwerk te schilderen, en het kind plakt wat vlekken op het canvas. De modellen konden vaak niet goed onderscheiden tussen een spannende aanval die mislukt en een saaie pass. Ze zaten vaak vast in het "gokken".

3. Waarom lukt het niet? De "Eenzijdige" AI

De onderzoekers keken diep in de hersenen van de AI's om te zien wat er misging. Ze ontdekten twee grappige, maar zorgwekkende patronen:

• De "Visuele Blinde Vlek":
  Als het om een goal ging, keek de AI vooral naar het beeld. Dat is logisch: je ziet de bal in het net. Maar als het om een niet-belangrijk moment ging (zoals een saaie corner), bleek het beeld juist verwarrend. De AI dacht dan: "Oh, er is een hoekschop, dat moet wel spannend zijn!"

• De "Commentator als Redder":
  Hier komt de magie van de spraak en tekst om de hoek kijken. De commentatoren (de stemmen op de radio) weten precies wat er aan de hand is. Ze zeggen: "Nou, dat was een corner, maar de verdediging was perfect, dus geen gevaar."
  De onderzoekers ontdekten dat de AI's het beste presteerden als ze naar de tekst van de commentator keken om te bepalen of iets niet belangrijk was. De AI's vertrouwden echter te veel op het beeld en negeerden vaak de tekst die de context gaf.

De Metafoor:
Stel je voor dat je een film kijkt met iemand die er niets van begrijpt.

• Als er een explosie is (een goal), zegt hij: "Wauw, dat was cool!" (Kijkt alleen naar het beeld).
• Als er een stilte is (een saaie pass), zegt hij: "Kijk, ze rennen! Dat moet wel spannend zijn!" (Kijkt weer alleen naar het beeld).
• Maar als je een ervaren sportverslaggever naast je hebt, zegt die: "Die explosie was mooi, maar die stilte? Dat was gewoon een routine pass, vergeet het maar."
  De AI's zijn als die onervaren kijker: ze zien de actie, maar missen de betekenis die de commentator uitlegt. Ze kunnen de verschillende informatiebronnen (beeld, geluid, tekst) niet goed samenvoegen.

4. De Conclusie: Nog niet klaar voor de hoofdrol

De boodschap is duidelijk:
De huidige AI's zijn nog niet slim genoeg om een hele voetbalwedstrijd te begrijpen en er een goed verhaal van te maken. Ze zijn te afhankelijk van één zintuig (meestal het beeld) en missen het vermogen om alle informatie (beeld + geluid + tekst) samen te smelten tot een wijs oordeel.

Wat betekent dit voor de toekomst?
Om AI's echt goed te laten werken voor het maken van samenvattingen of live-commentaren, moeten we ze niet alleen "slimmer" maken, maar ze ook modulair maken. Ze moeten leren om te schakelen: soms naar het beeld kijken, soms naar de tekst, en soms naar beide tegelijk, afhankelijk van wat er gebeurt.

Kortom: De AI's hebben nog veel te leren voordat ze de rol van de beste voetbalcommentator van de wereld kunnen overnemen. Ze zijn nog te vaak een "gokker" in plaats van een "expert".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Where is the multimodal goal post? On the Ability of Foundation Models to Recognize Contextually Important Moments" in het Nederlands.

Probleemstelling

Hoewel foundation modellen (multimodale AI-systemen) indrukwekkende vooruitgang hebben geboekt in het genereren van beschrijvingen en samenvattingen van visuele gebeurtenissen, blijft hun praktische toepasbaarheid voor complexe, tijdsgebonden taken onzeker. Een fundamentele pre-requisite voor het succesvol narreren of samenvatten van multimodale gebeurtenissen (zoals een voetbalwedstrijd) is het vermogen om de belangrijkste sub-gebeurtenissen (momenten) te identificeren.

De auteurs stellen dat bestaande evaluaties vaak focussen op de kwaliteit van de gegenereerde tekst (vloeiendheid, coherentie), maar weinig inzicht geven in het onderliggende vermogen van modellen om contextuele relevantie te begrijpen. Er is een gebrek aan datasets en benchmarks om te testen of modellen daadwerkelijk kunnen onderscheiden tussen "belangrijke" momenten (bijv. doelpunten, gevaarlijke schoten) en "niet-belangrijke" momenten (bijv. passspeel in het middenveld) in een video, vooral wanneer deze informatie wordt gecombineerd met commentaar.

Methodologie

1. Constructie van de MOMENTS Dataset

De kern van de studie is de ontwikkeling van een nieuwe dataset genaamd MOMENTS, specifiek gericht op voetbalwedstrijden.

• Data Bronnen: De dataset is opgebouwd door volledige wedstrijdvideos (van SoccerNet en SoccerReplay-1988) te koppelen aan officiële highlight-reels (van het GOAL dataset).
• Automatische Lokalisatie: In plaats van menselijke annotatie voor elke clip, gebruiken de auteurs een algoritme om highlights in de volledige video te lokaliseren. Ze gebruiken de Structural Similarity Index Measure (SSIM) om frames in de highlight-video (H) te matchen met frames in de volledige wedstrijd (G). Dit gebeurt in drie stappen:
  1. Vergelijking van representatieve frames per seconde.
  2. Verfijning van de zoekruimte voor slecht gelokaliseerde momenten.
  3. Groepering van gevonden frames tot "belangrijke momenten" met een scheidingstijdsdrempel van 1 seconde.
• Niet-belangrijke Momenten: Voor "niet-belangrijke" momenten worden segmenten uit de volledige video geselecteerd die geen belangrijke gebeurtenissen bevatten. De duur van deze segmenten wordt gesampleerd uit een Gamma-verdeling die overeenkomt met de duur van de belangrijke momenten, om een eerlijke vergelijking te garanderen.
• Multimodale Input: Voor elk moment worden drie modaliteiten geëxtraheerd:
  • Visueel (V): Videoframes.
  • Auditief (A): Originele audio-commentaar.
  • Taal (L): Transcriptie van het commentaar (gegenereerd met Whisper-turbo).
  • Opmerking: De auditieve en tekstuele modaliteiten worden met 3 seconden verlengd om de "eye-voice span" (latency tussen visuele actie en commentaar) te compenseren.
• Dataset Grootte: 3954 samples (1977 belangrijke en 1977 niet-belangrijke momenten).

2. Experimenteel Opzet

De auteurs evalueren diverse state-of-the-art foundation modellen op een binair classificatietaken: bepaal of een gegeven moment "belangrijk" (1) of "niet-belangrijk" (0) is.

• Modellen: Een breed scala aan modellen, waaronder taalmodellen (Llama-3, Qwen), vision-language modellen (Qwen-VL), audio-taal modellen en "omni"-modellen (Qwen-Omni).
• Modale Combinaties: Modellen worden getest op zeven verschillende combinaties van inputmodaliteiten: alleen Audio (A), alleen Taal (L), alleen Visueel (V), en combinaties daarvan (AL, AV, LV, ALV).
• Evaluatiemetrics: Naast nauwkeurigheid (accuracy) en F1-score, wordt primair gebruikgemaakt van de Matthews Correlation Coefficient (MCC) omdat deze robuuster is voor binaire classificatie en alle vier de kwadranten van de confusiematrix meeneemt.

3. Analyse van Modelgedrag

Naast externe prestaties analyseren de auteurs het interne gedrag van de modellen door de logit-differenties te bestuderen. Ze berekenen de bijdrage van elke modality aan het vertrouwen (confidence) van het model voor het correct classificeren van belangrijke versus niet-belangrijke momenten.

Belangrijkste Resultaten

1. Prestaties dicht bij Kansniveau:
   De huidige state-of-the-art multimodale modellen presteren slechts marginaal beter dan willekeur (chance level). De MCC-scores liggen vaak rond de 0,5 (wat overeenkomt met 50% nauwkeurigheid in een gebalanceerde dataset), wat aangeeft dat het onderscheid tussen belangrijke en niet-belangrijke momenten een zeer moeilijke taak is voor deze modellen.

2. Gebrek aan Synergie tussen Modaliteiten:
   Modellen die multimodale input ontvangen (bijv. video + tekst) presteren niet significant beter dan modellen die zich baseren op één enkele modality. In veel gevallen leidt het toevoegen van extra modaliteiten niet tot een verbetering, wat suggereert dat de bestaande architecturen niet effectief informatie uit verschillende bronnen integreren.

3. Dominantie van Enkele Modaliteiten:

   • Visuele Dominantie: Voor het correct identificeren van belangrijke momenten (zoals doelpunten) levert de visuele modality de sterkste signaal.
   • Taal-Dominantie: Voor het correct identificeren van niet-belangrijke momenten blijkt de linguïstische informatie (commentaar) de sterkste indicator te zijn. Dit bevestigt de hypothese dat commentaar essentieel is om context te begrijpen (bijv. waarom een hoekschop niet belangrijk is, ondanks dat het visueel spannend lijkt).

4. Contextuele Complexiteit:
   Voor prototypische momenten (doelpunten) werken modellen redelijk goed. Echter, voor contextuele momenten (zoals hoekschoppen of schoten op doel die geen doelpunt zijn), presteren modellen slecht. Multimodale input helpt hier slechts beperkt; vaak "instorten" de modellen naar het vertrouwen van één dominante modality in plaats van een synthese te maken.

Belangrijkste Bijdragen

• Nieuwe Dataset (MOMENTS): Een schaalbaar, automatisch gegenereerd dataset voor het evalueren van het vermogen van modellen om contextueel belangrijke momenten in multimodale tijdsreeksen te herkennen, zonder de kosten van uitgebreide menselijke annotatie.
• Analytisch Kader: Een methode om de bijdrage van individuele modaliteiten aan het modelvertrouwen te kwantificeren, waardoor inzicht wordt verkregen in hoe modellen beslissingen nemen (of falen).
• Empirisch Bewijs: Het aantonen dat huidige foundation modellen worstelen met de synthese van multimodale informatie voor complexe, contextafhankelijke taken, ondanks hun indrukwekkende generatieve capaciteiten.

Significantie en Conclusie

De studie concludeert dat er een groot gat bestaat tussen het vermogen van foundation modellen om vloeiende tekst te genereren en hun vermogen om de essentie van een visueel verhaal te begrijpen. De huidige architecturen, die vaak gebruikmaken van statische fusiestrategieën (projectors), blijken niet in staat om de heterogeniteit en de dynamische relaties tussen modaliteiten op sample-niveau effectief te hanteren.

De auteurs pleiten voor:

1. Modulaire Architecturen: Ontwerpen die samples dynamisch kunnen routeren naar modality-specifieke experts (bijv. via Mixture-of-Experts), in plaats van een vaste fusie.
2. Complementaire Training: Trainingsprocedures die specifiek gericht zijn op het maximaliseren van cross-modale synergie en het leren van wanneer welke modality dominant moet zijn.

Zonder substantiële verbeteringen in multimodale fusie en gebeurtenisbegrip, zijn deze modellen nog niet klaar voor betrouwbare toepassing in real-world scenario's zoals het automatisch samenvatten van lange video's of het genereren van live commentaar.