MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks

Deze paper introduceert MCIF, het eerste menselijk geannoteerde meermodale en meertalige benchmark voor instructie-opvolging gebaseerd op wetenschappelijke lezingen, dat de prestaties van grote meertalige modellen evalueert over verschillende talen, modaliteiten en taakcomplexiteiten.

De kern

Stel je voor dat je een enorme, slimme robot hebt die niet alleen tekst kan lezen, maar ook naar geluid luistert en naar video's kijkt. Deze robot is een "Multimodale Large Language Model" (MLLM). Hij zou in theorie alles moeten kunnen: een speech transcriberen, een video samenvatten, een vraag beantwoorden over wat hij zag, en dat allemaal in verschillende talen.

Maar hoe weten we of deze robot echt slim is, of dat hij alleen maar goed doet op de dingen waar hij voor getraind is?

Dit is waar het onderzoek MCIF (Multimodal Crosslingual Instruction-Following) om de hoek komt kijken. De auteurs hebben een nieuwe "proef" bedacht om deze robots op de hak te nemen. Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Koffieautomat" vs. De "Chef-kok"

Tot nu toe waren de tests voor deze slimme robots vaak als een koffieautomat die alleen koffie zet.

• Te makkelijk: De tests waren vaak alleen in het Engels (alsof je alleen koffie kunt bestellen, maar geen thee of sap).
• Te kort: Ze keken alleen naar korte clips (alsof je de robot vraagt om een kort verhaal te vertellen, maar niet of hij een heel boek kan samenvatten).
• Te éénzijdig: Ze keken vaak alleen naar tekst of alleen naar beeld, maar niet naar hoe ze die dingen samen gebruiken.

Het is alsof je een chef-kok test door hem alleen te laten koken met een broodrooster. Hij doet het goed, maar weet je niet of hij ook een complex diner kan maken als je hem vraagt om vis te bakken terwijl je hem in het Frans instructies geeft.

2. De Oplossing: MCIF, de "Ultieme Keukentest"

De auteurs van dit paper hebben MCIF gemaakt. Dit is een gigantische testset gebaseerd op wetenschappelijke lezingen (zoals TED-talks, maar dan voor experts).

Stel je voor dat je de robot in een kamer zet met:

• Een video van een wetenschapper die praat (met dia's).
• Het geluid van die spreker.
• De tekst van wat er gezegd wordt.
• Vragen in vier verschillende talen: Engels, Duits, Italiaans en Chinees.

De robot moet nu taken uitvoeren zoals:

1. Transcriberen: "Schrijf op wat deze Duitse spreker zegt."
2. Vertalen: "Vertaal dit Italiaanse gesprek naar het Chinees."
3. Vragen beantwoorden: "Wat was de belangrijkste conclusie in dit videofragment?"
4. Samenvatten: "Geef een korte samenvatting van dit uur durende gesprek."

Het unieke aan deze test is dat alles parallel is. Hetzelfde gesprek wordt getest in alle talen en met alle media (video, audio, tekst). Dit is als een "cross-trainer" voor de robot: hij moet zijn hersenen (en oren en ogen) tegelijkertijd gebruiken.

3. Wat hebben ze ontdekt? (De Resultaten)

De auteurs hebben 23 verschillende robots (modellen) op deze test gezet. Het resultaat? De robots zijn nog niet klaar voor de echte wereld.

Hier zijn de belangrijkste bevindingen, vertaald naar alledaagse situaties:

• Het "Lange Boek" Probleem:
  Veel robots doen het prima met korte zinnen, maar als je ze een heel uur durende video geeft, raken ze de draad kwijt.

  • Analogie: Het is alsof je een student vraagt om een kort verhaal te samenvatten. Dat kan hij. Maar als je hem vraagt om een heel jaarverslag van 100 pagina's te lezen en de kernpunten te noemen, begint hij te hallucineren of vergeet hij de helft. De robots "vergeten" vaak het begin van de video voordat ze bij het einde zijn.

• De "Oren en Ogen" Verwarring:
  De robots hebben moeite om geluid en beeld samen te gebruiken. Soms kijken ze alleen naar de tekst op het scherm en negeren ze wat er gezegd wordt, of andersom.

  • Analogie: Stel je voor dat je iemand vraagt om een film te beschrijven, maar die persoon kijkt alleen naar de ondertiteling en negeert de acteurs. Of hij luistert alleen naar de muziek en ziet de actie niet. De robots vinden het lastig om die twee wereldjes te laten samensmelten.

• De "Samenvatting" Valstrik:
  Samenvatten was de allerlastigste taak. Veel robots gaven gewoon de volledige tekst terug, of ze schreven iets in het verkeerde taal (bijvoorbeeld Engels, terwijl je om een Duitse samenvatting vroeg).

  • Analogie: Je vraagt iemand om een recept in 3 regels te samenvatten, en hij geeft je het volledige kookboek terug, of hij begint in het Frans te kletsen terwijl je Nederlands sprak.

• De "Vraagbaak" is nog niet slim:
  Als je een heel specifieke vraag stelde over een detail in de video (bijvoorbeeld: "Welke kleur had de achtergrond in minuut 12?"), faalden veel robots, zelfs als ze de tekst hadden.

  • Analogie: Je vraagt een gids: "Hoe heet de man die links in de foto staat?" en hij antwoordt: "Ik weet het niet, maar hier is een mooi gedicht over de lucht."

4. Waarom is dit belangrijk?

Dit paper is als een diagnose voor de toekomstige AI. Het laat zien dat we nog een lange weg te gaan hebben voordat we een robot hebben die echt meedoet in een multiculturele, meertalige wereld.

De auteurs zeggen eigenlijk: "We hebben een nieuwe, eerlijke test gemaakt. De robots doen het goed op simpele dingen, maar ze breken als het echt complex wordt (lange video's, verschillende talen, en het combineren van beeld en geluid)."

Conclusie:
MCIF is de nieuwe "rijbewijstest" voor slimme robots. Het laat zien dat ze nog niet rijvaardig genoeg zijn voor de drukke, meertalige snelweg van de echte wereld, maar dat we nu precies weten waar we aan moeten werken: betere geheugens voor lange video's en slimme manieren om geluid en beeld samen te laten werken.

De test is openbaar gemaakt, zodat iedereen (onderzoekers en ontwikkelaars) kan proberen de robots beter te maken. Het is een uitnodiging om de volgende generatie robots te bouwen die niet alleen tekst kunnen lezen, maar ook echt begrijpen wat er gebeurt in onze wereld.

Technische samenvatting

Probleemstelling

Recente vooruitgang in Large Language Models (LLMs) heeft geleid tot Multimodale Large Language Models (MLLMs) die tekst, spraak en visuele informatie kunnen verwerken. Hoewel deze modellen zich ontwikkelen tot universele instructievolgers, ontbreekt het aan robuuste benchmarks om hun prestaties te evalueren in complexe, realistische scenario's. Bestaande benchmarks hebben de volgende beperkingen:

1. Taalbeperking: De meeste zijn beperkt tot het Engels.
2. Modale beperking: Ze focussen vaak op slechts één modale combinatie (bijv. alleen tekst-beeld of tekst-spraak) in plaats van geïntegreerde multimodale taken.
3. Korte context: Ze gebruiken voornamelijk korte inputs, waardoor de capaciteit van modellen om lange afhankelijkheden te hanteren (zoals volledige lezingen) niet wordt getest.
4. Kwaliteit van data: Veel benchmarks zijn synthetisch gegenereerd of gebaseerd op bestaande datasets, wat leidt tot data-contaminatie en gebrek aan menselijke validatie.

Er is dus een dringend behoefte aan een benchmark die crosslinguaal (talen kruisbestuiving), multimodaal (spraak, video, tekst), langdurig (long-form) en menselijk geannoteerd is.

Methodologie: MCIF Benchmark

De auteurs introduceren MCIF (Multimodal Crosslingual Instruction-Following), het eerste menselijk geannoteerde benchmark gebaseerd op wetenschappelijke lezingen (NLP en gerelateerde domeinen).

Dataverzameling en Structuur:

• Bron: Video's van presentaties van de ACL 2023 conferentie.
• Modaliteiten: Tekst (transcripties), Spraak (audio) en Video (met dia's).
• Talen: Vier typologisch diverse talen: Engels (bron), Duits, Italiaans en Chinees.
• Contextlengte: Zowel korte segmenten (~16 seconden) als lange formele contexten (tot ~10 uur aan content in totaal, met individuele lezingen van gemiddeld 5-9 minuten).
• Aantal samples: 21 unieke lezingen voor de hoofdset, uitgebreid met 79 extra abstracts voor samenvattingstaken, totaal 100 samples.

Taken en Macro-taken:
MCIF omvat 13 specifieke taken, gegroepeerd in 4 macro-taken:

1. Herkenning (Recognition): Automatische spraakherkenning (ASR) en Audio-Video herkenning.
2. Vertaling (Translation): Machine vertaling, gesproken vertaling en audio-video vertaling.
3. Vraagbeantwoording (Question Answering): Tekst-, spraak-, video- en audio-video vraagbeantwoording. De vragen zijn onderverdeeld in:
   • Algemeen: Toepasbaar op elke lezing.
   • Transcriptie-gebaseerd: Vereist kennis uit de volledige lezing.
   • Abstract-gebaseerd: Vereist kennis uit alleen het abstract.
   • Onbeantwoordbaar: Cases waar het antwoord niet in de modale input staat.
4. Samenvatting (Summarization): Het genereren van samenvattingen uit tekst, spraak of video.

Design Kenmerken:

• Parallel Design: Elk voorbeeld bevat input in alle drie modaliteiten en prompts/antwoorden in alle vier talen, wat systematische ablatiestudies mogelijk maakt.
• Prompt Variatie: Er zijn twee varianten van de benchmark:
  • MCIFfix: Gebruikt een vaste prompt per taak.
  • MCIFmix: Gebruikt een willekeurige prompt uit een pool van 10 variaties per taak, om robuustheid tegen promptherformulering te testen.
• Menselijke Annotatie: Professionele taalkundigen en experts in NLP hebben transcripties, vertalingen en QA-paren gemaakt en gevalideerd.

Belangrijkste Bijdragen

1. Eerste Crosslinguale Multimodale Benchmark: MCIF is het eerste dataset dat crosslinguale instructievolging test over spraak, video en tekst in een langdurige context.
2. Hoge Kwaliteit Data: In tegenstelling tot synthetische benchmarks, is MCIF volledig menselijk geannoteerd en gevalideerd door experts, wat de betrouwbaarheid van de evaluatie verhoogt.
3. Uitgebreide Evaluatie: Het omvat 23 state-of-the-art modellen (7 LLMs, 5 SpeechLLMs, 5 VideoLLMs, 6 MLLMs) en analyseert hun prestaties over 13 taken in 4 talen.
4. Open Science: De dataset, code en modeloutputs zijn openbaar beschikbaar onder een CC-BY 4.0 licentie.

Resultaten en Analyse

De auteurs hebben 23 modellen geëvalueerd. De belangrijkste bevindingen zijn:

• Algemene Prestaties:

  • Samenvatting (Summarization): Dit is de meest uitdagende taak. Veel modellen presteren slechter dan willekeurige output (negatieve BERTScores), vooral bij multimodale input. Modellen neigen ertoe de instructie te negeren of in de verkeerde taal te antwoorden.
  • Vraagbeantwoording (QA): Dit is de sterkste taak voor multimodale modellen. Modellen profiteren van extra modaliteiten (spraak/video) voor specifieke vragen, maar LLMs op basis van alleen transcripties presteren vaak nog steeds beter dan MLLMs bij audio-visuele vragen.
  • Vertaling: Taalmodellen (LLMs) domineren tekstvertaling. Bij spraak- en videovertaling presteren sommige gespecialiseerde modellen goed op korte context, maar falen ze vaak bij lange context door onder-vertaling (delen van de context overslaan).
  • Herkenning (ASR): Prestaties zijn over het algemeen goed, maar sommige modellen vertonen extreme gevoeligheid voor promptvariatie of falen volledig bij korte contexten door verwarring met beeldbeschrijving.

• Invloed van Contextlengte:

  • Modellen presteren over het algemeen slechter op lange contexten vergeleken met korte. Dit is vooral zichtbaar bij SpeechLLMs en VideoLLMs.
  • Een uitzondering is Gemini 2.5 Flash, dat significant verbetert op lange contexten.
  • Veel modellen genereren onvolledige output bij lange inputs (under-generation).

• Multimodale Integratie:

  • Het combineren van spraak en video levert vaak geen voordeel op en kan zelfs de prestaties verslechteren ten opzichte van het gebruik van alleen spraak of alleen tekst. Dit suggereert dat huidige MLLMs moeite hebben om deze modaliteiten effectief te fuseren.
  • Video als enige modale input presteert vaak het slechtst en wordt onderbenut door de modellen.

• Robuustheid:

  • Modellen tonen beperkte robuustheid tegen promptherformulering (verschil tussen MCIFfix en MCIFmix), vooral bij herkenningstaken waar kleine variaties in de prompt leiden tot grote verschillen in outputkwaliteit (bijv. WER-schommelingen van >60 punten).

Betekenis en Conclusie

MCIF bloot de aanzienlijke kloof bloot tussen de huidige staat van de kunst en de ideale, robuuste multimodale crosslinguale instructievolger. De studie toont aan dat:

1. Multimodale integratie nog een grote uitdaging is; het toevoegen van video of spraak helpt niet automatisch en vereist betere fusiemethoden.
2. Lange contextverwerking een kritieke zwakke plek is voor de meeste modellen, vooral bij samenvattingen.
3. Crosslinguale vaardigheden in multimodale settings nog sterk verbeterd moeten worden.

De benchmark biedt een fundamenteel kader voor toekomstig onderzoek om modellen robuuster te maken tegen variaties in instructies, beter te laten omgaan met lange afhankelijkheden en effectiever multimodale informatie te integreren. De resultaten wijzen op de noodzaak van geavanceerdere trainingstechnieken zoals chain-of-thought reasoning, contrastive training en betere contextcompressie.