Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

Deze studie toont aan dat multimodale grote taalmodellen moeite hebben om vaardigheden over verschillende modaliteiten optimaal te combineren, waarbij zelfs geavanceerde strategieën zoals chain-of-thought prompting en specifieke fine-tuning slechts een beperkt deel van deze kloof kunnen dichten.

De kern

Titel: Waarom Multimodale AI's soms "twee linkse handen" hebben

Stel je voor dat je een zeer slimme robot hebt die twee speciale vaardigheden heeft:

1. De Oog: Hij kan perfect kijken naar plaatjes en dingen herkennen (zoals een kaart of een cijfer op een bordje).
2. De Brein: Hij kan perfect redeneren, rekenen en vragen beantwoorden in tekst.

Je zou denken: "Super! Als hij beide vaardigheden heeft, kan hij ze toch makkelijk combineren?"
Het antwoord van dit onderzoek is verrassend: Nee, niet echt.

De onderzoekers van de Universiteit van het Baskenland hebben ontdekt dat deze moderne AI-modellen (zoals LLaVA, Qwen en Molmo) vaak vastlopen als ze hun 'Oog' en hun 'Brein' tegelijk moeten gebruiken om een taak op te lossen. Het is alsof je een voetballer hebt die perfect kan schieten en perfect kan dribbelen, maar zodra hij moet dribbelen terwijl hij schiet, hij struikelt en de bal mist.

Hier is hoe het onderzoek in het kort werkt, vertaald naar alledaagse voorbeelden:

1. De Drie Proefjes (De "Test")

De onderzoekers gaven de AI drie simpele taken die voor een mens kinderachtig makkelijk zijn, maar waar de AI moeite mee had:

• De "Lees-en-Reken" Taak: Je laat de AI een foto zien van een wiskundetaak (bijv. "7 + 5 = ?") die als tekst op een bordje is geschreven.
  • Wat moet hij doen: Eerst de tekst van het bordje lezen (OCR) en daarna rekenen.
  • Het probleem: De AI leest het bordje vaak verkeerd af of vergeet de tekst direct na het lezen. Hij kan de twee stappen niet goed aan elkaar knopen.
• De "Tel-de-Oranje" Taak: Je laat een foto zien van een fruitmand met oranje vruchten.
  • Wat moet hij doen: Eerst de oranje vruchten herkennen (visueel) en daarna tellen (tekstueel).
  • Het probleem: De AI ziet de vruchten wel, maar als hij ze moet tellen, raakt hij de draad kwijt.
• De "Kaartspel" Taak: Je laat een foto zien van vier speelkaarten.
  • Wat moet hij doen: Eerst de kaarten herkennen (bijv. "een 9 van harten") en daarna rekenen (bijv. "tel alleen de rode kaarten op").
  • Het probleem: De AI ziet de kaarten, maar vergeten welke kleur ze hebben zodra hij moet gaan rekenen.

2. De Grote Ontdekking: De "Kloof"

De onderzoekers deden twee dingen:

1. Directe poging: Ze gaven de AI gewoon de foto en de vraag. "Hoeveel is dit?"
2. De "Trapsgewijze" poging: Ze dwongen de AI om eerst alleen de tekst te lezen, en daarna pas te rekenen. Alsof je zegt: "Schrijf eerst op wat er staat, en reken daarna pas uit."

Het resultaat?
Bijna elke AI deed het veel beter in de tweede situatie (de trapsgewijze). Dit betekent dat de AI de vaardigheden wel heeft, maar ze niet spontaan combineert. Er is een "kloof" tussen wat hij kan en wat hij doet. Het is alsof je een auto hebt met een geweldig motor en geweldig remmen, maar als je op het gaspedaal trapt, werkt de rem niet mee.

3. Kunnen we het fixen? (De "Reparatie")

De onderzoekers probeerden twee dingen om dit op te lossen:

• De "Gedachtenstroom" (Chain-of-Thought): Ze gaven de AI een speciaal instructie: "Denk eerst na over wat je ziet, schrijf het op, en reken daarna."
  • Resultaat: Dit hielp een beetje, maar het was niet perfect. Het was alsof je de AI een handreiking gaf, maar hij struikelde nog steeds over zijn eigen voeten. Bovendien is dit lastig te schalen; voor elke nieuwe taak moet je een nieuwe, specifieke instructie bedenken.
• Het "Oefenen" (Fine-tuning): Ze lieten de AI extra oefenen op precies deze soort taken.
  • Resultaat: Dit werkte goed, maar alleen voor de taken waar hij op geoefend had. Het was alsof je iemand laat oefenen voor een specifieke wedstrijd; hij wint die wedstrijd, maar als je hem een andere sport laat spelen, is hij weer in de war.

Conclusie: Wat betekent dit voor ons?

De boodschap is simpel: AI's zijn niet zo slim als ze lijken als het gaat om het samenvoegen van verschillende vaardigheden.

Ze hebben een "kennisbank" met losse stukjes (kijken, lezen, rekenen), maar ze hebben nog geen goed "verbindingsnetwerk" om die stukjes soepel samen te laten werken. Zelfs als de taak voor een mens heel logisch is (zoals kaarten tellen), blijft de AI haperen.

De metafoor van de toekomst:
Stel je voor dat je een chef-kok hebt die perfect kan snijden (visueel) en perfect kan kruiden (tekstueel). Maar als je hem vraagt om een gerecht te maken waarbij hij terwijl hij snijdt ook moet proeven en kruiden, maakt hij een rotzooi. Hij doet de ene taak, en vergeet de andere.

De onderzoekers concluderen dat we nog veel meer moeten leren over hoe we deze AI's kunnen trainen zodat ze niet alleen "vakken" hebben, maar ook weten hoe ze die vakken samen moeten gebruiken. Tot die tijd moeten we de AI misschien wat meer "sturen" in plaats van te verwachten dat hij alles zelf regelt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Multimodal LLMs Do Not Compose Skills Optimally Across Modalities" in het Nederlands.

Titel: Multimodal LLMs Compose Skills niet Optimaal over Modaliteiten

Auteurs: Paula Ontalvilla, Aitor Ormazabal, Gorka Azkune (HiTZ Center - Ixa, Universiteit van het Baskenland)

---

1. Het Probleem

Multimodale Large Language Models (MLLMs) zijn recentelijk aanzienlijk geavanceerder geworden in het oplossen van complexe taken. Deze modellen worden doorgaans getraind door een bestaande tekstuele LLM te fine-tunen met visuele capaciteiten. Hoewel deze modellen individuele vaardigheden (zoals tekstredenering of objectherkenning) beheersen, is het onduidelijk of ze deze vaardigheden combineren (composeren) om nieuwe, multimodale taken op te lossen.

De kernvraag van dit onderzoek is: Kunnen MLLMs vaardigheden succesvol combineren over verschillende modaliteiten (visueel en tekstueel)?
De auteurs vermoeden dat er een "kloof" bestaat tussen de prestaties van een model wanneer het een taak direct oplost versus wanneer het dezelfde taak oplost door de benodigde vaardigheden handmatig te scheiden en te combineren.

2. Methodologie

A. Definities

• Vaardigheid (Skill): Een capaciteit die een model heeft verworven tijdens training (bijv. OCR, objectdetectie, rekenvaardigheid).
• Taak: Een instructie die één of meer vaardigheden vereist.
• Vaardigheidscompositie: Het vermogen om eerder geleerde vaardigheden op een nieuwe manier te combineren die niet expliciet tijdens de training is gezien.

B. Evaluatieopzet

De auteurs ontwierpen drie specifieke taken die kunnen worden opgelost door het sequentieel combineren van één visuele en één tekstuele vaardigheid. Voor elke taak vergelijken ze twee inferentie-instellingen:

1. Directe Inferentie: Het model krijgt een afbeelding en een vraag en moet de taak direct oplossen (standaard gedrag).
2. Cascaded Inferentie (Kaskadering): De vaardigheidscompositie wordt handmatig geforceerd door twee opeenvolgende calls aan hetzelfde model te doen:
   • Stap 1: Het model voert de visuele vaardigheid uit (bijv. tekst extraheren uit een afbeelding).
   • Stap 2: Het resultaat van stap 1 wordt als input gebruikt voor de tekstuele vaardigheid (bijv. redeneren over de geëxtraheerde tekst).
   • Doel: Dit dient als een "bovengrens" om te meten hoeveel het model verliest door niet optimaal te compositen.

De Vaardigheidscompositiekloof wordt gedefinieerd als het prestatieverschil tussen de cascaded en directe inferentie.

C. De Drie Taken

1. Redeneren over gerenderde tekst:
   • Vaardigheden: OCR (visueel) + Tekstueel redeneren (wiskunde, algemene kennis).
   • Data: Bekende benchmarks (GSM8K, MATH, ARC, MMLU) die zijn omgezet naar afbeeldingen.
2. Objecttelling:
   • Vaardigheden: Objectdetectie (visueel) + Tellen van een string (tekstueel).
   • Data: CV-Bench en een nieuw dataset: COCO-Count (met annotaties voor objectdetectie).
3. Kaartspellen:
   • Vaardigheden: Afbeeldingsherkenning (visueel) + Numeriek redeneren (tekstueel).
   • Data: Twee spellen: kaarten sorteren en kaarten optellen op basis van complexe regels (kleur, suit, waarde).

D. Geëvalueerde Modellen

Een reeks open-source MLLMs met bekende trainingsrecepten, waaronder:

• LLaVA 1.6 (Vicuna, Mistral)
• Llama 3.2
• Molmo (7B en 72B)
• Qwen2.5-VL (7B en 72B)

3. Belangrijkste Resultaten

A. Existentie van de Kloof

De resultaten tonen aan dat alle geëvalueerde modellen een significante vaardigheidscompositiekloof vertonen, zelfs bij zeer simpele combinaties.

• Bij Task 1 (OCR + Redeneren) presteert de cascaded inferentie overal beter dan directe inferentie. De kloof varieert van 0,39 punten (Qwen2.5-VL-72B) tot 22,19 punten (LLaVA 1.6-Vicuna-13B).
• Bij Task 2 (Objecttelling) vertonen Qwen-modellen een duidelijke kloof, terwijl Molmo-modellen geen kloof tonen. Analyse toont echter aan dat Molmo's falen in de individuele vaardigheden (objectdetectie en tellen), waardoor de compositiekloof niet zichtbaar is (ze presteren slecht in beide stappen).
• Bij Task 3 (Kaartspellen) is de kloof ook aanwezig, zelfs bij modellen die goed presteren op andere taken.

B. Analyse van Fouten

• Bij OCR-taken blijkt dat OCR-fouten (visuele fouten) een groot deel van de prestatiedaling in directe inferentie verklaren.
• Modellen die specifiek zijn getraind op de combinatie van modaliteiten (zoals Molmo op wiskundige problemen in afbeeldingen) tonen kleinere kloven.

4. Mitigatiestrategieën

De auteurs testten twee strategieën om de kloof te verkleinen:

1. Chain-of-Thought (CoT) Prompting:

   • Het model krijgt een prompt die expliciet instructies geeft om eerst de visuele vaardigheid uit te voeren en daarna de tekstuele.
   • Resultaat: Dit verbetert de prestaties aanzienlijk ten opzichte van directe inferentie en verkleint de kloof. Echter, het bereikt zelden het niveau van de cascaded inferentie en is niet schaalbaar omdat het handmatig ontworpen prompts vereist per taak.

2. Fine-tuning op Cross-Modal Taken:

   • Het model (Llama 3.2 11B) werd gefine-tuned op datasets die visuele input en de juiste tekstuele redenering koppelten.
   • Resultaat: Fine-tuning verbetert de prestaties en toont generalisatie naar andere datasets binnen dezelfde taak. Echter, de kloof wordt alleen volledig gesloten wanneer training en evaluatie op exact dezelfde dataset plaatsvinden. Generalisatie naar volledig nieuwe taken blijft beperkt.

5. Bijdragen en Significantie

• Empirisch Bewijs: Dit paper biedt het eerste uitgebreide bewijs dat MLLMs, ondanks hun kracht, niet optimaal zijn in het combineren van visuele en tekstuele vaardigheden, zelfs in scenario's die voor mensen triviaal zijn.
• Methode: Het introduceert een robuuste evaluatiemethode (Direct vs. Cascaded vs. Oracle) om de compositiekloof kwantitatief te meten.
• Inzicht in Training: Het benadrukt dat de trainingsdata (recepten) cruciaal zijn; modellen die expliciet zijn getraind op gecombineerde taken (zoals Qwen2.5-VL op facturen) presteren beter in compositie.
• Toekomstige Richting: De bevindingen suggereren dat huidige trainingsparadigma's (late fusion) onvoldoende zijn voor naadloze vaardigheidscompositie. Er is meer onderzoek nodig naar de onderliggende oorzaken en nieuwe trainingsmethoden om deze kloof te dichten.

Conclusie

Multimodal Large Language Models vertonen een systematisch tekort in het optimaal combineren van hun visuele en tekstuele vaardigheden. Hoewel strategieën zoals CoT-prompting en fine-tuning de prestaties verbeteren, sluiten ze de kloof niet volledig. Dit wijst erop dat de interne mechanismen van MLLMs nog niet volledig zijn geoptimaliseerd voor multimodale vaardigheidscompositie, wat een belangrijke uitdaging blijft voor de toekomstige ontwikkeling van AI.