Caption First, VQA Second: Knowledge Density, Not Task Format, Drives Multimodal Scaling

Deze paper betoogt dat de schaalbaarheid van multimodale modellen wordt gedreven door de kennisdichtheid in de trainingsdata en niet door de taakformaat, aangezien visuele vraag-antwoordtaken weinig toegevoegde waarde bieden ten opzichte van rijkere beeldbeschrijvingen.

De kern

Stel je voor dat je een heel slimme robot wilt bouwen die niet alleen tekst kan lezen, maar ook plaatjes kan "begrijpen". Dit soort robots noemen we Multimodale Grote Taalmodellen (of MLLMs).

De wetenschappers van dit artikel hebben een groot mysterie opgelost: waarom worden deze robots soms niet slimmer, hoe meer plaatjes en vragen we ze ook geven?

Hier is de uitleg, vertaald naar alledaags Nederlands met een paar leuke vergelijkingen.

🎒 Het Grote Misverstand: De vorm van de tas, niet de inhoud

Stel je voor dat je een student wilt leren over de wereld.

• De oude manier (de huidige trend): Je geeft de student een boek vol met plaatjes en vraagt hem daarna honderden specifieke vragen over elk plaatje. "Wat is dit dier?", "Hoeveel benen heeft het?", "Is het aan het rennen?". Dit noemen ze VQA (Visual Question Answering).
• De nieuwe ontdekking: De onderzoekers zeggen: "Wacht even. Die vragen voegen eigenlijk niets nieuws toe!"

De Analogie van de Beschrijving:
Stel je voor dat je een foto van een hond op het gras ziet.

• Een caption (bijschrift) zegt: "Een Shiba Inu-hond rent over het groene gras."
• Een VQA-vraag zegt: "Welk dier rent op het gras?" Het antwoord is: "Een hond."

De onderzoekers ontdekten dat de robot de vraag en het antwoord al volledig kan afleiden uit de eerste zin. De vraag is gewoon een andere manier om te vragen wat er al in de zin staat. Het is alsof je een student een verhaal laat lezen en daarna vraagt: "Wat heb je net gelezen?" Het antwoord zit al in het verhaal. Het toevoegen van die vraag verandert niets aan de kennis die de student heeft opgedaan; het verandert alleen de vorm van de oefening.

🧠 De ware sleutel: De "Kennis-Dichtheid"

Als het toevoegen van meer vragen niet helpt, wat helpt dan wel? Het antwoord is: Kennis-dichtheid.

Stel je voor dat je een emmer water hebt (dat is je robot).

• Huidige aanpak: Je gooit steeds meer emmers met water erbij, maar het water is erg verdund. Het is veel water, maar er zit weinig "essentie" in. Je gooit dus veel vragen en simpele beschrijvingen bij elkaar.
• De nieuwe aanpak: Je gooit minder water, maar je gooit er geconcentreerde siroop in. Je maakt de inhoud van elke zin rijker.

In plaats van alleen te zeggen "Een hond rent", leer je de robot met kennisrijke beschrijvingen: "Een Shiba Inu, een ras dat bekend staat om zijn vacht, rent snel over het gras, terwijl de zon ondergaat en de schaduwen lang worden."

Hierdoor leert de robot niet alleen dat er een hond is, maar ook over rassen, snelheid, licht en tijd. Dit noemen de onderzoekers kennis-dichtheid.

🧪 Wat deden ze in het lab?

De onderzoekers deden twee belangrijke experimenten:

1. De VQA-verwijdering: Ze namen een robot en gaven hem alleen beschrijvingen (captions) en haalden alle vragen (VQA) weg.

   • Resultaat: De robot werd niet dommer. Hij kon nog steeds net zo goed vragen beantwoorden. Dit bewijst dat de vragen overbodig waren; de kennis zat al in de beschrijvingen.

2. De "Kennis-Injectie": Ze namen een robot en gaven hem beschrijvingen die extra diep gingen. Ze koppelden bijvoorbeeld twee plaatjes aan elkaar en lieten de robot uitleggen wat de verschillen waren (bijvoorbeeld: "Deze hond is klein en bruin, die andere is groot en zwart").

   • Resultaat: De robot werd beter. Hij kon moeilijke taken oplossen, niet alleen in het lab, maar ook in de echte wereld (zoals het lezen van documenten of het begrijpen van schermen).

🚀 De conclusie voor de toekomst

De boodschap van dit paper is heel simpel:

Stop met het uitvinden van steeds nieuwe, ingewikkelde vraagvormen om robots slimmer te maken. Dat is als proberen een auto sneller te maken door de richtingaanwijzers mooier te maken.

In plaats daarvan, focus op de inhoud. Zorg dat elke zin die de robot leest, vol zit met waardevolle informatie, verbanden en context.

• Kwaliteit boven kwantiteit van de vorm.
• Rijke kennis boven simpele vragen.

Als we onze robots leren met "dikke" kennis in plaats van "waterige" vragen, zullen ze veel sneller en slimmer worden. Het is niet de vraag die de robot slim maakt, maar het woord dat de kennis draagt.

Technische samenvatting

Probleemstelling

Multimodale grote taalmodellen (MLLM's) hebben snelle vooruitgang geboekt, maar hun schaalgedrag is minder voorspelbaar dan dat van tekst-only Large Language Models (LLM's). Waar tekstmodellen profiteren van schaalwetten die gekoppeld zijn aan de hoeveelheid tokens en modelgrootte, levert het vergroten van de modelgrootte en de diversiteit van taken bij multimodale modellen vaak afnemende meeropbrengsten op.

De huidige gemeenschappelijke aanname is dat sterkere taak-specifieke supervisie, met name Visual Question Answering (VQA), essentieel is voor het verbeteren van visueel redeneren. Dit leidt tot de veronderstelling dat het verhogen van de taakdiversiteit de sleutel is tot schaalvoordeel. De auteurs stellen echter dat dit een misvatting is: het beperkende factor is niet het formaat van de taak, maar de kennisdichtheid (knowledge density) in de trainingsdata. Veel VQA-datasets herformuleren alleen informatie die al in afbeeldingsbijschriften (captions) aanwezig is, zonder nieuwe semantische kennis toe te voegen.

Methodologie

De auteurs testen hun hypothese in twee fasen:

Fase 1: Het isoleren van het effect van taakformaat (VQA vs. Bijschriften)
Om te bepalen of VQA daadwerkelijk nieuwe kennis toevoegt, voeren ze gecontroleerde trainingsexperimenten uit met een model van ~3B parameters. Ze vergelijken drie configuraties met identieke architectuur, optimalisatie en token-budgetten:

1. Baseline: Een mix van bijschriften, VQA-supervisie, pure tekst en andere multimodale data.
2. Caption-only: Alle VQA-paren worden vervangen door gegenereerde bijschriften van dezelfde afbeeldingen.
3. Synthetic-VQA: VQA-paren worden synthetisch gereconstrueerd op basis van de bijschriften (zonder gebruik van de originele VQA-data).

Fase 2: Het verhogen van kennisdichtheid via Cross-Modal Knowledge Injection
Aangezien Fase 1 aantoont dat taakformaat weinig toevoegt, introduceren de auteurs een strategie om de semantische dekking te vergroten zonder het taakformaat te veranderen. Ze bouwen een data-construktiepijplijn die kennisdichtheid verhoogt door:

• Semantisch gepaarde afbeeldingen: Afbeeldingen worden gekoppeld op basis van gedeelde hoog-niveau categorieën maar met verschillen in fijnmazige attributen of context. Een LLM fungeert als kennisbron en filter om te zorgen dat de paren betekenisvolle relationele kennis bevatten.
• Interleaved beschrijvingen: Groepen van gerelateerde afbeeldingen worden samengevoegd in één coherent, langlopend tekstueel beschrijving.
• Pair-Caption-v2: Een configuratie waarbij de originele VQA-supervisie behouden blijft, maar de bijschriften worden vervangen door deze rijkere, gepaarde beschrijvingen.

Belangrijkste Bijdragen

1. Deconstructie van VQA: Het paper bewijst dat VQA-supervisie voornamelijk een interactieformaat is en weinig incrementele semantische informatie toevoegt bovenop standaard afbeeldingsbijschriften. VQA-paren kunnen met verwaarloosbaar verlies aan prestaties worden gereconstrueerd uit bijschriften.
2. Kennisdichtheid als drijvende kracht: De auteurs identificeren kennisdichtheid (de hoeveelheid en diversiteit van semantische informatie per trainingsvoorbeeld) als de primaire drijfveer voor schaalvoordeel in multimodale modellen, niet de diversiteit van de taakformaat.
3. Nieuwe Data-strategie: Ze presenteren een methode voor "kennisgerichte multimodale training" waarbij semantisch gepaarde data en cross-modale kennisinjectie leiden tot consistente prestatieverbeteringen.

Resultaten

De experimenten worden uitgevoerd op een breed scala aan benchmarks, waaronder academische multimodale benchmarks (MMMU, MMBench, MM-Vet), tekst-benchmarks (MMLU-Pro, GPQA) en interne zakelijke benchmarks (OCR, documentbegrip, schermbegrip).

• Fase 1 Resultaten:

  • Het verwijderen van VQA-supervisie (Caption-only) leidt tot geen significante daling in prestaties ten opzichte van de baseline.
  • Het gebruik van synthetisch gegenereerde VQA uit bijschriften levert vergelijkbare resultaten op.
  • Dit bevestigt dat bijschriften de meeste semantische informatie bevatten die nodig is voor VQA-achtig redeneren.

• Fase 2 Resultaten:

  • Het verhogen van de kennisdichtheid via Pair-Caption-v2 (gepaarde afbeeldingen + bijschriften) leidt tot consistente verbeteringen in alle categorieën.
  • Op multimodale benchmarks steeg het gemiddelde van 0.593 (baseline) naar 0.602.
  • Op tekst-benchmarks (zoals GPQA-Diamond) werd een aanzienlijke verbetering gezien (van 0.641 naar 0.710), wat aantoont dat kennisrijke multimodale supervisie het redeneervermogen in tekstpositief beïnvloedt.
  • Op zakelijke benchmarks (zoals OCR en schermbegrip) steeg de score van 0.397 naar 0.440, wat wijst op betere generalisatie in de echte wereld.
  • De analyse toont aan dat gepaarde captions gemiddeld 32 kennis-elementen per voorbeeld bevatten, tegenover 22 voor standaard supervisie (een toename van 45%).

Betekenis en Conclusie

Dit paper verschuift het paradigma voor het trainen van multimodale modellen:

• Van Taak-diversiteit naar Kennis-dichtheid: Het is niet nodig om steeds complexere taakformaatjes (zoals VQA) toe te voegen om modellen beter te maken. In plaats daarvan moet de focus liggen op het vergroten van de semantische dekking en kennisdichtheid in de trainingsdata.
• Schalingswetten voor Multimodaal: De schaalwetten voor multimodale modellen lijken meer te hangen van de kwaliteit en rijkdom van de kennis in de data dan van de pure token-aantallen of het aantal verschillende taken.
• Toekomstperspectief: De auteurs pleiten voor een "kennis-eerst" aanpak, waarbij semantisch dichte afbeelding-tekst corpora de basis vormen voor pre-training, en taak-specifieke formaten slechts secundair worden gebruikt voor alignment of downstream aanpassing.

Samenvattend: De beperking van huidige MLLM's ligt niet in het ontbreken van diverse taken, maar in het gebrek aan voldoende kennisdekking in de trainingsdata. Door de kennisdichtheid te verhogen, kunnen multimodale modellen schaalbaar en robuuster worden.