Technische Samenvatting: Wat MLLM's Leren over Multimodaal Redeneren

Probleemstelling

De huidige evaluatie van Multimodale Grootte Taalmodellen (MLLM's) reduceert prestaties doorgaans tot één geaggregeerde nauwkeurigheidscore. Deze aanpak behandelt redenering impliciet als een eenheid, waardoor de onderscheiden bronnen van fouten worden verduisterd: perceptie (het extraheren van informatie uit visuele invoer), redenering (het verwerken van geëxtraheerde informatie) en multimodale specifieke interacties (coördinatie tussen modaliteiten). Bestaande benchmarks ontleden deze componenten zelden met strikte controles, en vertrouwen vaak op variërende invoermodaliteiten zonder specifieke vaardigheden te isoleren. Bijgevolg blijft het onduidelijk hoe verschillende trainingsstrategieën (bijvoorbeeld Supervised Fine-Tuning versus Reinforcement Learning) invloed hebben op specifieke multimodale redeneercapaciteiten.

Methodologie: MATHLENS

Om dit aan te pakken, introduceren de auteurs MATHLENS, een gecontroleerde benchmark van geometrische problemen in de stijl van schoolboeken, ontworpen om prestaties operationeel te ontleden.

• Dataconstructie: MATHLENS is gebaseerd op de symbolische semantische staat van FormalGeo-7K. Elke probleeminstantie $k$ wordt gedefinieerd door een latente semantische staat $S_k$ (een verzameling atomaire feiten, bijvoorbeeld collineariteit, hoekmaten) en een query-operator $\phi_k$.
• Gecontroleerde Varianties: Vanuit $S_k$ genereert de benchmark vier uitgelijnde annotaties:
  1. Visuele Diagrammen ($C^{img}_k$): Gerenderd vanuit geometrische beperkingen om perceptie te testen.
  2. Tekstuele Beschrijvingen ($C^{txt}_k$): Definitief equivalente tekstcodering van $S_k$, waardoor redeneerevaluatie mogelijk is met een trivialiserende perceptie.
  3. Multimodale Vragen ($Q_k$): Vereisen beide modaliteiten om op te lossen.
  4. Perceptieprobes ($Q^{perc}_k$): Gedetailleerde vragen die specifieke atomaire feiten in $S_k$ targeten (bijvoorbeeld "Welke punten zijn collineair?").
• Robuustheidstesten: De benchmark bevat semantische diagrammodificaties (bijvoorbeeld hernoemen, roteren, toevoegen van hulpvormen) die het grondwaarheid-antwoord behouden maar de visuele vorm veranderen, waarmee semantische invariantie wordt getest die verder gaat dan pixelniveau-augmentatie.
• Foutontleding: Modeluitvoer wordt gecategoriseerd in:
  • Perceptiefouten: Falen op perceptieprobes.
  • Redeneringsfouten: Succes op probes maar falen op tekst-only redenering.
  • Multimodaal-specifieke (Integratie)fouten: Succes op zowel geïsoleerde perceptie- als redeningstaken, maar falen op de gecombineerde multimodale taak.
  • Residuen: Een categorie die fouten vastlegt die niet worden verklaard door de gemeten perceptie- en redeneringscomponenten.

De studie evalueert 13 checkpoints over 7 model families (7–9B en 72B parameters), inclusief varianten getraind met Direct RL, Multimodaal SFT, Tekstueel SFT, en combinaties daarvan.

Belangrijkste Bevindingen

De ontleding onthult dat trainingsstrategieën systematisch verschillende capaciteitsprofielen induceren die onzichtbaar zijn onder geaggregeerde nauwkeurigheid:

1. Differentiële Impact van Trainingsstrategieën:

   • Reinforcement Learning (RL): Verbeterd primair perceptie en robuustheid tegen diagramvariatie. Wanneer gekoppeld aan sterke tekstuele SFT, levert RL aanzienlijke winsten op in perceptie. Echter, RL alleen biedt slechts bescheiden verbeteringen in beide modaliteiten.
   • Tekstueel SFT: Ondanks het ontbreken van visuele invoer tijdens training, versterkt tekstueel SFT indirect perceptie. Dit wordt toegeschreven aan reflectief redeneren, waarbij verbeterde cognitieve strategieën (bijvoorbeeld zelfcorrectie) modellen in staat stellen initiële perceptuele oordelen te herzien en te corrigeren.
   • Winsten in Redenering: Verbeteringen in redenering volgen grotendeels perceptieve verbeteringen onder RL en vertonen geen afzonderlijke extra winsten boven deze gekoppelde verbeteringen.

2. De Opkomst van Multimodaal-specifieke Residuen:
   Naarmate perceptie- en redeneercapaciteiten verbeteren, valt een groeiend deel van de resterende fouten buiten deze gemeten componenten. Deze fouten worden gecategoriseerd als multimodaal-specifieke residuen (of integratiefouten). Dit suggereert dat schijnbare vooruitgang in multimodaal redeneren vaak een verschuiving in de balans tussen componenten weerspiegelt, in plaats van een uniforme vooruitgang.

3. Divergentie in Robuustheid:

   • RL verhoogt consistentie onder structurele diagramvariaties.
   • Multimodaal SFT vermindert robuustheid, wat leidt tot overfitting op specifieke visuele stijlen en een scherpe daling in prestaties op gemodificeerde diagrammen.

4. Vaardigheidsspecifieke Winsten:
   Winsten in perceptie zijn ongelijkmatig. Training verbetert voorkeursgewijs vaardigheden die worden gedreven door directe geometrische aanwijzingen (bijvoorbeeld collineariteit, evenwijdige lijnen). Taken die vertrouwen op symbolische markeringen of visuele associaties op lange afstand (bijvoorbeeld specifieke hoekwaarden, driehoekdetectie) tonen beperkte winsten, tenzij gecombineerd met tekstuele supervisie.

Betekenis en Claims

Het artikel claimt dat MATHLENS een noodzakelijk kader biedt voor multi-axiale evaluatie van multimodaal redeneren. Door voorbij te gaan aan scalair nauwkeurigheidsgetal, tonen de auteurs aan dat:

• Schijnbare vooruitgang in MLLM's vaak een verschuiving is in de balans tussen perceptie, redenering en integratie, in plaats van een uniforme capaciteitsboost.
• Verschillende trainingsdoelen (SFT versus RL) deze componenten op onderscheiden manieren vormgeven, waarbij RL cruciaal is voor perceptieve gronding en robuustheid, en tekstueel SFT perceptie helpt via reflectief redeneren.
• De persistentie van multimodaal-specifieke residuen aangeeft dat huidige trainingsparadigma's worstelen met cross-modale coördinatie, zelfs wanneer individuele componenten verbeteren.

De auteurs concluderen dat toekomstig werk cross-modale coördinatie en perceptieve capaciteit direct moet aanpakken, gemotiveerd door de bevinding dat standaard geaggregeerde metrieken deze kritieke beperkingen verduisteren. Het artikel claimt niet deze problemen op te lossen, maar biedt de diagnostische hulpmiddelen om ze te identificeren.