VisioMath: Benchmarking Figure-based Mathematical Reasoning in LMMs

Dit paper introduceert VisioMath, een benchmark van 1.800 wiskundeproblemen met visueel vergelijkbare diagrammen, om de beperkingen van Large Multimodal Models in fijnmazig redeneren te analyseren en strategieën voor verbeterde beeld-tekstuitlijning te presenteren.

De kern

🎨 VisioMath: De "Vind het Verschil"-test voor slimme computers

Stel je voor dat je een heel slimme robot hebt die zowel kan zien als lezen. Deze robot is getraind met miljoenen boeken en foto's. Je denkt: "Hij is onverslaanbaar!" Maar de onderzoekers van dit paper hebben een speciale test bedacht om te zien of deze robot echt begrijpt wat hij ziet, of dat hij gewoon raadt.

Deze test heet VisioMath.

🧩 Het Probleem: De "Vind het Verschil"-spelletjes

In de echte wereld, vooral op school, krijgen leerlingen vaak wiskundige vragen waarbij het antwoord een plaatje is. Denk aan een vraag over een grafiek of een 3D-vorm.

• De situatie: Je krijgt een vraag en vier plaatjes als antwoordopties (A, B, C, D).
• De twist: De vier plaatjes zien er bijna exact hetzelfde uit. Ze zijn als tweelingbroers die op het oog identiek zijn, maar één heeft een klein litteken of een knoopje op de verkeerde plek.

Mensen zijn hier goed in. We kijken goed, vergelijken de details en zien het kleine verschil. Maar de slimste computers van vandaag (de "Large Multimodal Models" of LMMs) hebben hier enorme moeite mee.

🔍 Wat hebben de onderzoekers ontdekt?

De onderzoekers hebben 1.800 van deze lastige vragen verzameld uit echte Chinese examens. Ze hebben de slimste robots ter wereld (zoals GPT-4, Gemini en Qwen) deze vragen laten oplossen.

De resultaten waren verrassend slecht:

1. Hoe meer op elkaar de plaatjes lijken, hoe slechter de robot doet.
   • Vergelijking: Stel je voor dat je een naald in een hooiberg moet zoeken. Als er maar één hooiberg is, vind je hem. Maar als er duizenden hooibergen zijn die er allemaal precies hetzelfde uitzien, raakt de robot in paniek.
2. De robots "kijken" niet echt, ze gissen.
   • De robots gebruiken vaak een trucje: ze kijken niet naar de details van het plaatje, maar naar de positie. Ze denken bijvoorbeeld: "Ah, antwoord A staat altijd linksboven, dus dat is wellicht goed."
   • De test: De onderzoekers hebben de volgorde van de plaatjes door elkaar gehaald. De robots werden hierdoor direct veel slimmer (of juist veel dommer), wat bewijst dat ze eigenlijk niet keken naar de inhoud, maar naar de volgorde.

🛠️ Waarom lukt het ze niet?

Het paper noemt dit "Image-Text Misalignment" (Afbeelding-tekst misalignering).

• Vergelijking: Stel je voor dat je een recept leest ("Doe de suiker in de kom") en je hebt een foto van een kom, een lepel en een zak suiker. Een goede robot zou moeten kunnen zeggen: "De foto van de suiker hoort bij het woord 'suiker' in de tekst."
• De huidige robots maken de fout dat ze denken dat de foto van de kom bij het woord 'suiker' hoort, alleen maar omdat ze dicht bij elkaar staan. Ze verbinden de tekst niet echt met het juiste plaatje.

💡 De Oplossing: Hoe maken we ze slimmer?

De onderzoekers hebben drie manieren getest om de robots te helpen:

1. De "Puzzelplaat"-methode: In plaats van vier losse plaatjes, plakken ze alle plaatjes aan elkaar tot één groot plaatje.
   • Effect: Dit helpt de robot om alles in één keer te zien, net als een puzzel die je op de tafel legt in plaats van losse stukjes in een doos. Het resultaat was beter, maar niet perfect.
2. De "Naamplaatjes"-methode: Ze plakken een klein labeltje (A, B, C of D) direct op het plaatje.
   • Effect: Dit helpt de robot om te weten welk plaatje bij welk woord hoort. Het is alsof je de robot een handje geeft en zegt: "Kijk, dit is A, dit is B."
3. De "Leerkracht"-methode (De beste oplossing): Ze hebben de robot een speciale training gegeven. Ze gaven de robot 500 voorbeelden waarbij de robot stap-voor-stap moest uitleggen: "Kijk, plaatje A heeft een rechte lijn, plaatje B heeft een kromme lijn, dus A is het antwoord."
   • Effect: Dit werkte het beste! De nauwkeurigheid steeg met meer dan 12%. De robot leerde echt na te denken in plaats van te gissen.

🚀 Wat betekent dit voor de toekomst?

Dit paper is belangrijk omdat het laat zien dat onze slimme AI's nog niet zo slim zijn als we denken als het gaat om precies kijken en vergelijken.

• Voor scholen: Als we AI willen gebruiken om kinderen te helpen met wiskunde, moeten we eerst zorgen dat de AI echt begrijpt wat er op een tekening staat, en niet alleen raadt.
• Voor de technologie: De onderzoekers hopen dat VisioMath een nieuwe standaard wordt. Net zoals we een rijbewijs nodig hebben om te mogen rijden, moeten AI-modellen deze "Vind het Verschil"-test halen voordat we ze echt kunnen vertrouwen op complexe taken.

Kortom: VisioMath is een strenge leraar die de slimste computers dwingt om echt goed te kijken, in plaats van te gissen. En tot nu toe moeten ze nog veel huiswerk maken! 📚🤖

Technische samenvatting

Probleemstelling

Grote Meerdere Modale Modellen (LMM's) hebben aanzienlijke vooruitgang geboekt in het integreren van visie en taal, maar hun vermogen tot fijngranige vergelijkende redenering over meerdere visueel vergelijkbare invoeren blijft onderbelicht. In real-world scenario's, met name in wiskundeonderwijs (K-12), moeten leerlingen vaak bijna identieke diagrammen onderscheiden om de juiste oplossing te vinden. Bestaande benchmarks voor meervoudige beeldinvoer missen vaak de cruciale component waarbij redenering moet worden gebaseerd op perceptueel zeer vergelijkbare visuele kenmerken. LMM's hebben moeite om subtiele symbolische of geometrische verschillen tussen opties te detecteren en vertonen vaak een tekortkoming in het correct koppelen van tekstuele beschrijvingen aan specifieke visuele elementen (beeld-tekst uitlijning).

Methodologie

1. VisioMath Benchmark
De auteurs introduceren VisioMath, een zorgvuldig samengestelde benchmark bestaande uit 1.800 hoogwaardige wiskundeproblemen uit het K-12-onderwijs (voornamelijk Chinese toelatingsexamens van 2002-2023).

• Kenmerken: Alle antwoordopties zijn diagrammen die visueel zeer op elkaar lijken. Ongeveer 50% van de vragen bevat ook een afbeelding in de vraagtekst (stam).
• Visuele Similariteit: De dataset quantificeert systematisch de visuele gelijkenis tussen opties met behulp van de Qwen multimodal-embedding-v1 model. De gelijkenis wordt gedefinieerd als de minimale paarwijze cosinus-similariteit tussen de ingesloten afbeeldingen van een vraag.
• Constructie: Het proces omvatte tekstextractie (naar LaTeX), beeldcroppen (één afbeelding per optie), handmatige validatie door experts en het elimineren van bias in de verdeling van de juiste antwoorden (A-D).

2. Evaluatie Setup
Een uitgebreide evaluatie werd uitgevoerd op een diverse reeks LMM's, waaronder:

• Closed-source: GPT-4.1, Gemini 2.5 Pro, Seed1.6-Thinking.
• Open-source: Qwen2.5-VL (verschillende maten), InternVL2.5, Gemma3, Vision-R1.
• Condities: Zero-shot evaluatie, met en zonder afbeeldingen in de vraagtekst, en gesegmenteerd op niveaus van visuele gelijkenis (kwartielen).

3. Analyse en Strategieën
De auteurs voerden een foutanalyse uit en ontwikkelden drie strategieën om de prestaties te verbeteren:

• Foutcategorisatie: Identificatie van fouten in vier categorieën: beeld-tekst uitlijning, visuele herkenning, redenering en kennis.
• Strategie 1 (Gecombineerde indeling): Het samenvoegen van alle afbeeldingen (vraag en opties) in één enkel samengesteld beeld om de aandacht van het model te concentreren.
• Strategie 2 (Expliciete ankers): Het toevoegen van tekstuele labels (A, B, C, D) direct op de afbeeldingen om de koppeling tussen tekst en visuele content te versterken.
• Strategie 3 (CoT Fine-tuning): Het creëren van een speciaal dataset met Chain-of-Thought (CoT) redeneringen die expliciet visuele observaties koppelen aan tekstuele inferenties, gevolgd door Supervised Fine-Tuning (SFT).

Belangrijkste Resultaten

• Prestatieverval bij hoge gelijkenis: Er is een consistente daling in nauwkeurigheid naarmate de visuele gelijkenis tussen de opties toeneemt. Bijvoorbeeld, de nauwkeurigheid van Doubao-1.5-Vision-Pro daalde van 74,9% bij de laagste gelijkenis naar 62,0% bij de hoogste gelijkenis (een daling van 12,9%).
• Beeld-tekst uitlijning als hoofdfout: De analyse toont aan dat beeld-tekst uitlijning (Image-Text Misalignment) verantwoordelijk is voor 36% van de fouten. Modellen vertrouwen vaak op oppervlakkige positionele heuristieken (bijv. "de eerste afbeelding is optie A") in plaats van semantische koppeling.
• Effect van shuffle-experimenten: Wanneer de volgorde van afbeeldingen en tekstopties werd verwisseld, daalde de nauwkeurigheid aanzienlijk (bijv. Gemini 2.5 Pro daalde met 8,7%), wat bevestigt dat modellen geen robuuste semantische koppelingen maken.
• Menselijke vs. Modelprestaties: Mensen vertonen een gematigde daling bij hogere gelijkenis, maar blijven nauwkeurig. Modellen falen vaak op perceptueel triviale onderscheidingen die mensen makkelijk maken.
• Effectiviteit van strategieën:
  • Strategie 1 (samenvoegen) en Strategie 2 (expliciete ankers) leverden significante verbeteringen op.
  • Strategie 3 (CoT Fine-tuning) was het meest effectief: met slechts 500 hoogwaardige CoT-voorbeelden steeg de nauwkeurigheid van Qwen2.5-VL-3B met 12,6% (van 25,4% naar 38,0%), wat de kritieke rol van expliciete visueel-tekstuele uitlijning onderstreept.

Bijdragen

1. VisioMath Benchmark: De eerste benchmark die specifiek is ontworpen voor wiskundig redeneren waarbij de antwoordopties uit meerdere, visueel zeer vergelijkbare diagrammen bestaan. Dit vult een gat in de bestaande evaluatieframeworks.
2. Uitgebreide Evaluatie: Een systematische analyse van state-of-the-art LMM's die aantoont dat zelfs de beste modellen worstelen met fijnmazig vergelijkend redeneren, en dat dit een fundamentele beperking is in hun huidige architectuur.
3. Analytische Strategieën: Het identificeren van beeld-tekst uitlijning als de primaire failure mode en het demonstreren dat gerichte data-augmentatie en CoT-finetuning deze beperkingen aanzienlijk kunnen verhelpen.

Significantie

VisioMath biedt een rigoureuze testomgeving om de ontwikkeling van LMM's te sturen richting dieper diagrambegrip en precieze vergelijkende redenering. De bevindingen benadrukken dat huidige modellen, ondanks hun sterke prestaties in enkelvoudige beeldtaken, tekortschieten in complexe scenario's die multi-image-text uitlijning vereisen. De succesvolle toepassing van CoT-finetuning suggereert dat relatief lichte interventies, gericht op het versterken van de koppeling tussen visuele waarneming en tekstuele redenering, essentieel zijn voor de volgende generatie multimodale modellen, met name voor toepassingen in educatie en STEM-domeinen. De dataset en code zijn openbaar beschikbaar gesteld om verdere onderzoek te faciliteren.