🤖 AI

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

Het artikel introduceert SeePhys Pro, een benchmark die aantoont dat huidige multimodale modellen moeite hebben met modale overdracht van tekst naar afbeeldingen, en laat zien dat schijnbare winst door multimodale RLVR-training vaak voortkomt uit residuële tekstuele aanwijzingen in plaats van echt visueel redeneren.

Oorspronkelijke auteurs: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhe

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert een natuurkundig probleem op te lossen. Je hebt twee manieren om hen de informatie te geven:

De methode van het leerboek: Je schrijft het probleem in woorden uit, beschrijft de opstelling, de getallen en de regels.
De methode van het diagram: Je tekent een afbeelding van de opstelling, labelt de onderdelen en schrijft de getallen direct op de tekening.

Intuïtief zou je verwachten dat een slimme student het probleem even goed oplost, of je hen nu de woorden of de afbeelding geeft, zolang de informatie maar hetzelfde is. Maar dit paper, SEEPHYS PRO, ontdekte dat dit voor huidige AI-modellen niet waar is. Sterker nog, ze presteren aanzienlijk slechter wanneer je overschakelt van woorden naar afbeeldingen.

Hieronder volgt een uiteenzetting van wat de onderzoekers vonden, met behulp van eenvoudige analogieën.

1. De test "Hetzelfde verhaal, ander formaat"

De onderzoekers creëerden een speciale test genaamd SEEPHYS PRO. Denk hierbij aan een "vertaalslag-uitdaging" voor AI.

Voor elk natuurkundig probleem maakten ze vier versies die exact hetzelfde verhaal vertellen, maar de manier waarop de informatie wordt gepresenteerd, veranderen:

Niveau 1 (Alleen tekst): "Een blok weegt 5 kg en staat op een helling." (Alle informatie staat in woorden).
Niveau 2 (Structuur in afbeelding): Ze tekenen de helling en het blok, maar de tekst zegt nog steeds "5 kg". (De vorm is een afbeelding, de getallen zijn woorden).
Niveau 3 (Variabelen in afbeelding): Ze tekenen de helling en het blok, en schrijven "5 kg" direct op het blok in de afbeelding. (De vorm en de getallen staan nu in de afbeelding).
Niveau 4 (Volledige afbeelding): Het hele probleem, inclusief instructies en getallen, is met de hand geschreven op een vel papier en gescand als één afbeelding.

De ontdekking:
Toen de AI-modellen deze tests uitvoerden, zakte hun prestatie als een steen naarmate de informatie van tekst naar afbeeldingen verschuifde.

De bottleneck "Lezen van het label": De grootste daling in prestatie vond plaats op Niveau 3. Dit is het moment waarop de AI naar de afbeelding moest kijken en de variabelen moest "verankeren" (bijvoorbeeld: "Oké, die kronkelige lijn is een draad, en het getal '12' ernaast betekent 12 Volt").
De analogie: Stel je een chef-kok voor die een geschreven recept perfect kan volgen (Niveau 1). Als je hen een foto van de ingrediënten met labels geeft (Niveau 3), vergeten ze plotseling hoe ze moeten koken. Ze kunnen de afbeelding zien, maar ze kunnen het label "2 koppen bloem" niet verbinden met de daadwerkelijke zak bloem op de foto. Ze raken in de war door de visuele binding.

2. Het experiment "Training met blinddoek"

Vervolgens stelden de onderzoekers een tweede vraag: Als we deze AI's trainen met Reinforcement Learning (RL) op duizenden natuurkundige problemen met afbeeldingen, worden ze dan beter in het lezen van de afbeeldingen?

Om dit te testen, zetten ze een "Blind Training"-experiment op.

Normale training: De AI ziet de probleemtekst en de afbeelding.
Blind training: De AI ziet de probleemtekst, maar de afbeelding is volledig zwart gemaakt (gemaskerd). Het is alsof je een student traint om natuurkundige problemen op te lossen terwijl ze een blinddoek dragen, maar de leraar blijft hen dezelfde "juiste antwoord"-beloningen geven.

Het schokkende resultaat:
Hoewel de AI was getraind met geen enkele afbeelding (alleen zwarte schermen), werd ze toch beter in het oplossen van de niet-gemaskerde tests waarbij afbeeldingen aanwezig waren.

De analogie: Stel je een student voor die traint voor een rijexamen terwijl ze in een auto zitten met zwart geschilderde ramen. Ze zien de weg nooit. Toch rijden ze beter wanneer ze eindelijk het echte examen doen met open ramen.
Waarom? De onderzoekers ontdekten dat de AI niet leerde om de weg te "zien". In plaats daarvan leerde ze kortsluitingen. Ze onthield patronen in de tekst, de stijl van de vragen of de typische antwoorden. Ze leerde het juiste antwoord raden op basis van de "sfeer" van de tekst, niet door het visuele diagram daadwerkelijk te analyseren.

3. De "magische truc" van nauwkeurigheid

Het paper concludeert dat wanneer we zien dat de score van een AI omhoog gaat, we niet zomaar moeten juichen. We moeten vragen: Hebben ze echt geleerd om te zien, of zijn ze gewoon beter geworden in het raden op basis van tekstclues?

De "Blind Gain": De AI verbeterde haar score zelfs wanneer de trainingsafbeeldingen nutteloos waren (zwart). Dit bewijst dat de verbetering voortkwam uit de tekst en de patronen van de dataset, en niet uit visueel begrip.
De kloof blijft bestaan: Zelfs na training had de AI nog steeds meer moeite met de versies vol met afbeeldingen (Niveau 3 en 4) dan met de tekst-only versies. De "modale kloof" (het verschil tussen tekstprestatie en afbeeldingsprestatie) sloot niet.

Samenvatting

Het probleem: Huidige AI-modellen zijn "tekst-zwaar". Ze zijn geweldig in het lezen van natuurkundige problemen, maar verschrikkelijk in het "zien" ervan, vooral wanneer ze getallen en labels direct van een diagram moeten aflezen.
De valstrik: Standaard trainingsmethoden (Reinforcement Learning) kunnen de AI slimmer laten lijken door haar tekstgebaseerde gissingvaardigheden te verbeteren, zelfs als ze nooit echt leert om visuele bewijzen te interpreteren.
De les: Om AI echt te laten "zien", kunnen we niet alleen meten of het het juiste antwoord krijgt. We moeten testen of het het juiste antwoord krijgt specifiek omdat het naar de afbeelding keek, en niet alleen omdat het het tekstpatroon herkende.

Het paper zegt in essentie: Laat je niet misleiden door hoge scores. Als een AI een probleem kan oplossen zonder naar de afbeelding te kijken, heeft het niet echt geleerd om te zien.

Technische Samenvatting: SEEPHYS PRO

Probleemstelling

Multimodale AI-systemen staan voor een kritieke uitdaging op het gebied van modale consistentie: het vermogen om identieke redeneergedragingen te behouden wanneer equivalente informatie in verschillende vormen wordt gepresenteerd (bijvoorbeeld tekst versus diagrammen). Huidige benchmarks evalueren modellen vaak op een enkel invoerformaat, waardoor wordt verdoezeld of verbeteringen in de nauwkeurigheid van het eindantwoord voortkomen uit genuine, representatie-invariante redenering of uit shortcuts die specifiek zijn voor een bepaalde modaliteit. Deze kloof is bijzonder acuut in de natuurkunde, waar diagrammen vaak de structuur van het fysische systeem en de variabele bindingen definiëren in plaats van louter tekst te illustreren. Bestaande evaluaties hebben moeite om onderscheid te maken tussen falen in diagramperceptie, variabele-interpretatie, fysische abstractie en downstream symbolische redenering.

Methodologie

1. SEEPHYS PRO Benchmark

De auteurs introduceren SEEPHYS PRO, een fijnmazige benchmark voor modale-overdracht die is gebaseerd op het principe van "dezelfde fysica, verschillende representatie".

Ontwerp: Elk zaadje-natuurkundeprobleem wordt omgezet in vier semantisch uitgelijnde varianten die taakkritische informatie progressief verschuiven van taal naar visie:
- Niveau 1 (L1): Alleen tekst (alle structuur, variabelen en grootheden in taal).
- Niveau 2 (L2): Structuur in beeld (fysische topologie/relaties in het beeld; variabelen blijven in tekst).
- Niveau 3 (L3): Structuur + Variabelen in beeld (het diagram bevat labels en numerieke waarden).
- Niveau 4 (L4): Volledig gerenderd beeld (probleemstelling, formules en diagram omgezet in één visuele invoer, inclusief handgeschreven tekst).
Dataconstructie: Afgeleid van meer dan 5.000 PDF-pagina's uit openbare datasets, leerboeken, olympiades en examens. De dataset bevat 1.000 zaadje-vragen (4.000 totale varianten) die zes natuurkundevakgebieden bestrijken (Mechanica, Elektromagnetisme, Optica, Thermodynamica, Golven, Moderne Natuurkunde).
Metingen: De benchmark definieert specifieke metrieken om prestaties te ontleden:
- Overdrachtkloven: $\Delta S$ (L1→L2 structurele overdracht), $\Delta V$ (L2→L3 variabele grounding), $\Delta R$ (L3→L4 rendering), en $\Delta T$ (Totale kloof).
- Consistentie: Het percentage problemen dat correct wordt opgelost over alle vier niveaus tegelijkertijd.

2. Diagnostiek tijdens het Trainen (Blinde Training)

Om te onderzoeken of Reinforcement Learning met Verifieerbare Beloningen (RLVR) visuele grounding werkelijk verbetert of slechts statistische shortcuts exploiteert, ontwikkelden de auteurs twee grootschalige natuurkunde-RL-corpora (PhysRL-40K en PhysRL-8K).

Controle voor Blinde Training: Een negatieve controlesituatie waarbij alle trainingsafbeeldingen worden gemaskeerd (vervangen door zwarte afbeeldingen), waardoor de trainingsinstanties visueel onoplosbaar worden.
Vergelijking: Modellen worden getraind via standaard RL (met afbeeldingen) en Blinde RL (zonder afbeeldingen) en geëvalueerd op niet-gemaskeerde validatiesets.
Mechanisme-analyse: De auteurs maken gebruik van tekstverwijdering, gerichte tekstverwijdering, ablatie van de maskeringsgraad van afbeeldingen en controles voor formatverzadiging om de bronnen van prestatiewinst in blinde training te isoleren.

Belangrijkste Resultaten

Fragiliteit op het Moment van Inference

Evaluatie over 15 gesloten- en open-weight Multimodale Grootte Taalmodellen (MLLM's) toont aanzienlijke fragiliteit onder modale overdracht:

Prestatieachteruitgang: De gemiddelde nauwkeurigheid daalt van 49,2% (L1) naar 35,8% (L4), wat resulteert in een gemiddelde totale overdrachtkloof van 13,4 procentpunten.
Knelpunt Variabele Grounding: De grootste prestatiedaling treedt op tijdens Niveau 2→Niveau 3 ( $\Delta V = 7,4$ ), waarbij modellen variabelen en labels uit het beeld moeten grounden. Dit geeft aan dat het herkennen van de diagramstructuur minder problematisch is dan het lezen en binden van specifieke numerieke grootheden aan fysische entiteiten.
Inconsistentie: Zelfs frontier-modellen (bijvoorbeeld GPT-5.4, Claude-4.7-Opus) vertonen een lage vier-weg consistentie (bijvoorbeeld 32,6% voor GPT-5.4), wat betekent dat een model dat een tekstgebaseerd probleem oplost, vaak faalt wanneer hetzelfde probleem visueel wordt gepresenteerd.
Menselijke Baseline: Menselijke middelbare scholieren (54,0% L1) tonen grotere robuustheid, waarbij de prestaties zelfs licht verbeteren bij de overgang van tekst naar structuur (L1→L2), terwijl modellen achteruitgaan.

Diagnostiek tijdens het Trainen

Winst door Blinde Training: Verrassend genoeg verbetert Blinde RL (trainen met gemaskeerde afbeeldingen) de nauwkeurigheid op niet-gemaskeerde validatiesets. Voor Qwen3-VL-4B verhoogde blinde RL de nauwkeurigheid op Niveau 1 van 9,9% naar 20,9% en de nauwkeurigheid op Niveau 4 van 6,4% naar 13,0%.
Gebrek aan Kloversluiting: Ondanks winst in nauwkeurigheid faalt Blinde RL om de modale-overdrachtkloven te dichten. De totale kloof ( $\Delta T$ ) en de variabele-groundingkloof ( $\Delta V$ ) blijven groot of worden zelfs groter na training.
Mechanisme van Winst: Mechanisme-analyse onthult dat blinde winst wordt gedreven door residuele tekstuele aanwijzingen (bijvoorbeeld probleemsjablonen, antwoordopties, numerieke bereiken) en statistische regulariteiten op datasetniveau in plaats van geldig visueel bewijs.
- Het verwijderen van tekst uit trainingsdata elimineert blinde winst.
- Blinde winst blijft bestaan zelfs wanneer formatbeloningen verzadigd zijn, waardoor eenvoudige formatconformiteit als enige oorzaak wordt uitgesloten.
Validatie over Benchmarks heen: Deze bevindingen strekken zich uit tot externe wiskunde- en natuurkundebenchmarks (bijvoorbeeld MathVerse, PhyX), wat suggereert dat outcome-only RL vaak niet-visuele shortcuts versterkt in plaats van ware visuele grounding te bevorderen.

Betekenis en Aanspraken

Het artikel betoogt dat huidige evaluaties van multimodale redenering ontoereikend zijn als ze uitsluitend vertrouwen op de nauwkeurigheid van het eindantwoord. De auteurs stellen het volgende:

Representatie-invariantie ontbreekt: Frontier-MLLM's zijn nog geen representatie-invariante redenaars; ze zijn zeer gevoelig voor hoe informatie wordt gecodeerd, waarbij variabele grounding een primaire faalmodus is.
Beperkingen van RLVR: Reinforcement learning met alleen outcome-belongingen kan de benchmarkprestaties verbeteren zonder daadwerkelijk het vermogen van het model om visueel bewijs te gebruiken te verbeteren. De "winst" die wordt waargenomen in standaard RL kan grotendeels voortkomen uit het leren van het model om tekstuele en distributie-gebaseerde shortcuts te exploiteren, in plaats van het leren om redenering te gronden in afbeeldingen.
Noodzaak van Diagnostiek: Toekomstig onderzoek moet multimodale redenering evalueren via robuustheid van modale overdracht en diagnostiek voor grounding tijdens het trainen (zoals controles voor blinde training) om onderscheid te maken tussen genuine visuele leerprocessen en prestatieverbeteringen gebaseerd op shortcuts.

Het werk benadrukt de behoefte aan benchmarks en trainingsprotocollen die expliciet testen of verbeteringen rusten op taakkritisch visueel bewijs, in plaats van alleen of het model het juiste antwoord kan bereiken via alternatieve, niet-visuele paden.