🤖 AI

Reward Design for Physical Reasoning in Vision-Language Models

Deze studie toont aan dat het zorgvuldig ontwerpen van beloningssignalen, met name nauwkeurigheidsgebaseerde en interne aandachtsgewichten, de fysieke redeneerprestaties van Vision-Language Models op de PhyX-benchmark significant kan verbeteren, hoewel de effectiviteit sterk varieert afhankelijk van het specifieke domein en het type beloning.

Oorspronkelijke auteurs: Derek Lilienthal, Manisha Mukherjee, Sameera Horawalavithana

Gepubliceerd 2026-04-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Derek Lilienthal, Manisha Mukherjee, Sameera Horawalavithana

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme robot wilt leren om natuurkunde-opdrachten op te lossen. Maar niet zomaar opdrachten: deze robot moet naar foto's kijken en daaruit de wetten van de natuurkunde afleiden. Denk aan een foto van een schommel, een vallende bal of een elektrisch circuit.

De onderzoekers van dit paper hebben gekeken hoe ze zo'n robot (een zogenaamd "Vision-Language Model") het beste kunnen trainen. Ze gebruikten een slimme methode genaamd GRPO. In plaats van de robot gewoon te laten nabootsen wat een mens doet (zoals een schoolmeester die een antwoord voorschrijft), geven ze de robot punten (beloningen) als hij iets goed doet.

Het grote vraagstuk was: Welke soort punten geven we de robot om hem het slimst te maken?

Hier is de uitleg, vertaald naar alledaagse taal met een paar leuke vergelijkingen:

1. De Vier Manieren om te "Punten"

De onderzoekers hebben vier verschillende manieren bedacht om de robot te belonen, van simpel tot heel complex:

De "Vorm" (Format): Dit is als een leraar die zegt: "Als je je huiswerk netjes in de juiste vakjes invult, krijg je een sterretje." Het maakt niet uit of het antwoord klopt, zolang het maar op de juiste plek staat.
- Resultaat: De robot leert netjes werken, maar niet per se slim.
De "Antwoord" (Accuracy): Dit is de klassieke methode: "Als het antwoord klopt, krijg je een punt."
- Resultaat: Dit werkt het beste voor het halen van het juiste cijfer. De robot leert snel om de oplossing te vinden.
De "Rubriek" (Rubric): Dit is als een strenge jury die kijkt naar alles: "Is het antwoord goed? Heb je de juiste natuurkundewet genoemd? Is de eenheid (bijv. meter of seconde) correct? En heb je stap-voor-stap uitgelegd hoe je er kwam?"
- Resultaat: De robot leert heel gestructureerd en logisch te denken, maar soms gaat hij hierdoor de juiste antwoorden kwijtraken. Het is alsof je een student dwingt om een perfect verslag te schrijven, waardoor hij de tijd mist om de som uit te rekenen.
De "Aandacht" (Attention): Dit is de meest innovatieve methode. De onderzoekers kijken niet naar wat de robot schrijft, maar waar hij naar kijkt op de foto terwijl hij denkt.
- Vergelijking: Stel je voor dat de robot een foto van een brug ziet. Kijkt hij naar de brug (de belangrijke plek) of naar de lucht erboven (de achtergrond)? Als hij naar de brug kijkt, krijgt hij een beloning.
- Resultaat: Dit werkt wonderbaarlijk goed voor ruimtelijke problemen (bijv. "hoe ver is die bal gevlogen?"). De robot leert echt naar de foto te kijken. Maar bij pure formules (zoals thermodynamica) wordt hij juist verward en maakt hij meer fouten.

2. Wat bleek eruit? (De Grote Leerlessen)

A. Simpel is soms beter
Voor het vinden van het juiste antwoord werkt de simpele "Antwoord"-methode het beste. De "Rubriek"-methode (die alles wil controleren) maakt de robot soms onzeker, vooral omdat de robot nog vrij klein is (2 miljard parameters). Het is alsof je een kind probeert te leren zwemmen door hem tegelijkertijd te vertellen hoe hij moet ademen, zijn armen moet bewegen en zijn benen moet trappen; hij zakt dan misschien sneller weg dan als je gewoon zegt: "Zorg dat je boven water blijft."

B. Kijken is niet altijd slim
De "Aandacht"-methode (waar de robot naar kijkt) is een tweesnijdend zwaard.

Bij ruimtelijke puzzels (bijv. "waar ligt de bal?") is het een superkracht. De robot leert echt naar de afbeelding te kijken en zijn score gaat van 27% naar 50%.
Bij abstracte formules (bijv. warmte en energie) helpt het juist niet. De robot wordt zo gefocust op de foto dat hij vergeet de wiskundige formules in zijn hoofd te gebruiken. Het is alsof je een wiskundige dwingt om te kijken naar een tekening in plaats van naar zijn rekenmachine.

C. Denken vs. Antwoorden
Als je de robot alleen beloont voor het juiste antwoord, leert hij soms "valsspelen". Hij geeft het juiste antwoord, maar zonder dat hij echt weet hoe hij er kwam. Als je hem beloont voor een goed redeneringsproces (de Rubriek), blijft hij wel logisch nadenken, maar maakt hij vaker fouten in het eindantwoord.

3. De Conclusie voor de Praktijk

Er is geen "beste" manier om een robot te trainen. Het hangt af van wat je wilt:

Wil je dat de robot snel het juiste antwoord geeft? Geef hem punten voor het antwoord.
Wil je dat de robot goed kan kijken naar foto's? Geef hem punten voor waar hij naar kijkt (de "Aandacht"-methode).
Wil je dat de robot goed kan uitleggen hoe hij tot een oplossing komt? Geef hem punten voor zijn redenering (de "Rubriek"-methode).

Kort samengevat:
Het trainen van slimme robots is als het opvoeden van een kind. Als je alleen looft voor het eindresultaat, leert hij snel maar misschien niet diep. Als je looft voor de manier waarop hij kijkt, wordt hij een goede observator. Maar als je te veel regels tegelijk stelt, raakt hij in de war. De kunst is om de juiste "beloning" te kiezen voor de taak die je wilt laten uitvoeren.

Probleemstelling

Fysiek redeneren op basis van visuele input vereist een complexe integratie van visuele perceptie, domeinkennis en multi-stap symbolische inferentie. Zelfs de state-of-the-art Vision-Language Models (VLM's) presteren aanzienlijk onder het menselijke niveau op fysica-benchmarks. Hoewel post-training algoritmen zoals Supervised Fine-Tuning (SFT) en Group Relative Policy Optimization (GRPO) sterke verbeteringen hebben laten zien in taalmodellen, is het nog onduidelijk hoe reward design (beloningontwerp) het redeneergedrag van VLM's in fysische contexten beïnvloedt. SFT maximaliseert vaak de waarschijnlijkheid van een vaste referentie-uitvoer, wat leidt tot oppervlakkig imiteren in plaats van robuust redeneren. Er is een gebrek aan systematisch inzicht in welke beloningssignalen het meest effectief zijn voor multimodaal fysiek redeneren.

Methodologie

De auteurs voeren een systematische ablatiestudie uit met GRPO (Group Relative Policy Optimization) om VLM's te trainen op fysiek redeneren.

Model en Dataset: Er wordt gebruikgemaakt van IBM Granite Vision 3.3 (2B) als basismodel. De training en evaluatie vinden plaats op PhyX, een benchmark met 3.000 problemen (voor training) en 1.000 problemen (voor test), verdeeld over zes fysica-domeinen (bijv. Mechanica, Thermodynamica) en zes redeneertypen, in zowel meerkeuze (MCQ) als open-ended (OE) formaten.
Training Framework: In plaats van een waarde-netwerk (zoals bij PPO) te gebruiken, optimaliseert GRPO het beleid door een groep van $G=8$ antwoorden per prompt te genereren en de voordelen (advantages) te berekenen ten opzichte van het groepsgemiddelde.
Reward Signalen: De studie vergelijkt vier reward-configuraties met toenemende semantische rijkdom:
1. R1 (Format): Controleert alleen of de output de juiste structuur heeft (tags voor denkproces, antwoord, eenheid, principe).
2. R2 (Accuracy): Controleert alleen de juistheid van het antwoord (exacte match voor MCQ, jury-systeem voor OE).
3. R3 (Rubric): Een samengestelde beloning die antwoordjuistheid combineert met identificatie van fysica-principes, eenheidsconsistentie en de kwaliteit van het redeneren. Voor open-ended vragen wordt hierbij een LLM-judge ingezet.
4. R4 (Attention-Weight / ASM): Een innovatieve interne beloning die de aandachtsverdeling van het model over de input-afbeelding gebruikt. Het model wordt beloond als het zich richt op de relevante voorgrondpixels (niet-witte gebieden) in plaats van op lege ruimtes. Dit vereist geen externe ruimtelijke annotaties (zoals bounding boxes).

Belangrijkste Bijdragen

Systematische Ablatiestudie: Het paper biedt het eerste overzicht van hoe verschillende reward-ontwerpen (van format tot complexe rubrics en interne aandachtsmechanismen) het redeneergedrag van VLM's beïnvloeden.
Nieuwe Reward-methode (ASM): De introductie van een reward gebaseerd op interne attention weights voor visuele grounding, zonder dat er extra menselijke annotatie nodig is.
Empirische Analyse: Een uitgebreide evaluatie over zes fysica-domeinen en zes redeneertypen, die laat zien dat er geen "one-size-fits-all" reward bestaat; het effect is sterk domein-afhankelijk.

Resultaten

De resultaten tonen aan dat reward design geen uniforme verbetering geeft, maar specifiek gedrag induceert:

Algemene Prestaties: Voor meerkeuzevragen (MCQ) presteert GRPO met accuracy-based rewards (combinatie van format en nauwkeurigheid) het beste overall, met een verbetering van ongeveer 6% ten opzichte van SFT.
Open-ended Vragen: Voor open-ended vragen levert GRPO (Fmt + Acc) de hoogste scores op, met een verdubbeling (100% verbetering) ten opzichte van SFT.
Invloed van de Rubric Reward: Hoewel de Rubric-reward de kwaliteit van gestructureerd redeneren en de consistentie van principes en eenheden verbetert, leidt dit bij dit kleine model (2B parameters) niet tot een consistente stijging in de totale nauwkeurigheid. De complexiteit van de multi-objective beloning lijkt de optimalisatie te destabiliseren.
Invloed van Attention Rewards (ASM):
- Positief: De ASM-reward verbetert ruimtelijk redeneren aanzienlijk (nauwkeurigheid stijgt van 0,27 naar 0,50). Het model leert zich beter te richten op relevante visuele inhoud.
- Negatief: Dezelfde reward verslechtert de prestaties in symbolische domeinen (zoals Thermodynamica en Golf/Acoustiek), waar het oplossen van het probleem meer afhankelijk is van het toepassen van formules dan van visuele grounding. Dit suggereert een concurrentie om representatieve capaciteit in het model.
Redeneringskwaliteit: Zonder een expliciete reward voor redeneringskwaliteit (zoals bij Fmt+Acc), begint het model na verloop van tijd antwoorden te genereren die niet meer worden ondersteund door hun eigen redeneerketen. De Rubric-methode behoudt wel coherente redeneerketens, maar ten koste van de uiteindelijke nauwkeurigheid.

Betekenis en Conclusie

Dit onderzoek benadrukt dat reward design niet alleen een optimalisatie-tool is, maar een mechanisme om de aard van het redeneren in multimodale modellen te sturen.

Er is geen enkele reward-configuratie die in alle domeinen het beste presteert.
Voor kleine modellen (2B parameters) kan te complexe reward-structuur (zoals een uitgebreide rubric) de stabiliteit van GRPO ondermijnen.
Visuele grounding (via attention rewards) is krachtig voor ruimtelijke taken, maar kan schadelijk zijn voor taken die zwaar leunen op symbolische inferentie.
De keuze van het reward-signaal moet worden afgestemd op de specifieke doelstelling van de toepassing: puur nauwkeurigheid, interpreteerbare redeneerketens, of visuele grounding.

De studie suggereert dat het toezicht houden op waar een model naar kijkt tijdens het genereren (via attention weights) een veelbelovende richting is voor visueel gefundeerd fysiek redeneren, mits de beloning wordt afgestemd op het type redeneertaak.