💬 NLP

Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning

Het artikel "Physics-R1" identificeert kritieke gebreken in bestaande multimodale fysica-evaluatiepijplijnen—namelijk datacontaminatie, vertalingsdrift en MCQ-verzadiging—en adresseert deze door een strikt geauditeerd corpus en een nieuw redenerend model te publiceren die aanzienlijke prestatiewinst behalen op nieuwe, open Olympiade-benchmarks.

Oorspronkelijke auteurs: Shan Yang

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shan Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Kunstmatige Intelligentie (KI) voor als een enorme, hoog-risico kookwedstrijd. Het doel is om te zien welke KI-"chefs" complexe natuurkundeproblemen kunnen oplossen (zoals uitzoeken hoe een raket vliegt of hoe elektriciteit zich verplaatst). Om hen te beoordelen, geven de organisatoren van de wedstrijd hen een reeks toetsvragen.

Het artikel dat je leest, "Physics-R1," is in wezen een onthullend rapport en een nieuw receptenboek. De auteur, Shan Yang, betoogt dat de huidige kookwedstrijd is vervalst omdat de toetsvragen verontreinigd zijn en de jury's bevooroordeeld. Hier is de uitleg in eenvoudige bewoordingen:

1. Het Probleem: De Toetsvragen Zijn "Gelekt"

Stel je een student voor die zich voorbereidt op een wiskundetoets. Als ze per ongeluk de exacte antwoorden uit een oefenboek memoriseren dat de leraar ook gebruikt voor het eindexamen, zullen ze een perfecte score behalen, maar betekent dat niet dat ze wiskunde daadwerkelijk begrijpen.

Het artikel vond dat veel KI-modellen precies dit doen.

De "Leak": De auteurs hebben de publieke "trainingspools" (de oefenboeken) geauditeerd die worden gebruikt om deze KI's te leren. Ze ontdekten dat veel van de toetsvragen waarover de KI's worden beoordeeld, eigenlijk verborgen zitten in de oefenboeken die ze bestudeerden.
De "Paraphrase"-Truc: Het gaat niet alleen om exacte kopieën. Soms ziet de KI een vraag als: "Een bal valt van 10 meter," en de toets vraagt: "Als een bol valt vanuit een hoogte van 10m..." De oude computerprogramma's die op bedrog controleerden (door te zoeken naar identieke woorden), misten deze.
De Nieuwe Audit: De auteurs bouwden een driefasen-beveiligingswacht:
1. De Woordteller: Controleert op exacte woordovereenkomsten.
2. De Betekenis-Scanner: Controleert of de zinnen dezelfde betekenis hebben, zelfs als de woorden verschillend zijn.
3. De Mensachtige Jury: Een superslimme KI die zowel de oefenvraag als de toetsvraag leest en beslist: "Ja, dit is hetzelfde probleem in vermomming."
Hiermee vonden ze duizenden "bedrieglijke" paren die het vakgebied had gemist. Ze hebben de data opgeschoond om een schone trainingsset te creëren (genaamd PHYSCORP-A) waarbij de KI daadwerkelijk moet leren, niet alleen maar memoriseren.

2. De Vertalingstruc: Taal Maakt Uit

Stel je voor dat je een rijexamen doet. Je slaagt gemakkelijk wanneer de instructies in je moedertaal zijn, maar wanneer dezelfde test in een vreemde taal wordt vertaald, zak je omdat de grammatica verwarrend is of de verkeersborden anders worden beschreven.

De auteurs testten dit met natuurkundeproblemen in het Estisch (de oorspronkelijke taal) en het Engels (een vertaling).

Het Resultaat: Een top-KI (Sonnet 4.5) behaalde 30,5% correct op de originele Estse problemen, maar slechts 13,6% op de Engelse vertalingen.
De Les: Het vertalen van complexe wetenschappelijke problemen gaat vaak ten koste van subtiele details. Als we KI alleen in het Engels testen, denken we misschien dat ze slechter zijn in natuurkunde dan ze eigenlijk zijn, of we testen misschien hun vertaalkunsten in plaats van hun natuurkundekennis.

3. De Formaatval: Meerkeuze versus Echt Denken

Stel je een student voor die goed is in gokken bij een meerkeuzetoets (A, B, C of D), maar bevriest wanneer wordt gevraagd om de oplossing op een blanco vel papier uit te werken.

Het artikel vond een enorm gat in hoe KI presteert, afhankelijk van het formaat van de toets:

Meerkeuze (De Makkelijke Modus): De KI behaalde 79,7% op een meerkeuzetoets.
Open Vragen (De Moeilijke Modus): Dezelfde KI behaalde slechts 33,4% op een toets waarbij het het antwoord vanaf nul moest opschrijven.
Het Gat: Dat is een verschil van 46 punten. Het artikel betoogt dat het vakgebied de intelligentie van KI heeft overschat omdat het hen vooral test op de "makkelijke modus" (meerkeuze), waar ze kunnen gokken of patronen herkennen, in plaats van de "moeilijke modus" (oplossen vanaf nul).

4. De Oplossing: Een Nieuw Recept (Physics-R1)

Om deze problemen op te lossen, hebben de auteurs niet alleen met de vinger gewezen; ze bouwden een nieuwe keuken.

De Schone Ingrediënten: Ze hebben een nieuwe, geauditeerde dataset vrijgegeven (PHYSCORP-A) die gegarandeerd vrij is van de "gelekte" vragen.
De Nieuwe Toets: Ze hebben een nieuwe, moeilijkere examen gemaakt genaamd PHYSOLYM-A. Het gebruikt originele problemen (voornamelijk uit Estland en internationale Olympiades) die de KI nog nooit heeft gezien.
De Kookmethode (Physics-R1): Ze hebben een nieuw KI-model getraind met een specifiek "recept" (een methode genaamd GSPO+DAPO).
- In plaats van de KI een complexe, gedetailleerde score te geven voor elke kleine stap (wat de KI kan verleiden tot het schrijven van eruitziende maar verkeerde antwoorden), gebruikten ze een Binair Beloningssysteem.
- De Analogie: Denk aan een scheidsrechter in een spel. In plaats van punten te geven voor "goede houding" of "mooi handschrift", zegt de scheidsrechter gewoon: "Heb je het juiste antwoord? Ja = 1 punt. Nee = 0 punten."
- Deze simpele regel dwong de KI om te stoppen met proberen het "systeem te omzeilen" met fancy opmaak en zich inderdaad te focussen op het correct oplossen van het natuurkundeprobleem.

De Resultaten

Toen ze hun nieuwe KI (Physics-R1) testten op het nieuwe, schone, moeilijke examen:

Het verbeterde aanzienlijk ten opzichte van het basismodel (van een score van 8% naar een score van 26%).
Het sloeg andere open-source modellen.
Het loopt nog steeds achter bij de allerbeste gesloten "super-KI" (Sonnet 4.5), maar het bewijst dat met schone data en de juiste trainingsmethode, open-source modellen echt natuurkundig redeneren kunnen leren.

Samenvatting

Dit artikel is een oproep tot actie voor de KI-gemeenschap:

Stop met bedriegen: Maak je trainingsdata schoon zodat modellen niet alleen maar toetsantwoorden memoriseren.
Let op de taal: Ga er niet van uit dat vertalingen perfect zijn; test in de oorspronkelijke taal.
Stop met gokken: Test modellen op open vragen, niet alleen op meerkeuze.
Houd het simpel: Soms is een simpele "Goed/Slecht"-beloning beter dan een complex scoresysteem om KI te leren denken.

De auteurs hebben al hun "ingrediënten" (data), "recepten" (code) en "examenquestions" (benchmarks) vrijgegeven voor iedereen om te gebruiken en te verifiëren.

Technische Samenvatting: Physics-R1: Een Geauditeerd Olympiade-corpus en Recept voor Visueel Redeneren in de Fysica

Probleemstelling

Het vakgebied van multimodaal redeneren in de fysica is sterk afhankelijk van visueel-taal benchmarks om modelcapaciteiten te evalueren. De opbouw van deze benchmarks wordt echter zelden geauditeerd, wat leidt tot drie kritieke methodologische gaten die vergelijkingen tussen modellen verstoren en de rangschikkingen aan de voorhoede kunstmatig inflateren:

Train-Eval Contaminatie: Publieke trainingspools (bijv. SciInstruct, UGPhysics-Train) bevatten vaak herschreven of bijna-identieke problemen ten opzichte van evaluatiesets. Conventionele audits in één fase met $n$ -grammen detecteren deze gevallen van "herformulering donkere materie" niet.
Vertaaldrift: Meertalige benchmarks vertrouwen vaak op Engelse vertalingen van problemen die oorspronkelijk in andere talen zijn opgesteld. Deze vertalingen kunnen de informatie-inhoud degraderen (woordenschat, grammaticale naamvallen, reikwijdte), wat leidt tot een systematische onderschatting van het modelvermogen op de vertaalde versies ten opzichte van de originelen.
Format- en Nieuwheidssaturatie: Huidige benchmarks zijn vaak verzadigd met Meerkeuzevragen (MCQ's) of missen nieuwheid, waardoor de prestaties verzadigen op een "gesloten-voorhoede plafond" waar format en taalkennis, in plaats van oprecht redeneren, de scores bepalen.

Methodologie

Het artikel stelt een end-to-end audit van de evaluatiepijplijn voor en introduceert een bijbehorend trainingsrecept en corpus om deze gaten te dichten.

1. De Drie-Fase Auditpijplijn

Om contaminatie op te sporen die aan standaard $n$ -gramcontroles ontsnapt, implementeren de auteurs een drie-fase auditprotocol dat paarsgewijs wordt toegepast tussen trainingspools en evaluatiesets:

Fase 1 (N-gram): Berekent 5-gram Jaccard-similariteit ( $J \ge 0,4$ ) om woordelijk of bijna-woordelijke duplicaten op te sporen.
Fase 2 (Embedding): Gebruikt mxbai-embed-large om cosinussimilariteit te berekenen ( $\cos \ge 0,85$ ) om herschreven duplicaten op te sporen die Fase 1 mist.
Fase 3 (LLM-Judge): Een Haiku-4.5 LLM-judge classificeert kandidaten uit Fase 2 als dichte duplicaten (herformuleringen/numerieke variaties van hetzelfde probleem) of dezelfde-onderwerp buren (gerelateerde fysica maar verschillende opstellingen). Alleen dichte duplicaten worden verwijderd.

2. Dataconstructie

PHYSCORP-A: Een multimodaal corpus van 6.432 records, opgebouwd door toepassing van de drie-fase audit op een pre-audit pool van 14.294 records. Het bevat bronnen zoals de Estse Natuurkundeolympiade (met native moeilijkheidslabels), hand-outs van Kevin Zhou en zeven internationale olympiades.
PHYSR1CORP: Een gesloten-form RL-trainingspool van 2.268 records (alleen MCQ en numeriek) afgeleid van PHYSCORP-A, strikt geauditeerd tegen zes publieke fysica-evaluaties.
PHYSOLYM-A: Een vastgehouden evaluatieset voor de Olympiade van 500 problemen. Deze is 99,8% van nieuwe bron (één overlap met OlympiadBench-Physics werd onthuld in plaats van verwijderd) en bevat een tweetalige Engelse/Estse subset voor cross-linguale analyse.

3. Physics-R1 Recept

Physics-R1 is een referentie Reinforcement Learning (RL)-recept met GSPO (Group Sequence Policy Optimization) en DAPO (Decoupled Clipping and Dynamic Sampling), koud gestart vanuit Qwen3-VL-8B-Thinking.

Beloningsfunctie: De auteurs raden een binair correctheidsbeloning ( $r \in \{0, 1\}$ ) aan, gebaseerd op het matchen van het uitgepakte ingekaderde antwoord met de gouden oplossing. Zij betogen dat dit variantie-optimaal is onder GSPO met genormaliseerde voordelen per groep en robuust is tegen "Goodhart"-kanalen waarbij modellen optimaliseren voor formatteerproxy's (bijv. LaTeX-structuur) in plaats van fysieke correctheid. Een dichte, vijf-componenten beloning (inclusief eenheden, behoudswetten en symbolische vorm) wordt gerapporteerd als ablatie.
Curriculum: Gebruikt een MM-Eureka-stijl moeilijkheidscurriculum, waarbij prompts worden verwijderd waar het basismodel 0/N of N/N rollouts behaalt.

Belangrijkste Bevindingen

De audit en experimenten onthullen drie primaire bevindingen:

Verborgen Contaminatie: Hoewel publieke trainingspools single-stage $n$ -gram audits doorstaan (0 hits), onthult de drie-fase audit significante contaminatie. Bijvoorbeeld, in SciInstruct bracht de audit 4.846 kandidaten voor herformulering aan het licht, waarvan 134 door de LLM-judge werden bevestigd als dichte duplicaten.
Vertaaldelta: Op 59 gekoppelde Estse/Engelse Olympiade-problemen behaalde Claude Sonnet 4.5 een 30,5% strikte nauwkeurigheid op de originele Estse tekst, maar slechts 13,6% op de Engelse vertaling. Deze 17-punts delta suggereert dat Engelse vertalingen systematisch het modelvermogen onderschatten voor modellen met sterke cross-linguale transfer.
Format- en Nieuwheidsgradiënt: Op identieke Sonnet 4.5-weights daalt de prestatie met 46 punten over benchmarks: 79,7% op PhyX (MCQ) $\to$ 50,4% op OlympiadBench-Physics (open-ended) $\to$ 33,4% op de geauditeerde PHYSOLYM-A (open-ended, nieuwe bron). Deze gradiënt toont aan dat huidige benchmarks verzadigd zijn door format en bekendheid in plaats van diepte van redeneren.

Resultaten

Physics-R1, getraind op het geauditeerde PHYSR1CORP met een binaire beloning, demonstreert de trainbaarheid van het schoongemaakte corpus:

PHYSOLYM-A: Til het 8B basismodel van 8,0% naar 26,3% (gemiddelde over 3 seeds), een verbetering van +18,3 punten. Het blijft 7,1 punten achter op Sonnet 4.5, maar presteert beter dan alle open-source baselines (inclusief Qwen3-VL-32B) en niet-Sonnet gesloten API's.
PhysReason: Verbetering van 23,9% naar 39,6%, waarmee Qwen3-VL-32B en Gemini 2.5 Pro worden ingehaald.
OlympiadBench-Physics: Verbetering van 46,2% naar 46,2% (let op: het abstract vermeldt een +6,9 pp lift, wat impliceert een beweging van ~39,3% naar 46,2% op de specifieke split die werd gebruikt, hoewel de tabel 46,2±1,5 toont voor het gemiddelde over 3 seeds).
PhyX (MCQ): Verbetering van 77,8% naar 77,8% (stabiel, aangezien MCQ's vaak verzadigd zijn).

Het artikel merkt op dat de binaire beloning de dichte beloning overtreft op open-ended taken (+8,9 pp op PhysReason, +6,4 pp op PHYSOLYM-A), terwijl het vergelijkbaar presteert op verzadigde MCQ's.

Betekenis en Claims

Het artikel positioneert zichzelf als een methodologische interventie in plaats van een puur algoritmische doorbraak. De primaire bijdragen zijn:

Bewijs van Trainbaarheid: Door te tonen dat een model getraind op een strikt geauditeerd corpus significant verbetert op een vastgehouden, contaminatie-vrije evaluatie (PHYSOLYM-A), valideren de auteurs dat eerdere stagnatie in fysica-redeneerbenchmarks deels te wijten was aan datacontaminatie en saturatie, en niet alleen aan modelbeperkingen.
Meetprotocol: Het artikel betoogt dat een verdedigbare fysica-VL-meting drie eigenschappen vereist: een drie-fase audit, gouden standaarden in de originele taal, en open-ended evaluatie van nieuwe bronnen.
Artifactrelease: De release van PHYSCORP-A, PHYSR1CORP, PHYSOLYM-A en het Physics-R1-recept biedt de gemeenschap middelen om deze bevindingen te reproduceren en toekomstige modellen te bouwen op schone data.

De auteurs bescheiden claimen dat Physics-R1 een "referentierecept" is en dat de binaire beloning de "implementeerbare standaard" is, terwijl zij erkennen dat de dichte beloning en specifieke zaaiergevoeligheden verdere ablatie vereisen. Het werk claimt niet alle uitdagingen in fysica-redeneren op te lossen (bijv. perturbatietheorie op doctoraatsniveau blijft moeilijk), maar stelt een schoner baseline vast voor het meten van vooruitgang.