💬 NLP

Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning

Il documento "Physics-R1" individua gravi difetti nelle esistenti pipeline di valutazione multimodale della fisica — in particolare contaminazione dei dati, deriva nella traduzione e saturazione delle domande a scelta multipla — e li affronta rilasciando un corpus rigorosamente verificato e un nuovo modello di ragionamento che ottiene significativi miglioramenti delle prestazioni su nuovi benchmark aperti e di tipo olimpico.

Autori originali: Shan Yang

Pubblicato 2026-05-15

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shan Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il mondo dell'Intelligenza Artificiale (IA) come una gigantesca competizione culinaria ad alto rischio. L'obiettivo è vedere quali "chef" di IA possono risolvere problemi complessi di fisica (come capire come vola un razzo o come si muove l'elettricità). Per giudicarli, gli organizzatori della competizione forniscono loro una serie di domande di prova.

Il documento che stai leggendo, "Physics-R1", è essenzialmente una segnalazione di un informatore e un nuovo ricettario. L'autore, Shan Yang, sostiene che l'attuale competizione culinaria sia truccata perché le domande di prova sono contaminate e i giudici sono di parte. Ecco la spiegazione in termini semplici:

1. Il Problema: Le Domande di Prova sono "Trapelate"

Immagina uno studente che si prepara per un test di matematica. Se memorizza per caso le risposte esatte da un libro di esercizi che l'insegnante usa anche per l'esame finale, otterrà un punteggio perfetto, ma ciò non significa che capisca davvero la matematica.

Il documento ha scoperto che molti modelli di IA stanno facendo esattamente questo.

La "Trapelatura": Gli autori hanno auditato i "pool di addestramento" pubblici (i libri di esercizi) utilizzati per insegnare a queste IA. Hanno scoperto che molte delle domande di prova su cui le IA vengono valutate sono in realtà nascoste all'interno dei libri di esercizi che hanno studiato.
Il Trucco della "Parafrasi": Non si tratta solo di copie esatte. A volte l'IA vede una domanda come: "Una palla cade da 10 metri", e il test chiede: "Se una sfera cade da un'altezza di 10m...". I vecchi programmi informatici usati per rilevare l'imbroglio (cercando parole identiche) hanno mancato questi casi.
Il Nuovo Audit: Gli autori hanno costruito una guardia di sicurezza a tre stadi:
1. Il Contaparole: Controlla le corrispondenze esatte di parole.
2. Lo Scanner di Significato: Verifica se le frasi significano la stessa cosa, anche se le parole sono diverse.
3. Il Giudice Simile all'Umano: Un'IA super-intelligente che legge sia la domanda di esercizio che quella di prova e decide: "Sì, questi sono lo stesso problema travestito."
Utilizzando questo metodo, hanno trovato migliaia di coppie di "imbrogli" che il settore aveva trascurato. Hanno ripulito i dati per creare un set di addestramento pulito (chiamato PHYSCORP-A) dove l'IA deve effettivamente imparare, non solo memorizzare.

2. La Trappola della Traduzione: La Lingua Conta

Immagina di sostenere un esame di guida. Superi facilmente il test quando le istruzioni sono nella tua lingua madre, ma quando lo stesso test è tradotto in una lingua straniera, fallisci perché la grammatica è confusa o i segnali stradali sono descritti diversamente.

Gli autori hanno testato questo con problemi di fisica in estone (la lingua originale) e in inglese (una traduzione).

Il Risultato: Un'IA di fascia alta (Sonnet 4.5) ha ottenuto il 30,5% di risposte corrette sui problemi originali in estone, ma solo il 13,6% sulle traduzioni in inglese.
La Lezione: Tradurre problemi scientifici complessi spesso fa perdere dettagli sottili. Se testiamo l'IA solo in inglese, potremmo pensare che sia meno abile in fisica di quanto non sia in realtà, oppure potremmo star testando le sue capacità di traduzione invece che le sue competenze in fisica.

3. La Trappola del Formato: Scelta Multipla vs Pensiero Reale

Immagina uno studente che è bravissimo a indovinare in un quiz a scelta multipla (A, B, C o D) ma si blocca quando gli viene chiesto di scrivere la soluzione su un foglio bianco.

Il documento ha rilevato un enorme divario nelle prestazioni dell'IA in base al formato del test:

Scelta Multipla (La Modalità Facile): L'IA ha ottenuto il 79,7% in un test a scelta multipla.
A Risposta Aperta (La Modalità Difficile): La stessa IA ha ottenuto solo il 33,4% in un test in cui doveva scrivere la risposta da zero.
Il Divario: Si tratta di una differenza di 46 punti. Il documento sostiene che il settore ha sovrastimato l'intelligenza dell'IA perché la testa principalmente sulla "modalità facile" (scelta multipla), dove può indovinare o riconoscere schemi, piuttosto che sulla "modalità difficile" (risolvere da zero).

4. La Soluzione: Un Nuovo Ricettario (Physics-R1)

Per risolvere questi problemi, gli autori non si sono limitati a indicare colpevoli; hanno costruito una nuova cucina.

Gli Ingredienti Puliti: Hanno rilasciato un nuovo set di dati auditato (PHYSCORP-A) che garantisce l'assenza di domande "trapelate".
Il Nuovo Test: Hanno creato un nuovo esame più difficile chiamato PHYSOLYM-A. Utilizza problemi originali (per lo più dall'Estonia e dalle Olimpiadi internazionali) che l'IA non ha mai visto prima.
Il Metodo di Cottura (Physics-R1): Hanno addestrato un nuovo modello di IA utilizzando una specifica "ricetta" (un metodo chiamato GSPO+DAPO).
- Invece di dare all'IA un punteggio complesso e dettagliato per ogni piccolo passaggio (che può ingannare l'IA a scrivere risposte dall'aspetto elegante ma sbagliate), hanno utilizzato una Ricompensa Binaria.
- L'Analogia: Pensa a un arbitro in una partita. Invece di dare punti per la "buona postura" o la "bella calligrafia", l'arbitro dice semplicemente: "Hai ottenuto la risposta giusta? Sì = 1 punto. No = 0 punti."
- Questa regola semplice ha costretto l'IA a smettere di cercare di "giocare con il sistema" con formattazioni elaborate e a concentrarsi effettivamente sulla risoluzione corretta del problema di fisica.

I Risultati

Quando hanno testato la loro nuova IA (Physics-R1) sul nuovo esame pulito e difficile:

Ha mostrato un miglioramento significativo rispetto al modello di base (passando da un punteggio dell'8% a uno del 26%).
Ha battuto altri modelli open-source.
È ancora indietro rispetto alle "super-IA" chiuse di altissimo livello (Sonnet 4.5), ma dimostra che con dati puliti e il metodo di addestramento giusto, i modelli open-source possono apprendere un vero ragionamento fisico.

Riassunto

Questo documento è un appello all'azione per la comunità dell'IA:

Smetti di barare: Pulisci i tuoi dati di addestramento in modo che i modelli non facciano altro che memorizzare le risposte dei test.
Osserva la lingua: Non dare per scontato che le traduzioni siano perfette; testa nella lingua originale.
Smetti di indovinare: Testa i modelli su problemi a risposta aperta, non solo a scelta multipla.
Mantienilo semplice: A volte, una ricompensa semplice "Vero/Falso" è migliore di un sistema di punteggio complesso per insegnare all'IA a pensare.

Gli autori hanno rilasciato tutti i loro "ingredienti" (dati), "ricette" (codice) e "domande d'esame" (benchmark) affinché chiunque possa utilizzarli e verificarli.

Riepilogo Tecnico: Physics-R1: Un Corpus Olimpiade Auditato e una Ricetta per il Ragionamento Fisico Visivo

Dichiarazione del Problema

Il campo del ragionamento fisico multimodale fa affidamento in modo massiccio su benchmark visione-linguaggio per valutare le capacità dei modelli. Tuttavia, la costruzione di questi benchmark è raramente sottoposta ad audit, portando a tre lacune metodologiche critiche che distorcono i confronti tra modelli e gonfiano le classifiche all'avanguardia:

Contaminazione Train-Eval: I pool di training pubblici (ad es. SciInstruct, UGPhysics-Train) contengono spesso problemi parafrasati o quasi-duplicati rispetto agli insiemi di valutazione. Gli audit convenzionali a stadio singolo basati su $n$ -grammi non riescono a rilevare queste istanze di "materia oscura della riformulazione".
Deriva della Traduzione: I benchmark multilingue spesso si basano su traduzioni inglesi di problemi originariamente composti in altre lingue. Queste traduzioni possono degradare il contenuto informativo (vocabolario, caso grammaticale, ambito), portando a una sottostima sistematica della capacità del modello sulle versioni tradotte rispetto agli originali.
Saturazione di Formato e Novità: I benchmark attuali sono spesso saturati da Domande a Scelta Multipla (MCQ) o mancano di novità, causando un plateau delle prestazioni a un "soffitto di frontiera chiusa" dove il formato e la familiarità con il compito, piuttosto che il ragionamento genuino, guidano i punteggi.

Metodologia

Il documento propone un audit end-to-end della pipeline di valutazione e introduce una corrispondente ricetta di training e un corpus per colmare queste lacune.

1. La Pipeline di Audit a Tre Stadi

Per rilevare contaminazioni che sfuggono ai controlli standard su $n$ -grammi, gli autori implementano un protocollo di audit a tre stadi applicato in modo pairwise tra pool di training e insiemi di valutazione:

Stadio 1 (N-gram): Calcola la similarità Jaccard a 5-grammi ( $J \ge 0.4$ ) per catturare duplicati verbatim o quasi-verbatim.
Stadio 2 (Embedding): Utilizza mxbai-embed-large per calcolare la similarità del coseno ( $\cos \ge 0.85$ ) per catturare duplicati parafrasati che lo Stadio 1 non rileva.
Stadio 3 (LLM-Giudice): Un giudice LLM Haiku-4.5 classifica i candidati dello Stadio 2 come duplicati stretti (parafrasi/variazioni numeriche dello stesso problema) o vicini dello stesso argomento (fisica correlata ma setup distinti). Vengono rimossi solo i duplicati stretti.

2. Costruzione dei Dati

PHYSCORP-A: Un corpus multimodale di 6.432 record costruito applicando l'audit a tre stadi a un pool pre-audit di 14.294 record. Include fonti come l'Olimpiade di Fisica Estone (con etichette di difficoltà native), gli appunti di Kevin Zhou e sette olimpiadi internazionali.
PHYSR1CORP: Un pool di training RL a forma chiusa di 2.268 record (solo MCQ e numerici) derivato da PHYSCORP-A, rigorosamente auditato contro sei valutazioni pubbliche di fisica.
PHYSOLYM-A: Un insieme di valutazione Olimpiade tenuto fuori di 500 problemi. È al 99,8% di fonte nuova (una sovrapposizione con OlympiadBench-Physics è stata dichiarata piuttosto che rimossa) e include un sottogruppo bilingue inglese/estone per l'analisi cross-linguale.

3. Ricetta Physics-R1

Physics-R1 è una ricetta di riferimento per l'Apprendimento per Rinforzo (RL) che utilizza GSPO (Group Sequence Policy Optimization) e DAPO (Decoupled Clipping and Dynamic Sampling), avviata a freddo da Qwen3-VL-8B-Thinking.

Funzione di Ricompensa: Gli autori raccomandano una ricompensa di correttezza binaria ( $r \in \{0, 1\}$ ) basata sulla corrispondenza della risposta estratta tra parentesi quadre con la soluzione gold. Sostengono che questa sia ottimale in termini di varianza sotto GSPO con vantaggi normalizzati per gruppo e robusta contro i canali "Goodhart" dove i modelli ottimizzano per proxy di formattazione (ad es. struttura LaTeX) piuttosto che per la correttezza fisica. Viene riportata come ablazione una ricompensa densa a cinque componenti (inclusi unità, leggi di conservazione e forma simbolica).
Curriculum: Utilizza un curriculum di difficoltà stile MM-Eureka, eliminando i prompt in cui il modello base ottiene 0/N o N/N rollouts.

Risultati Chiave

L'audit e gli esperimenti rivelano tre risultati principali:

Contaminazione Nascosta: Mentre i pool di training pubblici superano gli audit a stadio singolo su $n$ -grammi (0 rilevamenti), l'audit a tre stadi rivela una contaminazione significativa. Ad esempio, in SciInstruct, l'audit ha portato alla luce 4.846 candidati parafrasati, dei quali 134 sono stati confermati come duplicati stretti dal giudice LLM.
Delta di Traduzione: Su 59 problemi Olimpiade accoppiati estone/inglese, Claude Sonnet 4.5 ha raggiunto una correttezza rigorosa del 30,5% sul testo estone originale ma solo del 13,6% sulla traduzione inglese. Questo delta di 17 punti suggerisce che le traduzioni inglesi sottostimano sistematicamente la capacità del modello per modelli con forte trasferimento cross-linguale.
Gradiente di Formato e Novità: Sulle stesse pesi Sonnet 4.5, le prestazioni calano di 46 punti attraverso i benchmark: 79,7% su PhyX (MCQ) $\to$ 50,4% su OlympiadBench-Physics (open-ended) $\to$ 33,4% su PHYSOLYM-A auditato (open-ended, fonte nuova). Questo gradiente dimostra che i benchmark attuali sono saturati da formato e familiarità piuttosto che dalla profondità del ragionamento.

Risultati

Physics-R1, addestrato su PHYSR1CORP auditato con una ricompensa binaria, dimostra la trainabilità del corpus pulito:

PHYSOLYM-A: Solleva il modello base da 8B dal 8,0% al 26,3% (media su 3 seed), un miglioramento di +18,3 punti. Rimane indietro rispetto a Sonnet 4.5 di 7,1 punti ma supera tutti i baseline open-source (incluso Qwen3-VL-32B) e le API chiuse non-Sonnet.
PhysReason: Migliora dal 23,9% al 39,6%, superando Qwen3-VL-32B e Gemini 2.5 Pro.
OlympiadBench-Physics: Migliora dal 46,2% al 46,2% (nota: l'abstract indica un aumento di +6,9 pp, implicando un passaggio da ~39,3% al 46,2% sulla specifica partizione utilizzata, sebbene la tabella mostri 46,2±1,5 per la media su 3 seed).
PhyX (MCQ): Migliora dal 77,8% al 77,8% (stabile, poiché le MCQ sono spesso sature).

Il documento nota che la ricompensa binaria supera la ricompensa densa sui task open-ended (+8,9 pp su PhysReason, +6,4 pp su PHYSOLYM-A) mentre performa in modo comparabile sulle MCQ sature.

Significato e Affermazioni

Il documento si posiziona come un intervento metodologico piuttosto che una pura svolta algoritmica. I suoi contributi principali sono:

Evidenza di Trainabilità: Mostrando che un modello addestrato su un corpus rigorosamente auditato migliora significativamente su una valutazione tenuta fuori e priva di contaminazione (PHYSOLYM-A), gli autori convalidano che la precedente stagnazione nei benchmark di ragionamento fisico era dovuta in parte alla contaminazione dei dati e alla saturazione, non solo alle limitazioni dei modelli.
Protocollo di Misurazione: Il documento sostiene che una misurazione difendibile di fisica-VL richiede tre proprietà: un audit a tre stadi, standard gold nella lingua originale e valutazione open-ended da fonte nuova.
Rilascio degli Artefatti: Il rilascio di PHYSCORP-A, PHYSR1CORP, PHYSOLYM-A e della ricetta Physics-R1 fornisce alla comunità strumenti per riprodurre questi risultati e costruire modelli futuri su dati puliti.

Gli autori affermano modestamente che Physics-R1 è una "ricetta di riferimento" e che la ricompensa binaria è il "default deployabile", riconoscendo al contempo che la ricompensa densa e le specifiche sensibilità ai seed richiedono ulteriori ablazioni. Il lavoro non afferma di risolvere tutte le sfide del ragionamento fisico (ad es. la teoria delle perturbazioni a livello universitario rimane difficile) ma stabilisce una baseline più pulita per misurare i progressi.