Infinite Problem Generator: Verifiably Scaling Physics Reasoning Data with Agentic Workflows

Il paper presenta l'Infinite Problem Generator (IPG), un framework agentic che supera la scarsità di dati di ragionamento verificabili in fisica generando problemi di meccanica classica risolvibili tramite codice eseguibile, garantendo coerenza matematica e permettendo una generazione controllata della difficoltà attraverso una correlazione lineare tra complessità del codice e difficoltà del problema.

L'essenziale

Immagina di voler insegnare a un robot (un'intelligenza artificiale) a risolvere problemi di fisica complessi, come quelli che si trovano nei libri di testo universitari o nei test d'ingresso per le ingegneria. Il problema è che per imparare bene, il robot ha bisogno di milioni di esercizi, ma trovare o scrivere manualmente così tanti problemi corretti è impossibile. Inoltre, se provi a far scrivere questi esercizi a un'altra intelligenza artificiale "normale", spesso inventa cose che sembrano vere ma sono matematicamente sbagliate (le chiamano "allucinazioni").

Gli autori di questo studio, tre ricercatori indiani, hanno creato una soluzione geniale chiamata IPG (Infinite Problem Generator). Ecco come funziona, spiegato con parole semplici e qualche analogia divertente.

1. Il Problema: L'Artista che Sogna

Immagina di chiedere a un pittore molto bravo (un'IA generica) di dipingere un quadro di un'auto che corre. Lui potrebbe dipingere un'auto bellissima, ma se gli chiedi di calcolare quanto tempo impiega a fare un giro, potrebbe dire "10 secondi" anche se l'auto è ferma. L'IA è brava a scrivere parole, ma non è brava a fare i conti veri. Spesso inventa soluzioni che sembrano plausibili ma sono sbagliate.

2. La Soluzione: Il "Ricettario" di Codice

Gli autori hanno avuto un'idea brillante: invece di far scrivere al robot la soluzione in parole (come un testo), gli hanno chiesto di scriverla come un programma informatico (codice Python) che può essere eseguito da un computer.

Hanno usato un approccio che chiamano "Formula come Codice".

• L'analogia: Immagina che le leggi della fisica (come la gravità o la velocità) non siano scritte su un foglio di carta, ma siano dei robot cuochi già programmati.
  • Se vuoi calcolare la velocità, non scrivi la formula a mano. Chiami il "Robot Velocità".
  • Se vuoi calcolare la forza, chiami il "Robot Forza".
  • Il robot che genera il problema non inventa la ricetta; usa solo i robot cuochi esistenti e verificati.

3. Come Funziona la Macchina (Il Processo in 3 Atti)

Il sistema IPG lavora come un'agenzia di viaggi molto rigorosa che organizza un tour:

• Fase 1: L'Ispettore (Analisi)
  Prende un problema di fisica "seme" (fatto da un umano esperto) e lo analizza. Chiede: "Di quali ingredienti (formule) abbiamo bisogno? In quali contesti reali possiamo usare questa ricetta? (Es. invece di un'auto, usiamo un razzo o una ruota di bicicletta)".
• Fase 2: Il Creatore (Generazione)
  Crea nuove storie basate su quelle ricette. "Ok, invece di un'auto che frena, facciamo un pattinatore che si ferma". Ma qui c'è il trucco: deve usare solo i robot cuochi (formule) che gli sono stati dati. Non può inventare nuove leggi della fisica.
• Fase 3: Il Controllore (Verifica)
  Questo è il passaggio magico. Prima di dire "Ecco il problema!", il sistema fa girare il codice che il robot ha scritto.
  • Se il codice si blocca? Scartato.
  • Se il risultato è un numero assurdo (es. un'auto che va a 1000 km/h o una massa negativa)? Scartato.
  • Se il codice gira e dà un risultato sensato? Accettato!

4. Il Risultato: Un Giardino Infinito di Esercizi

Grazie a questo metodo, partendo da soli 165 problemi scritti da umani, sono riusciti a generare 1.335 nuovi problemi unici, tutti verificati matematicamente.

Hanno scoperto anche una cosa affascinante, che chiamano "La Mappa della Complessità":

• Hanno notato che più formule servono per risolvere un problema, più lungo è il codice necessario per risolverlo.
• È come se la "lunghezza del codice" fosse un metro perfetto per misurare quanto è difficile un problema. Se vuoi creare un esercizio difficile, basta chiedere al sistema di scrivere un codice più lungo!

5. Perché è Importante?

Prima di questo lavoro, per addestrare le intelligenze artificiali a ragionare, si usavano dati pieni di errori o esercizi troppo semplici.
Con IPG, abbiamo:

1. Niente bugie: Ogni problema ha una soluzione che il computer ha provato e verificato.
2. Infinite variazioni: Puoi creare milioni di esercizi diversi sullo stesso concetto (es. fisica rotazionale) senza che siano tutti uguali.
3. Un banco di prova perfetto: Ora possiamo testare le intelligenze artificiali su problemi che richiedono davvero di ragionare, non solo di indovinare.

In sintesi: Gli autori hanno costruito una fabbrica di problemi di fisica dove il "capo" non è un umano che scrive a mano, ma un sistema che usa le leggi della fisica come pezzi di Lego pre-costruiti e li assembla solo se il risultato finale funziona davvero. È come avere un insegnante di fisica che non si stanca mai, non sbaglia mai i calcoli e può creare un nuovo esercizio ogni secondo, per sempre.

Sommario tecnico

1. Il Problema

L'adattamento dei Large Language Models (LLM) a domini ad alto ragionamento, come la fisica universitaria, è ostacolato dalla scarsità di dati di addestramento verificabili e di alta qualità.

• Limiti delle attuali tecniche: L'aumento dei dati tramite semplici tecniche di testo (augmentation) introduce spesso allucinazioni matematiche. I benchmark statici (es. JEEBench, UGPhysics) sono utili per la valutazione ma mancano delle tracce di ragionamento eseguibili necessarie per il fine-tuning di modelli robusti.
• Il divario: Esiste un gap persistente tra i dati di test (statici) e i dati di addestramento (che richiedono tracce di ragionamento dense, verificabili e scalabili). La generazione sintetica esistente fatica a mantenere la coerenza logica in problemi che richiedono deduzioni multi-step e vincoli impliciti.

2. Metodologia: Infinite Problem Generator (IPG)

Gli autori propongono IPG, un framework agentic che genera problemi di fisica scalabili e verificabili attraverso un paradigma "Formula-as-Code" (Formula come Codice).

Principi Fondamentali

• Formula-as-Code: Invece di trattare le equazioni fisiche come stringhe di testo (es. LaTeX), IPG le codifica come funzioni Python eseguibili. Questo trasforma la fisica in un insieme di assiomi eseguibili, garantendo coerenza matematica rigorosa.
• Workflow Agentic (Genera-Verifica): Il processo segue un ciclo a tre fasi (illustrato nella Figura 1 del paper):
  1. Analisi del Problema: Estrae i principi fisici fondamentali, mappa i concetti a capitoli curricolari specifici e definisce un dizionario di variabili con range fisici validi (es. massa > 0, attrito $\mu \in [0,1]$).
  2. Generazione Vincolata: Genera variazioni narrative del problema (cambiando il contesto, es. da una carrucola a un rullo di nastro) mantenendo invariata la logica fisica. Il modello seleziona esplicitamente 3-5 assiomi (formule) da una libreria predefinita per costruire il problema.
  3. Verifica Basata sul Codice: Ogni problema generato deve essere accompagnato da uno script Python che lo risolve. Il codice viene eseguito in un ambiente sandboxed. Un problema è accettato solo se:
     • Il codice è sintatticamente valido.
     • Produce un risultato numerico finito (niente NaN o Inf).
     • Soddisfa i vincoli di "sanità fisica" (es. tempi positivi, masse positive).

Gestione degli Errori

Il sistema include un ciclo di riprova interno. Se la generazione fallisce (errore di esecuzione o collisione di firma), l'agente riceve lo stack trace dell'errore strutturato e tenta una correzione mirata, garantendo che ogni dato finale sia matematicamente solvibile.

3. Contributi Chiave

1. Framework di Verifica Agente (IPG): Un pipeline che accoppia la variazione narrativa alla verifica tramite esecuzione del codice, mitigando drasticamente le allucinazioni matematiche nei dati sintetici di fisica.
2. Dataset ClassicalMechanicsV1: Un corpus di 1.335 problemi di meccanica classica di livello universitario (espansi da 165 "semi" esperti scritti da esperti). Ogni problema include percorsi di soluzione eseguibili e correttezza numerica verificata.
3. Complexity Blueprint (Progetto di Complessità): La scoperta di una forte correlazione lineare ($R^2 \approx 0.95$) tra il numero di formule integrate e la lunghezza del codice di verifica. Questo permette di usare la complessità del codice come metrica precisa e priva di proxy per controllare la difficoltà del problema, abilitando la generazione di curricoli adattivi senza annotazione umana.

4. Risultati e Analisi

Il dataset ClassicalMechanicsV1 è stato analizzato per diversità strutturale e profondità di ragionamento:

• Distribuzione della Complessità: Il 57,5% dei problemi richiede 3 formule (ragionamento di profondità intermedia), con una "coda" di complessità (4-6 formule) che supera la profondità dei benchmark standard come GSM8K.
• Miscelazione dei Domini: L'agente riesce a combinare concetti da capitoli diversi (es. Attrito + Moto Rotatorio), superando i limiti dei problemi di libro di testo isolati. Ad esempio, la dinamica dei corpi rigidi utilizza 53 formule uniche, molto più delle 20 native del capitolo.
• Validità ed Efficienza: Il tasso di successo nella verifica è del 99,85%. Solo 2 problemi su 1.335 sono stati scartati per instabilità numerica.
• Analisi dei Fallimenti:
  • A bassa complessità (0-1 formule), gli errori sono spesso dovuti a variabili non utilizzate (distrattori), che agiscono come test per la capacità di filtraggio del modello.
  • Ad alta complessità (4+ formule), il fallimento principale è lo "mismatch di firma", dove l'agente deriva correttamente valori intermedi ma non li collega correttamente alla variabile target finale, evidenziando i limiti attuali degli LLM nel mantenere contesti di variabili a lungo raggio.
• Valutazione Esterna: Il modello Qwen3-14B ha ottenuto un punteggio inferiore su ClassicalMechanicsV1 rispetto a JEEBench (34,96% vs 47,97%), suggerendo che il dataset generato cattura efficacemente la complessità del ragionamento a lungo raggio e non è "giocabile" tramite pattern matching superficiale.

5. Significato e Implicazioni

• Superamento delle Allucinazioni: Spostando la verifica da un controllo semantico (LLM che controlla LLM) a un controllo esecutivo (Python che esegue la fisica), IPG garantisce che ogni dato di addestramento sia logicamente coerente.
• Scalabilità Controllata: La "Complexity Blueprint" offre un meccanismo per generare dataset con livelli di difficoltà precisi e controllabili, fondamentale per l'addestramento di modelli di ragionamento adattivo.
• Riproducibilità: Il rilascio del codice sorgente, del dataset e dei report di valutazione supporta la ricerca riproducibile in domini ad alta intensità di ragionamento.
• Futuro: Il lavoro apre la strada all'estensione di questo approccio ad altri domini scientifici (elettromagnetismo, ottica) e all'integrazione con modalità visive (generazione di diagrammi), superando i limiti attuali della sola generazione testuale.

In sintesi, il paper dimostra che l'uso di agenti autonomi combinati con la verifica tramite esecuzione di codice è una strategia superiore per generare dati di addestramento scientifici di alta qualità, colmando il divario tra la capacità di ragionamento dei modelli e la disponibilità di dati verificabili.