MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement

Immagina di cercare di insegnare a un robot brillante ma leggermente goffo come parlare il linguaggio della logica pura. Questo robot, un Large Language Model (LLM), è incredibile nel leggere storie, scrivere poesie e risolvere enigmi matematici in un inglese comune. Ma c'è un problema: per dimostrare un teorema matematico con assoluta certezza, non puoi usare solo le parole; devi scriverlo in un linguaggio informatico super-rigoroso chiamato Lean 4. Pensa a Lean 4 come a una cassaforte ad alta sicurezza dove ogni singola parola, simbolo e regola deve essere perfetta, altrimenti la porta della cassaforte non si aprirà. Il problema è che il robot conosce la matematica, ma non conosce il "libro delle regole" specifico (chiamato Mathlib) che Lean 4 utilizza. È come chiedere a uno chef che sa cucinare una bistecca perfetta di seguire una ricetta scritta in una lingua che non ha mai visto, usando ingredienti di cui non conosce i nomi. Potrebbe tirare a indovinare, ma probabilmente sbaglierà.

È qui che entra in gioco l' "autoformalizzazione": l'arte di tradurre la matematica umana in questo codice informatico rigoroso. Per molto tempo, i ricercatori hanno cercato di chiedere semplicemente al robot di "tradurre" la matematica, sperando che ricordasse le regole dal suo addestramento. Ma il robot continuava a commettere errori, come usare gli ingredienti sbagliati o dimenticare un passaggio cruciale, perché cercava di fare affidamento solo sulla sua memoria. Il nuovo articolo, MathForm, sostiene che questo approccio "indovina e spera" è fallimentare. Invece, hanno costruito un sistema in cui al robot è permesso consultare il libro delle regole prima di iniziare a scrivere e, se commette un errore, un editor rigoroso non si limita a buttare via il lavoro, ma dice al robot esattamente cosa è andato storto e lo lascia riprovare finché non ci riesce.

I ricercatori dietro MathForm hanno capito che per far sì che un robot parli perfettamente il linguaggio della matematica formale, non puoi limitarti a fargli scrivere una bozza e sperare nel meglio. Hanno costruito una catena di montaggio in tre fasi per correggere il flusso di lavoro del robot. Primo, prima che il robot scriva una singola riga di codice, un agente "Ricercatore" scansiona la massiccia libreria Mathlib per trovare le definizioni e le regole esatte di cui il robot ha bisogno per quel problema specifico. È come dare allo chef la pagina specifica del ricettario per la "Bistecca" prima ancora che tocchi un coltello. Secondo, il robot scrive il suo codice, e poi un "Ispettore" lo controlla. Se il codice ha un errore di sintassi (come una virgola mancante), l'Ispettore lo segnala. Se il codice viene compilato ma significa la cosa sbagliata (come dire "tutti i numeri" quando il problema intendeva "solo i numeri positivi"), l'Ispettore spiega l'errore semantico. Terzo, invece di arrendersi, il robot usa questo feedback per riscrivere il proprio codice. Continua a ciclar attraverso questo ciclo "scrivi-controlla-correggi" finché il codice non è perfetto.

Usando questo ciclo intelligente, il team ha creato un nuovo enorme dataset chiamato FormalVerse, contenente circa 367.000 esempi matematici verificati. Hanno poi addestrato un nuovo modello, MathForm-8B, su questi dati. I risultati sono stati sorprendenti: questo modello relativamente piccolo (8 miliardi di parametri) è diventato più bravo a formalizzare la matematica di modelli molto più grandi e specializzati (32 miliardi di parametri) che si affidavano ai vecchi metodi di "indovina e spera". In sei diversi test matematici difficili, MathForm-8B ha superato il rigoroso "Controllo di Coerenza" (il che significa che il codice significava effettivamente ciò che diceva il problema umano) circa il 72,4% delle volte, superando i precedenti migliori modelli. Anche nei problemi di algebra astratta più difficili, ha superato significativamente i suoi rivali più grandi. L'articolo suggerisce che fornendo al modello gli strumenti giusti per cercare informazioni e la possibilità di imparare dai propri errori, non serve un cervello gigante per essere un genio della matematica; serve solo un flusso di lavoro intelligente.