🤖 AI

ImProver 2: Iteratively Self-Improving LMs for Neurosymbolic Proof Optimization

Il documento presenta ImProver 2, un framework neurosimbolico che combina un'iterazione esperta efficiente in termini di dati con un sistema di impalcatura strutturale per consentire a piccoli modelli linguistici di ottimizzare efficacemente prove formali complesse in Lean 4, superando modelli significativamente più grandi e stabilendo l'ottimizzazione delle prove come un compito scalabile e apprendibile.

Autori originali: Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

Pubblicato 2026-05-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Riyaz Ahuja, Tate Rowney, Jeremy Avigad, Sean Welleck

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca enorme e in crescita di dimostrazioni matematiche. Queste non sono semplici storie; sono progetti rigidi, verificati al computer, che dimostrano la veridicità di certe affermazioni. Recentemente, i computer (in particolare l'IA) hanno iniziato ad aiutare gli umani a scrivere queste dimostrazioni, causando un'esplosione nelle dimensioni della biblioteca.

Ma c'è un problema: la biblioteca sta diventando disordinata. Alcune dimostrazioni sono corrette ma scritte in uno stile confuso, altre sono troppo lunghe e alcune dipendono da un'enorme lista di altre regole che le rendono difficili da mantenere. È come avere una casa in cui l'impianto idraulico funziona, ma i tubi sono aggrovigliati, le pareti sono dipinte con colori che si scontrano e devi portare uno zaino pieno di attrezzi extra solo per accendere una luce.

Entra ImProver 2.

Pensa a ImProver 2 come a un bibliotecario super-organizzato e auto-migliorante che non si limita a riporre i libri, ma li riscrive per renderli migliori. Il suo compito è prendere una dimostrazione corretta e riscriverla per renderla più breve, più pulita o più modulare, senza compromettere la matematica.

Ecco come funziona, utilizzando alcune analogie semplici:

1. Il ciclo "La pratica rende perfetti" (Auto-miglioramento iterativo)

Di solito, per insegnare a un computer a svolgere un compito, gli si mostrano migliaia di esempi scritti da umani. Ma per l'ottimizzazione delle dimostrazioni, buoni esempi sono rari.

ImProver 2 risolve questo problema insegnando a se stesso.

La bozza: Prende una dimostrazione e prova a riscriverla in molti modi diversi (come uno scrittore che brainstorma 10 finali diversi per una storia).
La valutazione: Controlla quali riscritture rimangono matematicamente corrette. Poi, le valuta in base a ciò che desideriamo: È più breve? Usa meno riferimenti esterni? È suddivisa in passaggi più chiari?
La lezione: Confronta le sue riscritture "vincenti" con quelle "perdenti". Impara: "Oh, quando ho fatto questo, la dimostrazione è diventata più breve ed è rimasta corretta. Quando ho fatto quello, si è rotta".
Il buffer di replay: Per evitare che l'IA dimentichi ciò che ha imparato o rimanga intrappolata in un ciclo di idee sbagliate, mantiene una "banca di memoria" di vecchi buoni esempi mescolati con quelli nuovi. Questo assicura che continui a migliorare nel tempo, invece di ripetere semplicemente gli stessi errori.

2. Il "Scaffold Neurosimbolico" (Le rotelle di allenamento)

Immagina di provare a riparare un motore complesso senza un manuale o uno schema. È difficile. Ora immagina di avere uno schema che evidenzia esattamente la parte su cui stai lavorando, spiega cosa fa quella parte in inglese semplice e elenca gli strumenti necessari nelle vicinanze.

ImProver 2 fornisce all'IA questo "schema" per ogni dimostrazione. Questo è chiamato Augmentazione Neurosimbolica. Fornisce:

La mappa: Mostra lo stato attuale della dimostrazione (cosa è stato dimostrato finora, cosa resta da fare).
Il contesto: Recupera le definizioni e le regole specifiche rilevanti per quella specifica dimostrazione, in modo che l'IA non debba indovinare.
La traduzione: Fornisce un riassunto in "inglese semplice" di ciò che la dimostrazione sta cercando di fare, aiutando l'IA a comprendere l'obiettivo prima di iniziare a scrivere il codice.

Questo "scaffold" aiuta anche computer piccoli e meno potenti a performare come quelli molto più grandi e intelligenti.

3. I tre obiettivi (Metriche)

Il bibliotecario non vuole solo che la dimostrazione sia "corretta". Vuole ottimizzare per qualità specifiche, come uno chef che aggiusta una ricetta:

Lunghezza (La metrica "Golf"): Proprio come nel golf, l'obiettivo è mettere la palla nella buca con il minor numero di colpi. ImProver 2 cerca di accorciare le dimostrazioni rimuovendo passaggi non necessari.
Dipendenze (La metrica "Autosufficiente"): Immagina una ricetta che dice "aggiungi la salsa segreta dalla casa del vicino". Questa è una dipendenza. ImProver 2 cerca di riscrivere le dimostrazioni in modo che non dipendano da così tante "salse del vicino" esterne, rendendole più facili da comprendere e utilizzare autonomamente.
Modularità (La metrica "Lego"): Una dimostrazione disordinata è come un enorme blocco di argilla. Una dimostrazione modulare è come un set di Lego: pezzi piccoli, distinti e riutilizzabili. ImProver 2 cerca di spezzare le grandi dimostrazioni in sotto-dimostrazioni più piccole e indipendenti (come "abbiamo h1", "abbiamo h2") in modo che la logica sia più chiara.

I risultati: Il piccolo è potente

La scoperta più sorprendente è che ImProver 2 ha preso un modello di IA piccolo (7 miliardi di parametri) e lo ha addestrato a essere migliore in questi compiti rispetto a modelli di IA massicci (alcuni con centinaia di miliardi di parametri) che non hanno ricevuto questo addestramento speciale.

È come prendere una vettura sportiva compatta ed efficiente e sintonizzare il suo motore così perfettamente da battere un enorme camion pesante in una gara specifica, anche se il camion ha un motore più grande. Il modello piccolo, quando dotato del giusto "scaffold" e del giusto "ciclo di pratica", ha imparato a ristrutturare argomenti matematici complessi meglio dei giganti.

In sintesi: ImProver 2 è un sistema che insegna a piccoli modelli di IA di diventare esperti editor di dimostrazioni. Fornendo loro una mappa chiara del problema e permettendo loro di imparare dai loro stessi migliori tentativi, può ripulire biblioteche matematiche disordinate, rendendole più brevi, più pulite e più facili da mantenere, tutto senza aver bisogno dei supercomputer più costosi e massicci.

Riepilogo Tecnico: ImProver 2

Enunciato del Problema

La rapida espansione delle librerie di matematica formale (ad esempio, Mathlib di Lean) ha creato una sfida duplice: la manutenibilità di queste librerie è minacciata da stili di prova eterogenei e da una bassa modularità, mentre la qualità dei dati di addestramento per i dimostratori di teoremi neurali è degradata da prove corrette ma strutturalmente subottimali. I metodi esistenti di ottimizzazione automatica delle prove affrontano ostacoli significativi, tra cui obiettivi eterogenei e definiti euristivamente, dati di ottimizzazione di alta qualità scarsi e i costi proibitivi di addestramento e inferenza per modelli su larga scala. Inoltre, lavori precedenti si basavano spesso su modelli generici chiusi o si concentravano strettamente sul conteggio dei token, non affrontando metriche strutturali più ampie come la modularità e la gestione delle dipendenze.

Metodologia

Gli autori introducono ImProver 2, un framework neurosimbolico progettato per migliorare iterativamente in modo autonomo i modelli linguistici di piccole dimensioni (SLM) per l'ottimizzazione delle prove in Lean 4. Il sistema opera attraverso una pipeline multi-componente:

1. Augmentazione Neurosimbolica (Impalcatura)

Per colmare il divario tra il ragionamento informale e la verifica formale, il framework espone il modello a un contesto ricco proveniente dall'ambiente Lean. Questa "impalcatura" ( $\Psi$ ) include:

Fette di Contesto: Definizioni, teoremi e lemmi rilevanti direttamente citati dalla prova target, serializzati con metadati.
Catena degli Stati (CoS): Tracce esplicite degli stati dell'obiettivo prima e dopo ogni passo tattico, intercalati come commenti per rivelare il flusso logico della prova.
Auto-informalizzazione: Riepiloghi in linguaggio naturale dei passi della prova, generati traducendo la prova formale in una sequenza di descrizioni di alto livello.

2. Metriche di Ottimizzazione

Il sistema mira a tre obiettivi strutturali distinti, definiti come funzioni calcolabili $\mu$ :

Lunghezza: Minimizzare il numero di tattiche utilizzate ("golfing" della prova).
Dipendenze: Minimizzare il conteggio dei lemmi esterni unici esplicitamente nominati nella prova, incoraggiando prove autonome.
Modularità: Massimizzare il numero di "obiettivi generati effettivi" (sottoprove indipendenti introdotte tramite have, calc, ecc.), che funge da proxy per la decomposizione della prova e la manutenibilità.

3. Pipeline di Ottimizzazione delle Preferenze Iterativa (IRPO)

ImProver 2 impiega un ciclo di addestramento iterativo per avviare gli SLM:

Generazione: Il modello corrente $G_t$ genera $n$ riscritture candidate per ogni teorema nell'insieme di addestramento, utilizzando l'impalcatura neurosimbolica.
Filtraggio e Replay: I candidati sono valutati in base alla correttezza (verifica del kernel Lean) e al miglioramento delle metriche. Un buffer di replay è utilizzato per bilanciare i dati appena generati con i dati storici, prevenendo il collasso del modello e garantendo un miglioramento monotono. Problemi banali o di bassa qualità vengono filtrati.
Costruzione di Coppie di Preferenza: L'insieme di dati è partizionato in "vincitori" (prove che compilano e mostrano alto miglioramento) e "perdenti" (fallimenti o prove con basso miglioramento). Vengono formate due tipi di coppie di preferenza: vincitore-vincitore (ordinate per magnitudine del miglioramento) e vincitore-perdente.
Addestramento: Il modello viene aggiornato utilizzando l'Ottimizzazione delle Preferenze di Ragionamento Iterativa (IRPO), che combina una perdita di Ottimizzazione Diretta delle Preferenze (DPO) con una perdita di verosimiglianza negativa (NLL) sulle prove vincitrici. Questo processo si ripete fino alla convergenza o all'esaurimento del budget.

Contributi Chiave

SLM Auto-miglioranti per il Refactoring: Il documento dimostra che l'ottimizzazione iterativa delle preferenze può avviare efficacemente modelli linguistici di piccole dimensioni (nello specifico un modello da 7 miliardi di parametri) per ottimizzare le prove in librerie di ricerca specializzate, rendendoli competitivi con modelli significativamente più grandi.
Metriche di Ottimizzazione Strutturale: Oltre alla semplice riduzione della lunghezza, gli autori introducono e valutano le metriche di modularità e dipendenza. Queste metriche sfruttano la struttura della prova e il contesto della libreria per colpire obiettivi di refactoring distinti rilevanti per la manutenibilità della libreria.
Augmentazione Neurosimbolica: Il framework estrae e integra tracce degli stati degli obiettivi, contesti rilevanti e auto-informalizzazioni. Gli autori dimostrano che questa augmentazione migliora significativamente le prestazioni sia per i modelli piccoli che per quelli all'avanguardia, facilitando la scoperta di riscritture valide e ad alto valore.

Risultati Sperimentali

Il sistema è stato valutato su miniCTX-v2, un benchmark di matematica a livello di ricerca scritta da umani, utilizzando un modello base da 7 miliardi di parametri (DeepSeek-R1-Distill-Qwen-7B).

Prestazioni vs. Scala: ImProver 2 supera il modello DeepSeek-R1 671B molto più grande su tutte e tre le metriche (Lunghezza, Modularità, Dipendenza) quando non impalcato. Ad esempio, sulla modularità, ImProver 2 ha raggiunto un miglioramento medio di 0.143 rispetto a 0.055 per il modello da 671B.
Confronto con Modelli all'Avanguardia: Il modello ImProver 2 da 7B è competitivo con modelli all'avanguardia di fascia media (ad esempio, GPT-5-mini) sulle metriche di lunghezza e dipendenza. Guida tutti i sistemi valutati non impaccati sulla modularità.
Impatto dell'Impalcatura: Aggiungere l'impalcatura neurosimbolica migliora significativamente le prestazioni in tutte le famiglie di modelli. Ad esempio, il punteggio di miglioramento della lunghezza del modello da 7B è passato da 0.118 (base) a 0.236 (impaccato). Anche modelli grandi come GPT-5-high hanno visto guadagni sostanziali (da 0.660 a 0.875) con l'impalcatura.
Dinamiche di Iterazione: La maggior parte dei guadagni di prestazioni si verifica entro le prime 2-3 iterazioni IRPO. Il sistema mostra che i modelli piccoli possono imparare a ristrutturare prove a livello di ricerca in modo efficace, sebbene le prestazioni alla volta si stabilizzino man mano che il modello assorbe i pattern comuni di refactoring.
Compromessi di Accuratezza: Il documento nota un compromesso tra ottimizzazione e accuratezza di compilazione. Sebbene le prove ottimizzate spesso producano miglioramenti metrici più elevati, possono avere tassi di compilazione leggermente inferiori rispetto a riscritture conservative, riflettendo la natura più rischiosa delle trasformazioni strutturali.

Significato e Affermazioni

Il documento postula che l'ottimizzazione delle prove non è esclusivamente una funzione della scala del modello, ma è significativamente guidata da specializzazione specifica del compito e auto-miglioramento iterativo. Combinando una pipeline di ottimizzazione delle preferenze con buffer di replay e un'impalcatura neurosimbolica, ImProver 2 stabilisce che modelli piccoli e accessibili possono ristrutturare efficacemente prove complesse a livello di ricerca.

Gli autori affermano che il loro lavoro stabilisce l'ottimizzazione delle prove come un compito scalabile e apprendibile. Sostengono che il loro approccio affronta la necessità critica di mantenere le librerie formali e migliorare la qualità dei dati di addestramento per i futuri dimostratori, offrendo una strada per automatizzare il refactoring delle prove per la manutenibilità senza fare affidamento esclusivamente su modelli all'avanguardia massicci e costosi. Il lavoro evidenzia che, con un'adeguata impalcatura e addestramento, i modelli piccoli possono eguagliare o superare le prestazioni di sistemi sostanzialmente più grandi su obiettivi strutturali specifici.