💻 computer science

ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers

Questo articolo introduce ITPEval, il primo benchmark e l'infrastruttura unificata per la valutazione della traduzione automatica di prove formali attraverso quattro principali teoremi interattivi, rivelando che gli attuali grandi modelli linguistici faticano significativamente con la traduzione delle prove a causa di discrepanze nelle librerie e che il solo controllo dei tipi nativo spesso sovrastima la fedeltà semantica.

Autori originali: Jiayi Wu, Robert Joseph George, Anima Anandkumar

Pubblicato 2026-07-23

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jiayi Wu, Robert Joseph George, Anima Anandkumar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i matematici parlano quattro lingue diverse, ma stanno tutti cercando di risolvere esattamente gli stessi enigmi. Nell'arena ad alta posta in gioco della "dimostrazione formale di teoremi", i computer agiscono come arbitri supremi, controllando ogni singolo passaggio di una dimostrazione matematica per garantire che sia corretta al 100%. Tuttavia, proprio come gli esseri umani che parlano francese, giapponese, swahili e arabo, anche questi sistemi informatici (chiamati Interactive Theorem Provers, o ITP) hanno la loro grammatica, il loro vocabolario e le loro librerie di fatti pre-approvati unici. Una dimostrazione scritta perfettamente in un sistema è spesso un insieme di parole senza senso per gli altri. Questo crea un problema di isolamento: se una dimostrazione brillante è scritta in una lingua, non può essere facilmente utilizzata o controllata dagli altri. Gli scienziati hanno cercato di costruire dei "traduttori universali" per colmare questo divario, sperando che l'Intelligenza Artificiale (IA) potesse imparare a tradurre automaticamente queste dimostrazioni matematiche, permettendo a tutta la comunità di condividere il proprio lavoro.

Entra in scena ITPEVAL, uno studio recente che funge da esame linguistico massiccio e rigoroso per l'IA. I ricercatori volevano vedere se i modelli di IA più intelligenti di oggi potessero effettivamente tradurre le dimostrazioni matematiche formali tra quattro sistemi principali: Lean 4, Rocq, Isabelle e HOL Light. Non si sono limitati a chiedere all'IA di indovinare; hanno costruito un campo di prova specializzato con oltre 1.500 file sorgente e quasi 7.000 teoremi. Hanno diviso il test in due livelli: un livello "Controllato" con problemi matematici semplici e autosufficienti (come un quiz di vocabolario senza riferimenti esterni), e un livello "Ecosistema" che utilizza codice di librerie reali e disordinate che si basa su regole complesse e specifiche del sistema (come una conversazione completa ricca di slang e riferimenti culturali).

I risultati sono stati un misto di "non male" e "ancora molto difficile". Quando l'IA ha cercato di tradurre solo le enunciazioni dei teoremi (il "cosa"), i modelli migliori hanno ottenuto circa il 29,1% di successo. Ma quando le è stato chiesto di tradurre le dimostrazioni vere e proprie (il "come"), il tasso di successo è crollato a solo il 10,5%. Lo studio ha scoperto che l'ostacolo principale non era la matematica in sé o le diverse fondamenta logiche; era l' "ecosistema". L'IA ha faticato soprattutto quando doveva navigare tra le librerie specifiche, le convenzioni di denominazione e gli stili di automazione del sistema di destinazione. È come se l'IA potesse capire la frase "Il gatto si è seduto sul tappetino", ma fallisse quando le viene chiesto di tradurla in un dialetto specifico che richiede l'uso di un marchio specifico di tappetino e un tipo specifico di gatto.

Inoltre, i ricercatori hanno scoperto che non basta semplicemente far dire a un computer "Questo sembra corretto" (un controllo del tipo o type-check). Hanno eseguito un "controllo del significato" più profondo e hanno scoperto che, anche quando la traduzione dell'IA superava il test base del computer, era spesso matematicamente più debole o leggermente diversa dall'originale nel 46% dei casi. Lo studio suggerisce che, sebbene l'IA stia migliorando nelle basi, deve ancora imparare come adattarsi alla "cultura" unica di ogni sistema matematico prima di poter essere davvero un traduttore universale. Gli autori hanno anche esplorato un test di "andata e ritorno", in cui hanno tradotto la matematica in linguaggio naturale e viceversa, scoprendo che i risultati variavano enormemente a seconda del sistema utilizzato, suggerendo che l'uso combinato di più sistemi potrebbe aiutare, ma non è ancora una soluzione magica.

Riassunto Tecnico: ITPEVAL – Benchmarking della Traduzione Formale tra Interactive Theorem Provers

1. Definizione del Problema

L'ecosistema dei dimostratori di teoremi formali è attualmente frammentato. Sebbene i grandi modelli linguistici (LLM) abbiano ottenuto un successo significativo nella dimostrazione automatica di teoremi e nell'autoformalizzazione, i risultati verificati rimangono isolati all'interno di Interactive Theorem Prover (ITP) incompatibili. Ogni sistema (ad esempio, Lean 4, Rocq, Isabelle, HOL Light) implementa la propria fondazione logica, il proprio linguaggio di tattiche e le proprie librerie matematiche. Di conseguenza, un teorema dimostrato in un sistema non può essere direttamente invocato in un altro, portando a sforzi di formalizzazione duplicati e limitando i dati di addestramento disponibili per i dimostratori basati sull'apprendimento.

La traduzione tra diversi ITP — il compito di convertire le prove formali tra sistemi preservandone la correttezza — è stata oggetto di pochissimo studio sistematico. Gli sforzi esistenti, come i cataloghi "Formalizing 100 Theorems" o i framework di interoperabilità come Dedukti, si concentrano sul tracciamento della copertura o sull'abilitazione dello scambio di prove tramite rappresentazioni intermedie, ma mancano di benchmark standardizzati per valutare la qualità della traduzione. Inoltre, le metodologie di valutazione esistenti sono insufficienti; il semplice controllo dei tipi (type-checking) spesso produce elevati tassi di falsi positivi per quanto riguarda la correttezza semantica, e i benchmark di traduzione del codice non tengono conto delle profonde differenze nelle fondazioni logiche inerenti agli ITP.

2. Metodologia e Design del Benchmark

Gli autori presentano ITPEVAL, il primo benchmark progettato per valutare la traduzione automatica di prove formali tra quattro principali ITP: Lean 4, Rocq (precedentemente Coq), Isabelle e HOL Light. Il benchmark copre due distinte fondazioni logiche: il Calcolo delle Costruzioni Induttive (CIC) e la Logica dell'Ordine Superiore (HOL).

2.1. Struttura dei Dati

Il benchmark comprende 1.560 file sorgente e 6.848 teoremi, organizzati in due livelli distinti per isolare le fonti di difficoltà:

Tier A (Controllato): Contiene 64 file auto-contenuti e assiomatizzati (660 lemmi) derivati dal benchmark Babel-formal. Questi file includono le proprie definizioni e assunzioni, evitando la dipendenza da librerie specifiche del prover. Questo livello isola i problemi di traduzione fondamentale (es. teoria dei tipi, livelli di universo, argomenti impliciti).
Tier B (Ecosistema): Contiene formalizzazioni tratte da vere librerie della comunità, esponendo discrepanze nelle API, convenzioni di denominazione e differenze nello stile di dimostrazione. Questo livello include:
- 232 file da Formalizing 100 Theorems (4.924 lemmi), allineati tra tutti e quattro i sistemi.
- 1.264 file a teorema singolo da miniF2F (solo enunciati), che forniscono contenuti matematici competitivi diversificati.

Il design impone un requisito di intersezione a quattro vie: ogni file deve essere formalizzato in tutti e quattro gli ITP per garantire confronti direzionali puliti senza i confondimenti dovuti alla mancanza di dati.

2.2. Compiti di Traduzione

ITPEVAL valuta due compiti primari:

Traduzione dell'Enunciato (Statement Translation): Generazione di codice ITP target dove i corpi delle prove sono sostituiti da segnaposto (es. sorry). La verifica richiede che il file generato sia tipizzabile (type-check) nel sistema target.
Traduzione della Prova (Proof Translation): Generazione di file di prova completi e compilabili senza segnaposto. La verifica richiede che l'intero file venga compilato con successo nel prover target.

2.3. Infrastruttura di Verifica

Una componente critica della metodologia è itpeval, un'infrastruttura di verifica unificata multi-ITP. Per affrontare l'eterogeneità dei modelli di esecuzione degli ITP (ad esempio, elevati costi di avvio per Isabelle e HOL Light), il sistema impiega:

Backend caldi con isolamento dello stato: Garantisce che ogni controllo sia osservabilmente equivalente alla verifica di un artefatto in un ambiente fresco, prevenendo la fuga di dichiarazioni (declaration leakage).
Controllo nativo del target-prover: Tutti i label sono prodotti dai reali ITP target, non da euristiche superficiali.
Scheduling adattivo: Utilizzo di worker persistenti, batch di sessioni e fork server per gestire il throughput preservando al contempo la semantica di controllo per singolo file.

2.4. Controllo di Equivalenza Semantica

Riconoscendo che il controllo dei tipi è necessario ma insufficiente per la fedeltà semantica, gli autori implementano un controllo di Equivalenza Definizionale Estesa Bidirezionale (BEq) per i target Lean 4. Questo controllo deterministico verifica se un enunciato generato $G$ e un enunciato di riferimento $R$ si implicano a vicenda ( $G \vdash R$ e $R \vdash G$ ) utilizzando una ricerca di prove ristretta, evitando ulteriori varianze dipendenti dal modello.

3. Contributi Chiave

Benchmark Allineato a Quattro Vie: Un dataset di 1.560 file e 6.848 teoremi attraverso Lean 4, Rocq, Isabelle e HOL Light, strutturato in livelli controllati ed ecosistemici per quantificare il costo delle dipendenze dalle librerie.
Infrastruttura di Verifica Unificata: Un client a stato isolato (itpeval) che consente una valutazione scalabile e riproducibile tra ITP eterogenei con semantica di controllo nativa.
Valutazione Sistematica degli LLM: Una valutazione di cinque modelli frontier e open-weight (GPT-5.5, Claude Sonnet 4.6, Gemini 3.1 Pro, DeepSeek-V4-Pro, Qwen3-235B-A22B) su 12 coppie di traduzione dirette.
Analisi della Fedeltà Semantica: L'applicazione di BEq per dimostrare che il solo controllo dei tipi nativo può sovrastimare sostanzialmente la correttezza semantica.
Studio Esplorativo Round-Trip: Un'indagine sui loop di autoformalizzazione e auto-informalizzazione per valutare i pattern di verifica dipendenti dal target e i potenziali benefici del contesto multi-ITP.

4. Risultati

4.1. Prestazioni di Traduzione

Traduzione dell'Enunciato: Il modello con le migliori prestazioni, GPT-5.5, ha raggiunto un tasso di pass@1 del 29,1% complessivo. DeepSeek-V4-Pro segue con il 27,1%. Le prestazioni scendono significativamente per altri modelli (Gemini al 14,0%, Qoko e Claude sotto il 10%).
Traduzione della Prova: Le prestazioni sono sostanzialmente inferiori, con GPT-5.5 che raggiunge solo il 10,5% di pass@1 complessivo.
Gap tra i Tier: Il livello controllato (Tier A) è stato costantemente più facile del livello ecosistemico (Tier B). Per la traduzione della prova, GPT-5.5 ha raggiunto il 29,7% sui file controllati ma solo il 5,2% sui file dell'ecosistema. Ciò indica che il mismatch delle librerie (API, denominazioni, automazione) è la principale fonte osservata di fallimento, piuttosto che le differenze nelle fondazioni logiche.
Asimmetria Direzionale: La difficoltà di traduzione varia significatamente in base al target. Isabelle e HOL Light sono target forti per la traduzione dell'enunciato, ma Isabelle diventa il target più difficile per la traduzione della prova. La somiglianza della fondazione logica (es. da CIC a CIC) non garantisce tassi di successo più elevati; le convenzioni dell'ecosistema target giocano un ruolo maggiore.

4.2. Equivalenza Semantica (BEq)

Applicando il controllo BEq alle traduzioni verificate degli enunciati in Lean 4 da miniF2F:

Solo il 54,0% delle traduzioni verificate ha superato il controllo di equivalenza.
Claude Sonnet 4.6 ha mostrato il più alto tasso di passaggio BEq (83,8%) tra le traduzioni verificate, mentre gli altri oscillavano tra il 34,5% e il 48,4%.
Questo risultato dimostra che un enunciato può essere sintatticamente valido (type-checking) ma semanticamente più debole o spostato rispetto al teorema originale.

4.3. Round-Trip e Autoformalizzazione

In uno studio round-trip multi-ITP (NL $\to$ Formale $\to$ NL $\to$ Formale), Rocq e HOL Light hanno verificato circa un terzo degli output in entrambi i passaggi di formalizzazione, mentre Lean 4 è rimasto vicino all'11% e Isabelle è sceso al 4,3% nell'ultimo passaggio. Il contesto multi-ITP ha mostrato potenziali benefici per specifiche combinazioni modello-target (ad esempio, migliorando il pass@1 del primo step di Lean 4 dal 4,8% al 10,6%), ma i risultati non sono stati uniformi in tutti i sistemi.

5. Significato e Rivendicazioni

Il documento afferma che ITPEVAL fornisce il primo benchmark sistematico a quattro vie per la traduzione formale, rivelando che la barriera primaria alla traduzione cross-ITP non è la fondazione logica stessa, ma le dipendenze a livello di ecosistema (librerie, API e idiomi di prova).

Gli autori sottolineano che:

La verifica nativa è essenziale: Le euristiche superficiali o il solo controllo dei tipi sono insufficienti per valutare la fedeltà semantica.
L'infrastruttura conta: La valutazione affidabile cross-ITP richiede una verifica con isolamento dello stato per evitare fattori di confondimento come la fuga di dichiarazioni.
Direzioni future: Il campo deve dare priorità al recupero (retrieval), alla mappatura delle librerie e all'allineamento delle API rispetto alla pura traduzione fondazionale. Il documento nota anche i limiti, tra cui l'impostazione di valutazione zero-shot, la restrizione di BEq ai target Lean 4 e il potenziale di contaminazione dei dati di addestramento in dataset pubblici come miniF2F.

Il lavoro stabilisce una base per misurare i progressi nella traduzione formale, suggerendo che i sistemi futuri devono affrontare il problema del "mismatch delle librerie" per raggiungere una robusta interoperabilità tra gli ecosistemi di prove formali.