🤖 AI

Theoria: Rewrite-Acceptability Verification over Informal Reasoning States

Il documento introduce Theoria, un'architettura di verifica che migliora l'affidabilità delle risposte dell'IA riscrivendo le soluzioni in transizioni di stato tipizzate e verificabili con giustificazioni esplicite, superando così i giudici LLM olistici nel rilevare premesse nascoste e citazioni fabbricate, pur mantenendo un'elevata precisione su problemi di livello esperto.

Autori originali: Ben Slivinski, Michael Saldivar

Pubblicato 2026-07-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ben Slivinski, Michael Saldivar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un architetto brillante ma talvolta troppo sicuro di sé per progettare un ponte. Non vuoi solo il progetto finale; hai bisogno di sapere perché ogni trave è stata posizionata in quel punto esatto. Se l'architetto dice: "Questa trave va qui perché mi sembra giusto", non puoi fidarti del ponte. Ma se dice: "Questa trave va qui a causa della Legge X, ed ecco il calcolo che lo dimostra", allora puoi controllare i conti.

Questo è il problema che Theoria risolve per l'Intelligenza Artificiale.

Il Problema: Due modi fallaci di fidarsi dell'IA

Attualmente, abbiamo due modi principali per verificare se la risposta di un'IA è buona, e entrambi presentano delle lacune:

L'approccio del "Matematico" (Assistenti alla prova formale): È come assumere un robot che parla solo un codice matematico rigoroso e inscalfibile. È perfetto, ma può comprendere solo problemi che sono già stati tradotti in quel codice. La maggior parte dei problemi del mondo reale (come gli argomenti legali o le teorie scientifiche) è disordinata e informale, quindi il robot non riesce a leggerli.
L'approccio del "Sentore" (Giudici scalari): È come chiedere a un essere umano di leggere il saggio di un'IA e dare un punteggio da 1 a 10. Copre molto terreno, ma il punteggio è una scatola nera. Non sai perché ha ottenuto un 7. Ha saltato un'assunzione nascosta? Ha inventato una citazione? Ottieni solo un numero, e non puoi auditarlo in seguito.

La Soluzione: Il detective della "Riscrittura dello Stato"

Theoria introduce una terza via. Invece di chiedere all'IA di scrivere un lungo saggio o di tradurre tutto in codice matematico, Theoria costringe l'IA a riscrivere la sua risposta come un registro di cambiamenti di stato passo dopo passo.

Pensalo come a un file di salvataggio di un videogioco o a un sistema di controllo delle versioni (come Git) per il ragionamento.

L'impostazione: L'IA parte da uno "Stato 0" (l'enunciato del problema).
La mossa: Per arrivare alla risposta, l'IA deve compiere una mossa verso lo "Stato 1", poi lo "Stato 2", e così via.
La regola: Per ogni singola mossa, l'IA deve fornire un biglietto (una giustificazione). Il biglietto può essere solo di uno di questi tre tipi:
1. Una Citazione: "Sto usando il Teorema X."
2. Un Calcolo: "Ho fatto i conti: 2+2=4."
3. Un Fatto Dato: "Il problema mi ha detto questo."

Il Trucco Magico: "Completezza del Cambiamento"

Ecco il segreto. Theoria ha una regola ferrea: Ogni singolo cambiamento tra lo Stato A e lo Stato B deve essere spiegato dal biglietto.

Se l'IA prova a inserire furtivamente un'assunzione nascosta (come "Assumi che il ponte sia fatto d'oro") senza un biglietto, il sistema la intercetta. Il "cambiamento" (aggiungere l'assunzione dell'oro) appare nel registro, ma il biglietto (la giustificazione) non lo copre. Il sistema urla: "Aspetta! Hai cambiato lo stato, ma non ci hai mostrato la ricevuta!"

Questo costringe l'IA a essere onesta. Non può nascondere una bugia in un lungo paragrafo di testo; deve mostrare l'esatto momento in cui la bugia è entrata nella conversazione.

Come funziona in pratica

Il Solver: Un'IA cerca di risolvere un problema.
Il Formalizzatore: Una seconda IA riscrive quella soluzione nel "Registro di cambiamento di stato" descritto sopra. Se il solver ha fatto un salto logico, il formalizzatore deve scriverlo come un passaggio specifico.
I Giudici: Specializzati auditor IA controllano ogni passaggio.
- Un "Giudice Matematico" controlla i calcoli.
- Un "Giudice delle Citazioni" controlla se il teorema citato esiste davvero e si applica.
- Un "Giudice dei Fatti" controlla se il fatto era presente nel problema originale.
Il Verdetto: Se ogni passaggio ha un biglietto valido, la risposta è Certificata. Se anche un solo passaggio manca di un biglietto o ha un biglietto falso, la risposta è Rifiutata.

Cosa ha scoperto il paper

Gli autori hanno testato il sistema su problemi difficili (come quelli presenti negli esami specialistici) e hanno scoperto che:

Alta Fiducia: Quando Theoria dice che una risposta è corretta, è corretta il 91,4% delle volte.
Migliore nel cogliere bugie subdole: Quando l'IA cerca di nascondere una premessa (un'assunzione nascosta) o inventare una citazione, Theoria la intercetta nel 90,6% dei casi. Un normale giudice basato sul "sentore" la intercetta solo nel 62,5% dei casi.
Non è magico sugli errori matematici: Se l'IA commette semplicemente un errore di calcolo elementare (come dire che 2+2=5), sia Theoria che il giudice standard lo intercettano all'incirca con la stessa frequenza. Il vantaggio speciale di Theoria è specificamente per intercettare la logica nascosta e le fonti false.
Complementarità: Theoria e i giudici standard falliscono su problemi diversi. Se si usano entrambi, si può intercettare quasi tutti gli errori.

Il Punto Fondamentale

Theoria non cerca di rendere l'IA più intelligente; cerca di rendere il suo ragionamento auditabile.

Trasforma un saggio vago e inaffidabile in un registro trasparente di cambiamenti. Non promette che ogni risposta sarà corretta (rifiuta circa il 43% delle risposte perché non riesce a verificarle), ma per le risposte che approva, puoi controllare la ricevuta, controllare i conti e sapere esattamente perché è sicuro fidarsi.

In un mondo in cui l'IA potrebbe allucinare i fatti, Theoria è il sistema che dice: "Mostrami la ricevuta per ogni singolo passaggio, o non firmerò l'approvazione."

Sintesi Tecnica: Theoria – Verifica della Riproducibilità della Scrittura su Stati di Ragionamento Informale

1. Definizione del Problema

Il documento affronta il "problema della fiducia" nel ragionamento dell'IA: distinguere quando una risposta generata dall'IA debba creare una dipendenza giustificata, particolarmente in settori critici per la sicurezza (scienza, legge, finanza, medicina). Gli approcci attuali affrontano una dicotomia:

Assistenti di Dimostrazione Formale (es. Lean, Coq): Offrono certezza matematica ma non riescono a coprire la maggior parte delle distribuzioni di problemi a causa dell'alto costo e della fragilità semantica dell'autoformalizzazione dei requisiti informali in linguaggio naturale.
Giudici LLM Scalari: Offrono una copertura ampia ma producono punteggi opachi che non possono essere auditati, ereditano i problemi di coerenza degli LLM e non riescono a identificare il perché una dimostrazione sia errata (es. premesse nascoste, citazioni fabbricate).

La sfida centrale è verificare il ragionamento informale senza richiedere una formalizzazione completa, garantendo al contempo che gli errori — specificamente le assunzioni non dichiarate e i salti logici — siano visibili e auditabili.

2. Metodologia: L'Architettura Theoria

Theoria introduce un'architettura di verifica che riscrive la risposta in linguaggio naturale di un solver in una testimonianza di prova (proof witness): una sequenza di transizioni di stato tipizzate.

2.1 La Inquadratura della Scrittura (Rewrite Framing)

Invece di trattare una dimostrazione come un blocco di prosa, Theoria la decompone in una traiettoria di stati $(S_0, S_1, \dots, S_n)$ .

Stato ( $S_i$ ): Un elenco ordinato di stringhe che rappresentano i fatti stabiliti e l'obiettivo corrente.
Transizione: Un passaggio da $S_{i-1}$ $S_{i - 1}$ a $S_i$ $S_{i}$ è autorizzato da un tipo specifico di giustificazione:
1. Citazione: Un teorema, una definizione o una regola di inferenza.
2. Computazione: Manipolazione aritmetica o simbolica.
3. Dato dal Problema: Fatti esplicitamente dichiarati nel testo del problema.
L'Invariante di Completezza del Cambiamento: Ogni differenza semantica tra $S_{i-1}$ e $S_i$ deve essere giustificata dalla specifica giustificazione indicata. Se una premessa è necessaria per derivare il nuovo stato ma non è presente nello stato precedente o nella giustificazione, essa costituisce una mutazione non autorizzata.

2.2 Pipeline di Verifica

Il sistema opera in un ciclo: Solve $\to$ Formalize $\to$ Judge $\to$ Filter $\to$ Repair.

Solver: Propone una soluzione in linguaggio naturale (potenziata da strumenti, es. ricerca web).
Formalizer: Riscrive la soluzione in una testimonianza di transizione di stato. Impone che le premesse debbano essere esplicite prima di essere utilizzate.
Giudizio Specializzato Parallelo:
- Giudici di Computazione: Ricalcolano i passaggi da zero.
- Giudici di Citazione: Verificano l'esistenza e l'applicabilità dei teoremi citati rispetto alla differenza (diff) specifica dello stato.
- Giudici dei Dati del Problema: Verificano i fatti rispetto al testo originale.
- Giudice dello Stato Iniziale: Audita $S_0$ per garantire che non vengano introdotte premesse ingiustificate all'inizio.
- Tutti i giudici sono istruiti in modo avversariale per trovare errori piuttosto che confermare la plausibilità.
Filtro di Pedanteria: Distingue tra errori sostanziali e un eccesso di rigore riguardo alla notazione informale o alla compressione.
Sollevamento della Convenzione (Convention Lift): Permette al sistema di accettare un passaggio se una convenzione di dominio standard e citabile risolve un rifiuto, a condizione che l'assunzione sia registrata esplicitamente.
Certifica-o-Rifiuta (Certify-or-Decline): Il sistema emette una decisione binaria. Se tutti i passaggi superano il controllo (o vengono risolti tramite il sollevamento della convenzione), la risposta è Certificata. Se un passaggio fallisce e non può essere riparato entro i limiti, la risposta è Rifiutata.

3. Contributi Chiave

Il contributo primario del documento non è l'uso di modelli multipli o del controllo dei passaggi (che sono comuni), ma la specifica forma della testimonianza (witness format) e le sue garanzie teoriche:

Garanzia di Esposizione (Proposizione 4.4): L'invariante di completezza del cambiamento converte le premesse nascoste (lacune di ragionamento globale) in mutazioni non autorizzate locali e osservabili. Una premessa nascosta deve apparire come un nuovo elemento nello stato (innescando un controllo della licenza) o violare l'invariante. Ciò forza gli errori in superficie dove possono essere rilevati dai giudici locali.
Predizioni della Classe di Errore (Proposizione 4.5): Il formato prevede che i vantaggi della verifica si concentrino in:
- Premesse Nascoste: Esposte come mutazioni non autorizzate.
- Citazioni Fabbricate: Esposte perché l'evidenza è esplicitamente tipizzata e controllata rispetto alla differenza (diff).
- Nessun Vantaggio: Gli errori aritmetici e le applicazioni errate di teoremi (dove il teorema esiste ma è applicato male) non ricevono alcun vantaggio strutturale di esposizione rispetto alla prosa, poiché l'errore è semantico piuttosto che strutturale.
Decomposizione del Fallimento: Il documento distingue tra Fallimento di Esposizione (il formato nasconde l'errore) e Fallimento del Giudice (il giudice manca di rilevare un errore esposto). Theoria mira a minimizzare il primo, lasciando il secondo da affrontare empiricamente.

4. Risultati Empirici

La valutazione è stata condotta su HLE-Verified Gold (185 problemi esperti) e GPQA Diamond (65 problemi scientifici di livello graduate).

4.1 Performance su HLE-Verified Gold

Precisione Certificata: 91,4% (96/105 corretti) con un IC di Wilson al 95% di [84,5%, 95,4%].
Copertura: 56,8% (105/185 problemi certificati).
Asimmetria: Le risposte rifiutate sono state circa 5,0 volte più propense a essere errate rispetto alle risposte certificate (tasso di errore del 42,5% vs 8,6%).
Confronto con Solver-Only: Un solver potenziato dal web ha raggiunto un'accuratezza dell'83,8% con il 100% di copertura. La pipeline di Theoria ha filtrato una parte significativa degli errori, riducendo il tasso di errore nel bucket certificato all'8,6%.
Confronto con Giudici Olistici: I giudici LLM olistici (che assegnano un singolo punteggio di confidenza) hanno raggiunto una precisione comparabile (92,4–93,3%) a parità di copertura. Tuttavia, sono falliti su problemi differenti (indice di Jaccard 0,14–0,36), indicando una copertura degli errori complementare.

4.2 Robustezza Avversariale

Su un benchmark di 95 prove avvelenate (iniezione di tipi specifici di errore):

Rilevamento Complessivo: Theoria ha catturato il 94,7% (90/95) rispetto all'83,2% (79/95) del giudizio olistico ( $p = 0,0017$ ).
Specifiche per Classe di Errore:
- Premesse Nascoste: Theoria 90,6% vs Olistico 62,5% (gap di 28 punti percentuali).
- Citazioni Fabbricate: Theoria 100% vs Olistico 90%.
- Aritmetica/Applicazione Errata di Teoremi: Le performance sono state identiche (~95% e ~93% rispettivamente), confermando la previsione teorica che il formato non offre vantaggi strutturali per questi tipi di errore.

4.3 Out-of-Distribution (GPQA Diamond)

Precisione Certificata: 97,1% (33/34).
Copertura: 52,3%.
L'alta precisione su un benchmark differente suggerisce che il confine "certifica-o-rifiuta" è guidato dalla formalizzabilità del ragionamento piuttosto che dalla calibrazione specifica del benchmark.

4.4 Potenziale di Ensemble

Poiché Theoria e i giudici olistici falliscono su set di problemi disgiunti, le strategie di ensemble (es. voto di maggioranza) hanno raggiunto una precisione del 93,6% con una copertura del 58,9%, superando qualsiasi singolo metodo.

5. Significato e Rivendicazioni

Il documento sostiene che Theoria fornisce un meccanismo di supervisione scalabile che colma il divario tra l'output grezzo dell'LLM e la verifica formale.

Auditabilità: A differenza dei punteggi scalari, Theoria produce una traccia di prova leggibile dall'uomo in cui ogni passaggio può essere sfidato indipendentemente.
Vantaggio Strutturale: Il sistema non si affida al giudice per ricostruire una prova dalla prosa. Inveve, riduce il compito di verifica a una domanda locale: "Questa giustificazione autorizza questo specifico cambiamento di stato?".
Complementarità: Il documento sostiene che Theoria non sia un sostituto dei giudici olistici, ma un approccio complementare. Il basso overlap di Jaccard negli errori suggerisce che combinare architetture di verifica strutturalmente diverse porti a una maggiore affidabilità.
Limitazioni: Gli autori riconoscono che Theoria non può rilevare errori che non producono alcuna mutazione di stato osservabile (es. sottili interpretazioni errate del problema in $S_0$ ) e che attualmente si affida a giudici LLM piuttosto che a backend formali (come Lean o solver SMT), sebbene sia progettato per essere compatibile con essi.

In sintesi, Theoria dimostra che imponendo un invariante di completezza del cambiamento sul ragionamento informale, è possibile far emergere assunzioni nascoste ed evidenze fabbricate che la valutazione olistica standard non riesce a rilevare, fornendo un confine rigoroso e auditabile per la fiducia nel ragionamento generato dall'IA.