🤖 machine learning

Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs

Il documento introduce EG-VAR, un'architettura di ragionamento agentico basata su Lean 4 che elimina le allucinazioni dei LLM nell'inferenza empirica garantendo che tutti gli output verificati siano strutturalmente derivati da chiamate a strumenti attestati e prove controllate dal kernel, mentre esamina esplicitamente o si astiene da qualsiasi affermazione non supportata.

Autori originali: Junyu Ren

Pubblicato 2026-07-15

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Junyu Ren

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico super intelligente e chiacchierone (un LLM) che ama raccontare storie sul mondo. Il problema? A volte il robot diventa così sicuro dei propri ricordi da inventare fatti o ignorare l'evidenza reale proprio davanti ai suoi occhi. È come uno studente che, quando gli viene chiesto di controllare un problema di matematica contro il libro di testo, scrive semplicemente la risposta che pensa sia corretta perché la ricorda da un sogno, anche se il libro di testo dice qualcosa di diverso.

Per molto tempo, le persone hanno cercato di risolvere il problema fornendo al robot una "cassetta degli attrezzi" di fonti esterne, come una calcolatrice o un database. Ma l'articolo sostiene che dare semplicemente al robot una cassetta degli attrezzi non sia sufficiente. Il robot potrebbe comunque ignorare la cassetta degli attrezzi, o potrebbe usare i numeri della cassetta degli attrezzi ma poi torcere la logica per adattarla alla propria storia. È come dare a uno chef un ingrediente fresco e verificato, ma lasciargli cucinarlo come preferisce; il piatto finale potrebbe comunque essere un disastro.

La Grande Idea: La Fabbrica del "Claim Verificato"

Gli autori, guidati da Junyu Ren, hanno costruito un nuovo sistema chiamato EG-VAR (Evidence-Grounded Verified Agentic Reasoning). Pensa a questo non come a un robot che si limita a rispondere alle domande, ma come a una fabbrica ad alta sicurezza con un ispettore molto severo e con lo sguardo fisso.

Ecco come funziona la fabbrica, passo dopo passo:

Lo Strato degli Strumenti (Il Corriere Fidato): Per prima cosa, una macchina deterministica, noiosa e affidabile (non il robot chiacchierone) va alla fonte — come un foglio di calcolo o un database — e recupera i numeri grezzi. Appone su questi numeri un timbro "Verificato". Questo è l'unico modo per far entrare dati reali nella fabbrica.
Il Formalizzatore (Il Traduttore): Al robot chiacchierone (l'LLM) viene chiesto di tradurre la domanda umana in un linguaggio matematico rigoroso chiamato Lean 4. È come chiedere al robot di scrivere un contratto legale o una dimostrazione matematica invece di un paragrafo.
Il Kernel (L'Ispettore Implacabile): Questa è la parte più importante. Un piccolo programma informatico super rigoroso (il kernel di Lean) agisce come ispettore. Controlla il "contratto" del robot riga per riga.
- La Regola d'Oro: L'ispetto ha una regola che dice: "Non puoi dichiarare che un fatto è VERIFICATO a meno che tu non possa indicare un numero timbrato e sigillato dal Corriere Fidato".
- Se il robot prova a inventare un numero, o se prova a usare un numero ma collega la logica in modo errato, l'ispetto rifiuta l'intero processo.
Il Risultato:
- Se la dimostrazione passa, la fabbrica stampa una risposta VERIFICATA. Questa risposta arriva con una "scia di audit riproducibile", il che significa che chiunque può rieseguire la matematica in seguito e vedere esattamente come la risposta è stata costruita partendo dai dati originali.
- Se la dimostrazione fallisce, la fabbrica non tira a indovinare. Dice ASTIENI (che significa "non lo so" o "non posso dimostarlo"). È un onesto "mi arrendo" piuttosto che una bugia sicura di sé.

Cosa ha scoperto realmente il Paper

Gli autori hanno testato questo sistema su un set specifico di 120 domande riguardanti delle tabelle (fogli di calcolo).

Il punteggio "Perfetto": Quando le domande erano chiare e al robot venivano forniti gli strumenti corretti, EG-VAR ha risposto correttamente a 120 domande su 120. Era accurato al 100%.
La Competizione: Altri sistemi che utilizzavano gli stessi strumenti ma non avevano il rigoroso ispettore hanno ottenuto correttamente 114 domande su 120 (95%). Cometevano ancora errori.
Il Test "Controfattuale": Questo è stato il vero test di resistenza. Gli autori hanno preso delle tabelle e hanno segretamente cambiato i numeri per contraddire ciò che il robot "sapeva" dal suo addestramento (come cambiare la popolazione di un paese in un numero minuscolo).
- Senza il rigoroso ispettore, il robot ignorava i nuovi numeri e restava fedele ai suoi vecchi ricordi l'80% - 90% delle volte.
- Con EG-VAR, il sistema è rimasto fedele al 100% ai nuovi numeri modificati. Non importava quanto fosse forte la vecchia memoria del robot; l'ispetto lo costringeva a usare i nuovi dati.

Cosa esclude il Paper (Le "Zone Proibite")

Il paper è molto chiaro su ciò che questo sistema non è e ciò che non può fare:

Non è una cura magica per tutte le allucinazioni. Il paper afferma esplicitamente che il robot può ancora commettere errori nel tradurre la domanda umana nel linguaggio matematico. Se il robot capisce male la domanda e scrive il problema matematico sbagliato, l'ispettore controllerà perfettamente quel problema matematico, ma la risposta sarà comunque errata rispetto alla domanda originale.
- Nei loro test, questo "errore di traduzione" si è verificato circa il 3,3% delle volte con un modello e l'1,7% con un modello più forte.
Non corregge i dati errati. Se il foglio di calcolo originale contiene una menzogna, il sistema verificherà fedelmente quella menzogna. Il sistema garantisce che la risposta provenga dalla fonte, non che la fonte sia vera.
Non è un sistema di "forse". Il paper argomenta contro i sistemi che forniscono un "punteggio di confidenza" (come "sono sicuro all'80%"). Inveve, EG-VAR utilizza un rigoroso cancello "Sì/No". O hai una dimostrazione verificata, o hai un onesto "mi astengo".

Quanto sono sicuri?

Gli autori sono molto fiduciosi nella sicurezza strutturale del loro sistema. Hanno dimostrato matematicamente (Teoremi 3.1 e 3.2) che:

Nessuna risposta VERIFICATA può mai apparire senza una chiamata allo strumento timbrata che la supporti.
Ogni passaggio della logica in una risposta VERIFICATA è stato controllato dal kernel ed è matematicamente valido.

Tuttavia, riguardo all'accuratezza della traduzione del linguaggio umano da parte del robot, sono più cauti. Hanno misurato i tassi di errore (3,3% e 1,7%) nei loro test specifici e suggeriscono che questi numeri potrebbero migliorare se addestrassero maggiormente il robot su come tradurre correttamente le domande. Ma il "pavimento di sicurezza" — la garanzia che il sistema non mentirà silenziosamente — è costruito nell'architettura, non solo nel cervello del robot.

In sintamente

EG-VAR è come una fabbrica che rifiuta di spedire un prodotto a meno che non possa mostrare una ricevuta per ogni singolo componente utilizzato. Se il robot prova a infilare un pezzo falso, la fabbrica ferma la linea e dice: "No, non possiamo spedire questo". Trasforma il problema dei "robot bugiardi" in un problema di "ricevute mancanti", che è molto più facile da individuare e correggere. Sebbene non risolva ogni problema (il robot può ancora fraintendere l'ordine), assicura che quando la fabbrica dice "Verificato", intenda davvero "Verificato".

Riassunto Tecnico: Ragionamento Agente-Verificato Basato su Evidenza (EG-VAR)

Definizione del Problema

I Large Language Models (LLM) spesso allucinano fatti empirici durante l'inferenza, sia fabbricando dati sia facendo affidamento su prior parametrici obsoleti che contrastano con l'evidenza recuperata. Sebbene il ragionamento aumentato da strumenti (RAG) permetta ai modelli di consultare fonti esterne, esso non riesce a garantire affermazioni empiriche verificabili. Gli approcci attuali soffrono di due fallimenti strutturali:

Output Non Attestati: Gli output accettati non discendono necessariamente da evidenze attestate; i modelli possono scartare i dati recuperati che contrastano con i loro prior interni (bias di conferma).
Deduzioni Non Verificate: Le deduzioni accettate non reggono necessariamente sotto uno scrutinio formale; i modelli possono compiere passaggi logici invalidi o interpretare erroneamente gli output degli strumenti.

Le soluzioni esistenti, come i verificatori di fatti simbolici o i prover di teoremi guidati da LLM, mancano o di un ancoraggio esterno (prover solo matematici) o di componenti apprese che non possano garantire strutturalmente l'assenza di affermazioni non supportate.

Metodologia: Architettura EG-VAR

Il documento presenta EG-VAR (Evidence-Grounded Verified Agentic Reasoning), un'architettura a quattro livelli progettata per rendere il ragionamento empirico governabile integrando un assistente alla prova (Lean 4) con l'attestazione degli strumenti. Il sistema tratta l'LLM come una componente non attendibile all'interno di un registro di fiducia rigorosamente definito.

Lo Stack a Quattro Livelli

L1: Livello Strumentale (Affidabile, Deterministico): Un runtime deterministico esegue query contro fonti esterne (es. lookup di celle in tabelle, aggregati). Produce un payload Attested T — un testimone di runtime che registra la query, l'identità della fonte e il risultato. Solo il runtime può generare questi testimoni.
L2: Formalizzazione per Fonte (Auditata Offline): Un "curatore" definisce un catalogo di lift per ogni fonte di dati. Questo mappa i fatti di archiviazione L1 (es. "la cella alla riga $r$ , colonna $c$ ha valore $v$ ") a fatti dell'ontologia del mondo L2 (es. HasProperty, ArgmaxWhere). Questi lift sono auditati una sola volta e importati come assiomi.
L3: Kernel Lean 4 (Affidabile, Formale): Il kernel è l'unica autorità per coniare affermazioni Evidence Verified. Esso impone una singola regola di coniazione, mkVerified, che richiede un ipotetico Attested T dal runtime. Il kernel controlla il tipo di ogni passaggio della prova; se un passaggio fallisce, l'affermazione viene rifiutata.
L4: Solver LLM (Non Affidabile, Stocastico): L'LLM riceve un obiettivo tipizzato e propone tattiche di prova. Può consumare termini Attested T introdotti dal runtime, ma non può sintetizzarli. Se il kernel rifiuta la tattica, il sistema itera o si astiene.

Meccanismi Core

La Regola mkVerified: L'unico costruttore per Evidence Verified richiede un testimone Attested T. Ciò assicura che nessun output verificato possa esistere senza una corrispondente chiamata allo strumento (Teorema 3.1).
Testimoni di Somma Dipendente: Le affermazioni sono formulate come somme dipendenti ( $\Sigma$ ). Per una domanda "Quale entità ha la proprietà $P$ ?", l'obiettivo è $\Sigma (e : \text{String}) (v : \text{Value}), \text{Evidence Verified}(\dots)$ . La risposta superficiale è il testimone estratto dalla prova controllata dal kernel.
Astensione Onesta: Se il kernel rifiuta la prova (a causa di lift mancanti, tattiche non valide o mancanza di attestazione), il sistema produce un ABSTAIN con una traccia di audit riproducibile, invece di indovinare.
Disciplina dei Gradi: L'evidenza porta gradi espliciti (VERIFIED, SUPPORTED, PLAUSIBLE, SPECULATIVE). Il sistema impone una regola di "non-upcast": le conclusioni non possono superare il grado delle loro premesse più deboli.

Contributi Chiave

Garanzia Strutturale di Ancoraggio: EG-VAR è la prima architettura che combina un kernel di assistentia alla prova con l'attestazione degli strumenti come assioma tipizzato. Fornisce una garanzia strutturale (Teorema 3.1) che ogni output VERIFIED discende da una chiamata a uno strumento attestata, eliminando le allucinazioni non supportate indipendentemente dalla forza dell'LLM.
Sicurezza Formale vs. Fedeltà Semantica: Il documento distingue tra sicurezza formale (la prova è accettata dal kernel) e fedeltà semantica (l'obiettivo formalizzato corrisponde alla richiesta in linguaggio naturale). EG-VAR garantisce la prima strutturalmente; la seconda è trattata come un obiettivo di accuratezza affrontabile tramite il fine-tuning del formalizzatore.
Tracce di Audit Riproducibili: Ogni affermazione verificata è accompagnata da un file di prova Lean autocontenuto. Terze parti possono ricontrollare il tipo dell'affermazione offline senza rieseguire l'LLM, utilizzando il kernel, i lift per fonte e l'adattatore dello strumento.
Protocollo di Formalizzazione per Fonte: Il documento introduce un metodo per trattare le fonti di dati come artefatti di fiducia co-equi, richiedendo la formalizzazione (cataloghi di lift) che separa la cura lato fonte dalla ragionata lato affermazione.

Risultati Empirici

La valutazione si concentra su TableBench (ragionamento numerico su tabelle) attraverso tre livelli:

Livello 1 (Benchmark Gold-Goal, $n=120$ ):
- EG-VAR ha ottenuto 120/120 (100%) su affermazioni univoche, corrispondendo alla risposta gold con una prova controllata dal kernel.
- I baseline (stesso modello con strumenti ma senza kernel) si sono stabilizzati al 95.0% (114/120).
- EG-VAR ha colmato il divario portandolo a zero, dimostrando che la disciplina del kernel impone la corretta composizione degli output degli strumenti.
Livello 1.5 (Stress Test Controfattuali, 5 domini $\times$ 2 modelli):
- Sono state create tabelle sintetiche in cui i valori delle celle contraddicevano il prior di conoscenza del mondo del modello (es. cambiare la popolazione di un paese con un valore basso).
- EG-VAR è rimasto 100% fedele alla fonte in tutti i domini e per tutte le magnitudo di inversione.
- I baseline (stesso strumento) sono scesi all'80–90% (Sonnet) e 50–80% (senza strumento), mostrando che EG-VAR previene strutturalmente il fallimento di "override del prior" dove i modelli ignorano l'evidenza recuperata.
Livello 2 (End-to-End con LLM Formalizer, $n=120$ ):
- In un ambiente completamente automatizzato in cui l'LLM propone l'obiettivo formale (rimuovendo il bypass del fixture gold), l'errore del formalizzatore puro è stato del 3.3% (Sonnet) e del 1.7% (Opus).
- I disaccordi rimanenti sono stati categorizzati come ambiguità loggate (4.2%) o problemi di artifact del benchmark emersi (1.7%), tutti espliciti e auditabili piuttosto che allucinazioni silenziose.

Significato e Rivendicazioni

Il documento posiziona EG-VAR come un'interfaccia di governance tecnica per affermazioni empiriche ad alto rischio. La sua importanza risiede nello spostare l'onere della sicurezza dall'apprendimento statistico all'enforcement architettonico:

Eliminazione degli Output Non Supportati: La garanzia strutturale assicura che le "allucinazioni verificate" (output etichettati come VERIFIED senza evidenza) siano impossibili sotto il modello di minaccia del sistema.
Incertezza Misurabile: Rendendo l'astensione un esito strutturale del rifiuto del kernel piuttosto che un comportamento appreso, il sistema fornisce un "tasso di rifiuto" misurabile e un'incertezza tipizzata.
Volano di Formalizzazione: Gli autori sostengono che man mano che le fonti di dati evolveranno verso interfacce tipizzate (SQL, API, Knowledge Graph), l'onere della formalizzazione si ammortizzerà in infrastrutture riutilizzabili, riducendo il costo per query della verifica.
Proprietà di Governance: Il sistema consente tre proprietà verificabili: (i) audit indipendente di ogni output verificato tramite prove riproducibili; (ii) incertezza tipizzata tramite la disciplina dei gradi; (iii) astensione onesta come proprietà misurabile del sistema.

Il documento conclude che, sebbene rimangano errori di formalizzazione semantica (affrontabili tramite fine-tuning sul corpus del curatore rilasciato), il pavimento di sicurezza strutturale è stabilito oggi, offrendo una via per eliminare le allucinazioni degli LLM nell'inferenza empirica.