Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents

Il paper presenta NabaOS, un framework di verifica leggero ispirato all'epistemologia indiana Nyaya Shastra che rileva le allucinazioni degli agenti AI in tempo reale tramite ricevute di esecuzione crittograficamente firmate, offrendo un compromesso superiore tra latenza e copertura rispetto alle prove a conoscenza zero.

L'essenziale

Ecco una spiegazione semplice e creativa del paper NabaOS, pensata per chiunque, anche senza competenze tecniche.

Immagina di avere un assistente personale molto intelligente (un'IA) che fa cose per te: controlla le tue email, compra azioni, prenota viaggi o legge i risultati medici. Il problema è che a volte questo assistente inventa le cose. Potrebbe dirti: "Ho trovato 3 email da Alice" quando in realtà non ne ha cercate affatto, oppure: "Il prezzo dell'azione è 100 euro" quando in realtà è 90. Questo fenomeno si chiama allucinazione.

Fino a oggi, per controllare se un'IA dice la verità, gli esperti proponevano soluzioni complesse come i "Zero-Knowledge Proofs" (prove a conoscenza zero). Ma è come se, per verificare che un corriere abbia consegnato un pacco, dovessi costruire un laboratorio forense con un raggio laser che scansiona ogni singolo centimetro del pacco. Funziona, ma ci vuole un'ora e costa una fortuna. Per un assistente che deve rispondere in un secondo, è impossibile.

La Soluzione: NabaOS (Il "Scontrino" dell'IA)

Gli autori di questo paper hanno pensato: "Perché non usiamo un metodo più semplice, come quello che usiamo quando compriamo qualcosa al negozio?"

Hanno creato NabaOS, un sistema che si ispira alla filosofia indiana antica (Nyāya), ma che in pratica funziona come un sistema di scontrini digitali.

Ecco come funziona, passo dopo passo, con un'analogia:

1. Lo Scontrino Incontra il Corriere (Il "Receipt")

Quando l'IA chiede al computer di fare qualcosa (es. "Cerca le email di Alice"), il sistema non lascia che l'IA lo faccia da sola. Un "responsabile di sicurezza" (il runtime) esegue l'azione e genera immediatamente uno scontrino digitale firmato.

• Questo scontrino dice: "Ho cercato le email, ho trovato 3, ecco il loro contenuto, ecco l'ora esatta".
• È firmato con un codice segreto che l'IA non può falsificare. È come se il negozio ti desse uno scontrino con un ologramma che non puoi copiare.

2. L'IA deve "Farsi la domanda" (Self-Tagging)

Quando l'IA risponde a te, deve anche dire: "Ehi, questa frase che sto scrivendo è basata sullo scontrino n. 123 (fatto da me), oppure è una mia intuizione?".

• Se dice "Ho trovato 3 email", deve mostrare lo scontrino.
• Se dice "Alice sembra preoccupata", deve dire: "Questa è una mia deduzione basata sul contenuto delle email".

3. Il Controllo al Bancone (La Verifica)

Prima che la risposta arrivi a te, un piccolo controllore veloce (che impiega meno di 15 millisecondi, meno di un battito di ciglia) confronta le parole dell'IA con gli scontrini.

• Scenario A: L'IA dice "Ho trovato 5 email". Il controllore guarda lo scontrino: "No, lo scontrino dice 3". BAM! Rilevata un'allucinazione.
• Scenario B: L'IA dice "Non ho trovato nulla". Il controllore guarda lo scontrino: "Falso, lo scontrino dice che ce ne sono 3". BAM! Rilevata un'allucinazione.
• Scenario C: L'IA dice *"Alice è preoccupata"**. Il controllore vede che l'IA ha etichettato questa frase come "deduzione" (non come fatto diretto). Ok, passa, ma ti avvisa che è un'opinione, non un fatto.

Perché è geniale? (Le 3 Grandi Vantaggi)

1. È velocissimo: Non serve un supercomputer. Funziona in un lampo, perfetto per parlare con l'IA in tempo reale.
2. Non è "Tutto o Niente": La maggior parte dei sistemi dice solo "Vero" o "Falso". NabaOS ti dice di più, usando 5 livelli di fiducia, proprio come i filosofi indiani classificavano le fonti di conoscenza:
   • Visto con i miei occhi (Pratyaks.a): "Ho letto 3 email". (Fatto diretto, 100% sicuro).
   • Ho dedotto (Anumāna): "Alice è preoccupata". (Logica basata sui fatti, ma è un'interpretazione).
   • Mi hanno detto (Śabda): "Secondo Reuters...". (Cita una fonte esterna).
   • Non c'è (Abhāva): "Non ci sono email". (Verifica che il risultato sia vuoto).
   • Non so (Ungrounded): "Penso che domani piova". (Nessuna prova, solo un'opinione).
3. Funziona in tutte le lingue: Che tu parli italiano, hindi o cinese, lo "scontrino" è fatto di numeri e dati tecnici, non di parole. Quindi il controllo funziona uguale per tutti.

In sintesi

Immagina che NabaOS sia come un controllore dei biglietti su un treno.

• Le vecchie soluzioni (Zero-Knowledge) erano come fermare il treno, smontare ogni carrozza e controllare se il motore è stato costruito correttamente. Funziona, ma il treno non parte mai.
• NabaOS invece controlla semplicemente se hai il biglietto (lo scontrino) per la tratta che stai percorrendo. Se l'IA dice di essere andata a Milano ma non ha il biglietto per Milano, la fermi subito. Se ha il biglietto, sai che è andata lì, anche se poi decide di raccontarti una storia inventata sul viaggio (che viene etichettata come "storia inventata" e non come "fatto").

Il risultato? Un'IA che non solo ti risponde, ma ti dice come sa quello che sa, permettendoti di fidarti di più, senza aspettare minuti per la risposta.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents", presentato in italiano.

1. Il Problema: Il "Divario di Fiducia" negli Agenti AI

Gli agenti basati su Large Language Models (LLM) stanno evolvendo da semplici assistenti conversazionali a esecutori autonomi che gestiscono email, finanze, codice e record medici. Tuttavia, questi agenti soffrono frequentemente di allucinazioni:

• Fabricano l'esecuzione di strumenti (tool calls) che non sono mai avvenuti.
• Errano nel riportare il numero di risultati o i dati estratti.
• Presentano inferenze come fatti verificati.

Le soluzioni esistenti basate su Zero-Knowledge Proofs (ZK) (come zkAgent o zkLLM) offrono garanzie crittografiche sulla correttezza computazionale (il modello ha eseguito il calcolo correttamente), ma presentano tre limiti fondamentali per gli agenti interattivi:

1. Latenza: Richiedono minuti per query, rendendole inutilizzabili per risposte in tempo reale (<1 secondo).
2. Hardware: Necessitano di GPU specializzate, non disponibili sui dispositivi edge.
3. Disallineamento Semantico: Dimostrano che il calcolo è stato eseguito correttamente, ma non che l'output è fattualmente corretto. Un LLM può calcolare perfettamente un'allucinazione coerente internamente.

L'obiettivo è quindi sviluppare un sistema di verifica che sia leggero, veloce e focalizzato sulla "verità semantica" (l'aderenza delle affermazioni all'evidenza degli strumenti), piuttosto che sulla sola integrità computazionale.

2. Metodologia: NabaOS e la Classificazione Epistemica

Il framework proposto, NabaOS, si ispira alla scuola filosofica indiana Nyāya (in particolare al concetto di Pramāṇa, o fonti di conoscenza valida) per classificare ogni affermazione di un agente AI in base alla sua origine epistemica.

A. Classificazione delle Affermazioni (Pramāṇa)

Ogni affermazione nella risposta dell'LLM viene categorizzata in una delle seguenti classi, determinando il metodo di verifica:

1. Pratyakṣa (Percezione Diretta): Affermazioni che riportano direttamente l'output di uno strumento (es. "Alice ha inviato 3 email"). Verifica: confronto diretto con il "ricevuto" dello strumento.
2. Anumāna (Inferenza): Affermazioni dedotte dai dati dello strumento (es. "Alice sembra preoccupata"). Verifica: controllo che le premesse esistano nei dati grezzi.
3. Śabda (Testimonianza Esterna): Affermazioni basate su fonti esterne citate (es. "Secondo Reuters..."). Verifica: controllo che la fonte sia stata effettivamente recuperata.
4. Abhāva (Assenza): Affermazioni che dichiarano l'assenza di risultati (es. "Nessuna email trovata"). Verifica: controllo che lo strumento abbia restituito un set vuoto.
5. Ungrounded (Senza Fondamento): Affermazioni senza alcuna base di evidenza. Verifica: segnalazione come non verificabile.

B. Ricevute di Esecuzione Strumentale (Tool Execution Receipts)

Il cuore tecnico di NabaOS è la generazione di ricevute crittograficamente firmate per ogni chiamata allo strumento:

• Generazione: Il runtime dell'agente (non l'LLM) esegue lo strumento e genera una struttura dati contenente: ID, nome strumento, hash degli input/output, conteggio risultati, fatti estratti e timestamp.
• Firma: Ogni ricevuta è firmata con HMAC-SHA256 utilizzando una chiave segreta (Secret Key) a cui l'LLM non ha accesso.
• Proprietà:
  • Incontraffabilità: L'LLM non può creare ricevute valide per strumenti mai chiamati.
  • Rilevamento manomissione: Qualsiasi modifica ai dati invalida la firma.
  • Completezza: Il runtime genera una ricevuta per ogni chiamata, permettendo di rilevare chiamate omesse o inventate.

C. Protocollo di Verifica

1. L'LLM genera una risposta accompagnata da metadati strutturati che auto-classificano ogni affermazione secondo la categoria Pramāṇa e citano l'ID della ricevuta di supporto.
2. Il motore di verifica incrocia le affermazioni con le ricevute HMAC:
   • Per Pratyakṣa: Confronta conteggi e fatti con la ricevuta.
   • Per Abhāva: Verifica che il conteggio risultati sia 0.
   • Per Śabda: Verifica l'effettivo recupero della URL.
3. L'output finale all'utente include indicatori di fiducia (es. "Completamente Verificato", "Parzialmente Verificato", "Inaffidabile").

Per agenti autonomi complessi (dove il runtime non controlla i passaggi intermedi), NabaOS utilizza un protocollo di cross-checking (re-fetching di URL, riesecuzione di calcoli, validazione di schemi) che aggiunge una latenza di 200-500 ms.

3. Contributi Chiave

1. Framework di Classificazione Epistemica: Mappatura dei concetti Nyāya (Pramāṇa) allo stato di verifica delle affermazioni degli agenti AI, fornendo segnali di fiducia sfumati invece di un semplice "Vero/Falso".
2. Ricevute HMAC: Un meccanismo leggero e deterministico per provare l'esecuzione e l'output degli strumenti, rendendo impossibile per l'LLM falsificare l'invocazione di tool.
3. NyayaVerifyBench: Un nuovo benchmark multilingua (Inglese, Hindi, Cinese, Spagnolo) con 1.800 scenari, inclusi 6 tipi di allucinazioni iniettate sistematicamente.
4. Protocollo di Cross-Checking: Un metodo per verificare agenti autonomi profondi tramite re-fetching e riesecuzione indipendente.
5. Dimostrazione Empirica: Prove che i segnali di fiducia basati su Pramāṇa sono ben calibrati e utilizzabili.

4. Risultati Sperimentali

Valutati su NyayaVerifyBench, i risultati mostrano:

• Tasso di Rilevamento: NabaOS rileva il 91% delle allucinazioni complessive.
  • 94.2% per chiamate a strumenti fabricate.
  • 87.6% per errori di conteggio.
  • 91.3% per falsi negativi (affermazioni di "nessun risultato" quando ce ne sono).
  • 78.4% per falsificazione di fonti esterne (URL).
• Latenza: Overhead di verifica inferiore a 15 ms per risposta (vs. minuti per ZK proofs o secondi per metodi di auto-consistenza).
• Falsi Positivi (FPR): Solo il 4% su scenari puliti, significativamente inferiore ai metodi basati su similarità semantica (RAG) o auto-consistenza.
• Multilingua: Le prestazioni rimangono stabili tra le lingue (variazione <4.1%), poiché la verifica si basa su dati strutturati (hash, conteggi) indipendenti dalla lingua, a differenza dei metodi basati sul testo che degradano nelle lingue non inglesi.
• Calibrazione della Fiducia: Le risposte classificate come "Completamente Verificate" sono corrette nel 98.7% dei casi.

5. Significato e Implicazioni

Il lavoro di NabaOS segna un cambio di paradigma nella verifica degli agenti AI:

• Pragmatismo vs. Crittografia Pura: Dimostra che per gli agenti interattivi, la verifica basata su ricevute (receipts) è superiore ai Zero-Knowledge Proofs in termini di rapporto costo-beneficio, offrendo garanzie semantiche invece che solo computazionali.
• Trasparenza Epistemica: Invece di nascondere l'incertezza dietro un binario "verificato/non verificato", il sistema comunica all'utente come l'agente sa ciò che afferma (osservazione diretta, inferenza, testimonianza). Questo permette all'utente di applicare il proprio giudizio contestuale.
• Scalabilità: L'approccio è leggero enough per essere integrato in agenti personali interattivi senza richiedere hardware specializzato.
• Sicurezza: Offre una difesa contro l'invenzione di dati e l'alterazione dei risultati, sebbene non protegga contro errori intrinseci degli strumenti stessi o attacchi alla chiave HMAC.

In sintesi, NabaOS propone che la fiducia nell'era degli agenti AI non debba derivare dalla prova matematica del calcolo, ma dalla tracciabilità verificabile e classificata delle fonti di conoscenza, rendendo le interazioni uomo-macchina più trasparenti e sicure.