🤖 AI

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

Il paper presenta IMMACULATE, un framework pratico per l'audit dei modelli linguistici di grandi dimensioni che rileva deviazioni economiche come la sostituzione del modello o l'addebito eccessivo di token utilizzando la computazione verificabile senza richiedere hardware fidato o accesso agli interni del modello, garantendo un overhead di throughput inferiore all'1%.

Autori originali: Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Pubblicato 2026-02-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di ordinare un caffè in una macchinetta automatica molto costosa. Tu paghi per un "caffè espresso premium", ma la macchinetta potrebbe, senza che tu te ne accorga, usare chicchi di caffè scadenti, versare meno caffè del dovuto, o addirittura sostituire il caffè con una semplice bevanda calda colorata, facendoti pagare lo stesso prezzo pieno.

Nel mondo dell'Intelligenza Artificiale (i grandi modelli linguistici o LLM), succede qualcosa di simile. Le aziende offrono questi modelli come servizi "scatola nera": tu invii una domanda, loro ti danno una risposta e ti fatturano in base a quante parole (token) hanno usato. Il problema è che non puoi vedere cosa succede dentro la scatola.

L'azienda potrebbe:

Sostituire il modello: Usare un modello più piccolo e veloce (e quindi più economico) invece di quello costoso che hai pagato.
Barare sulla precisione: Usare calcoli approssimativi per risparmiare energia, ottenendo risposte peggiori.
Fatturare in eccesso: Dire che ha usato 100 parole quando ne ha usate solo 50, per farti pagare di più.

La soluzione: IMMACULATE

Gli autori di questo paper hanno creato IMMACULATE, un sistema che funziona come un ispettore sanitario invisibile per queste macchinette AI. Non ha bisogno di smontare la macchina (non deve vedere il codice o i segreti dell'azienda) e non ha bisogno di hardware speciale. Funziona così:

1. L'ispezione a campione (Il "Campionatore Casuale")

Immagina che un ispettore arrivi in un ristorante e chieda di assaggiare ogni piatto servito. Sarebbe impossibile e costoso. Invece, l'ispettore arriva, si mescola alla folla come un cliente normale, e ogni tanto chiede: "Fammi vedere la ricetta esatta di questo piatto specifico".

IMMACULATE fa lo stesso:

Invia richieste casuali al modello AI, fingendo di essere un utente normale.
A volte, dopo aver ricevuto la risposta, rivela la sua identità di "ispettore" e chiede al server: "Dimmi la prova che hai fatto esattamente questo calcolo".
Poiché il server non sa quando verrà controllato, deve comportarsi onestamente ogni volta, altrimenti rischia di essere scoperto.

2. L'impronta digitale matematica (La "Distanza dei Logit")

Qui entra in gioco la parte magica. Quando un computer fa calcoli, a volte ci sono piccole differenze dovute al modo in cui i chip elaborano i numeri (come due cuochi che pesano gli ingredienti con bilance leggermente diverse). Queste differenze sono normali.

Ma se il server sta barando (usando un modello diverso o calcoli troppo approssimativi), le differenze diventano enormi e strutturate.
IMMACULATE usa una metrica chiamata LDD (Distribuzione della Distanza dei Logit).

Analogia: Immagina di lanciare un dado. Se è un dado onesto, i numeri escono in un certo modo. Se è truccato, i numeri escono in modo diverso.
LDD misura la "distanza" tra la risposta che il server ha dato e quella che avrebbe dovuto dare se avesse usato il modello perfetto e costoso che ha promesso.
Se la distanza è piccola, è solo "rumore" normale (il dado è onesto). Se la distanza è grande, il server ha barato (il dado è truccato).

3. La prova matematica (Il "Certificato di Autenticità")

Quando l'ispettore chiede la prova, il server deve generare una prova crittografica. È come se il server dovesse produrre un certificato firmato matematicamente che dice: "Giuro che ho usato il modello X e ho fatto i calcoli Y, e la distanza tra il mio risultato e quello ideale è Z".
Questa prova è così complessa che il server non può inventarla senza aver fatto davvero il lavoro.

Perché è geniale?

Non serve smontare la macchina: L'azienda non deve rivelare i suoi segreti (il codice del modello).
È economico: Controllare ogni richiesta sarebbe troppo lento e costoso. Controllarne solo una su mille (o una su un milione) è sufficiente per scoprire chi barala, perché se barano spesso, prima o poi verranno beccati.
È veloce: Per l'utente normale, il servizio funziona esattamente come prima. L'ispezione non rallenta il caffè.

In sintesi

IMMACULATE è come un sistema di controllo qualità che, senza guardare dentro la fabbrica, riesce a dire: "So che hai usato ingredienti economici o hai barato sulla quantità, perché la 'firma matematica' della tua risposta non corrisponde a quella promessa".

Questo crea un mondo in cui le aziende di AI non possono più mentire sulla qualità o sul prezzo senza essere scoperte, rendendo il mercato più trasparente e onesto per tutti noi utenti.

1. Il Problema: Asimmetria di Fiducia nelle API LLM

I modelli linguistici su larga scala (LLM) commerciali sono attualmente distribuiti come servizi API "black-box". Gli utenti devono fidarsi ciecamente dei provider per due aspetti fondamentali:

Esecuzione corretta: Che il modello utilizzato sia effettivamente quello dichiarato (es. non una versione distillata o più economica).
Rendicontazione onesta: Che il conteggio dei token fatturato corrisponda all'effettivo utilizzo computazionale.

Attualmente, esistono tre principali minacce all'integrità economica e tecnica:

Sostituzione del modello: Il provider sostituisce il modello ad alta precisione con uno più piccolo o distillato per ridurre i costi.
Quantizzazione aggressiva: L'esecuzione avviene con una precisione numerica inferiore a quella dichiarata (es. FP8 invece di BF16), degradando la qualità.
Sovrafatturazione dei token: Il provider fattura token intermedi (come quelli del "chain-of-thought") che non vengono restituiti all'utente, nascondendo l'effettivo costo computazionale.

Le soluzioni esistenti presentano limiti significativi:

Gli Ambienti di Esecuzione Fidati (TEE) richiedono hardware specifico (es. GPU NVIDIA con TEE), limitando l'adozione su larga scala e richiedendo costose modifiche all'infrastruttura.
Le prove crittografiche (ZKP) tradizionali sono inefficienti per i LLM moderni perché richiedono calcoli puramente interi (escludendo l'aritmetica in virgola mobile necessaria per le reti neurali) o hanno costi di generazione delle prove proibitivi.

2. Metodologia: Il Framework IMMACULATE

IMMACULATE è un framework di audit pratico che rileva deviazioni motivate economicamente senza richiedere accesso ai parametri interni del modello o hardware fidato. Si basa su due pilastri concettuali:

A. Audit Randomizzato (Randomized Auditing)

Invece di verificare ogni singola richiesta (che sarebbe computazionalmente proibitivo), l'auditore invia un piccolo sottoinsieme casuale di richieste che mimano il comportamento di un utente normale.

Logica economica: Un provider razionale che intende imbrogliare lo farà su una frazione significativa delle richieste per massimizzare il profitto.
Garanzia: Se il server è disonesto su una frazione $\alpha$ delle richieste, l'auditore può rilevare questo comportamento con probabilità schiacciante interrogando solo poche migliaia di richieste su miliardi di richieste giornaliere, ammortizzando così l'overhead crittografico.

B. Distribuzione della Distanza dei Logit (Logit Distance Distribution - LDD)

La sfida principale è che l'esecuzione dei LLM su hardware moderno (GPU) è intrinsecamente non deterministica a causa dell'aritmetica in virgola mobile. Verificare l'uguaglianza bit-per-bit è impossibile.
IMMACULATE risolve questo problema introducendo la LDD:

Modello Ibrido: L'inferenza è astratta come un processo ibrido continuo-discreto. Le trasformazioni continue (neuroni) sono soggette a rumore numerico, mentre le decisioni discrete (scelta del token) sono deterministiche.
Allineamento: Per un audit, il server deve impegnarsi (commit) sui logit ( $\ell_i$ ) calcolati prima della decisione discreta. L'auditore richiede al server di dimostrare che, utilizzando lo stesso modello a piena precisione di riferimento ( $M^*$ ) e gli stessi logit impegnati, si ottengono le stesse decisioni discrete.
Metrica di Fideltà: Si calcola la distanza (es. divergenza KL o distanza TV) tra i logit del modello eseguito ( $\ell_i$ $ℓ_{i}$ ) e quelli del modello di riferimento a piena precisione ( $\ell^*_i$ $ℓ_{i}^{*}$ ).
- Esecuzione benigna: La distribuzione delle distanze è stretta e prevedibile (rumore numerico).
- Comportamento malevolo: Sostituzione del modello o quantizzazione aggressiva introducono bias sistematici o varianza elevata, spostando la coda della distribuzione (tail probability) verso valori di distanza molto più alti.

C. Flusso di Sistema

Setup: Il proprietario del modello pubblica un impegno crittografico sul modello di riferimento a piena precisione.
Inferenza: Il server esegue l'inferenza, registra i logit intermedi e invia una promessa (commitment) di questi logit insieme alla risposta.
Audit: L'auditore seleziona casualmente una richiesta, rivela la propria identità e chiede una prova.
Verifica: Il server utilizza la Verifiable Computation (VC) per dimostrare che:
- Le decisioni discrete derivano dai logit impegnati.
- Le trasformazioni continue sono state eseguite correttamente.
- La distribuzione risultante delle distanze dei logit (LDD) rientra nei parametri attesi.

3. Contributi Chiave

IMMACULATE: Un framework di audit pratico per LLM black-box che garantisce l'integrità senza TEE basati su GPU o accesso ai modelli proprietari.
Logit Distance Distribution (LDD): Una nuova metrica che quantifica il divario di approssimazione tra un'esecuzione deployata e un modello di riferimento a piena precisione, permettendo la verifica nonostante il non-determinismo numerico.
Efficienza e Compatibilità: Il framework è compatibile con le infrastrutture di inferenza esistenti (es. vLLM) e introduce un overhead trascurabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli densi (LLaMA3-70B, Qwen3-32B) e MoE (Qwen3-30B-A3B, DeepSeek-V2-Lite) con attacchi di sostituzione del modello e quantizzazione aggressiva (FP8).

Rilevamento: La LDD distingue chiaramente tra esecuzioni benigne e malevole.
- La sostituzione del modello produce probabilità di coda (tail probability) ordini di grandezza superiori rispetto al benigno.
- La quantizzazione FP8 aumenta significativamente la massa di probabilità nelle code moderate.
Tassi di Rilevamento:
- Per la sostituzione del modello, il tasso di rilevamento per richiesta supera il 40-99% (dipendente dal modello e dal dataset).
- Per la quantizzazione, il tasso di rilevamento è più basso per singola richiesta (es. ~1-10%), ma sufficiente per l'audit randomizzato.
Overhead:
- L'overhead di throughput per un server benigno è inferiore all'1% (es. 0.3% - 1.0%).
- Il costo della generazione della prova (VC) è alto (400-900 volte più lento dell'inferenza GPU), ma poiché viene attivato solo su una frazione minuscola di richieste (< $10^{-5}$ ), il costo totale è trascurabile.
Garanzie: Il sistema offre garanzie di completezza (accetta server onesti con probabilità schiacciante) e soundness (rifiuta server disonesti su una frazione $\alpha \ge 10\%$ con alta probabilità).

5. Significato e Impatto

IMMACULATE rappresenta un passo fondamentale verso la trasparenza e la responsabilità nei servizi LLM commerciali.

Indipendenza dall'Hardware: Rimuove la dipendenza da hardware fidato specifico (come le GPU NVIDIA con TEE), rendendo la soluzione applicabile a qualsiasi infrastruttura cloud.
Fattibilità Economica: Dimostra che l'audit crittografico è economicamente sostenibile per i provider, trasformando il costo di verifica in un problema risolvibile tramite campionamento statistico.
Fiducia del Consumatore: Fornisce agli utenti e agli agenti autonomi un meccanismo verificabile per assicurarsi che stanno pagando per il servizio promesso, chiudendo il "gap di responsabilità" attuale nel mercato dei LLM.

In sintesi, IMMACULATE trasforma l'audit dei LLM da un problema di verifica computazionale impossibile (bitwise) a un problema statistico risolvibile, bilanciando sicurezza, privacy ed efficienza.