Trusting What You Cannot See: Auditable Fine-Tuning and Inference for Proprietary AI

Il paper presenta AFTUNE, un framework che garantisce l'integrità computazionale e l'auditabilità del fine-tuning e dell'inferenza di modelli proprietari nel cloud attraverso un meccanismo leggero di registrazione e controllo a campione, colmando il divario di fiducia senza imporre un sovraccarico computazionale proibitivo.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "Trusting What You Cannot See" (Fidarsi di ciò che non si vede), che presenta il sistema AFTUNE.

Immagina di voler cuocere una torta speciale (il tuo modello di Intelligenza Artificiale) usando un forno industriale di lusso gestito da uno chef sconosciuto (il fornitore cloud). Tu dai gli ingredienti (i dati) e la ricetta (le impostazioni), ma non puoi entrare in cucina. Lo chef ti dice: "Ecco la torta, è perfetta". Ma come fai a sapere che non ha usato farina scadente, che non ha saltato passaggi o che non ha nascosto un insetto nel impasto?

Attualmente, non c'è modo di controllare senza smontare l'intero forno (cosa impossibile perché il forno è troppo grande e complesso). AFTUNE è la soluzione per questo problema.

1. Il Problema: Il "Buco della Fiducia"

Oggi, le aziende usano il cloud per addestrare e far funzionare le Intelligenze Artificiali più grandi (come quelle che scrivono testi o creano immagini).

• Il rischio: Il fornitore potrebbe barare. Potrebbe usare un modello più vecchio e meno intelligente per risparmiare energia, o potrebbe inserire "vizi" (backdoor) nel modello per manipolare i risultati in futuro.
• Il dilemma: Non puoi controllare il modello perché è segreto (proprietario). Non puoi controllare il processo perché è troppo grande e veloce per essere tracciato in tempo reale.

2. La Soluzione: AFTUNE (Il "Controllo a Campione" Intelligente)

AFTUNE non cerca di guardare tutto il processo in tempo reale (sarebbe come guardare ogni singolo secondo di un film per 100 anni). Invece, usa un sistema intelligente basato su blocchi e controlli a campione.

Immagina che l'addestramento del modello sia un viaggio in treno attraverso una montagna enorme.

• Il vecchio modo: Dovresti controllare ogni singolo binario, ogni rotaia e ogni passeggero. Impossibile.
• Il modo AFTUNE: Dividiamo il viaggio in blocchi (es. ogni 10 stazioni).

Come funziona in pratica?

A. La Mappa dei Punti di Controllo (Decomposizione a Blocchi)
AFTUNE divide il viaggio in "blocchi" di stazioni.

• Invece di registrare tutto ciò che succede tra la stazione A e la stazione B, il sistema registra solo lo stato di partenza (quando il treno entra nel blocco) e lo stato di arrivo (quando esce).
• È come se lo chef ti dicesse: "Ecco la torta cruda che ho messo nel forno (stato iniziale) e ecco la torta cotta che ne è uscita (stato finale)".

B. La "Cassaforte" Sicura (TEE)
Per verificare che la torta sia stata cotta davvero, il fornitore usa una cassaforte blindata (chiamata TEE - Trusted Execution Environment) che il cliente può controllare a distanza.

• Il cliente dice: "Voglio controllare il blocco tra la stazione 10 e la 20".
• Il fornitore apre la cassaforte, prende solo quel piccolo pezzo di viaggio, lo ricalcola (ri-cuoce quel pezzetto di torta) e confronta il risultato con quello che aveva registrato prima.
• Se i risultati coincidono, significa che quel blocco è stato fatto correttamente.

C. Il "Controllo a Sorpresa" (Campionamento)
Il cliente non controlla tutti i blocchi (sarebbe troppo lento e costoso). Ne controlla solo alcuni, scelti a caso e tenuti segreti fino all'ultimo momento.

• L'effetto deterrente: Lo chef (il fornitore) non sa quale blocco verrà controllato. Se prova a barare su un blocco, c'è un'alta probabilità che venga scoperto. Se viene scoperto una volta, perde la fiducia per sempre. È come se un ispettore sanitario arrivasse a sorpresa: il ristorante non può sapere quando, quindi deve essere sempre in ordine.

3. Perché è geniale?

• Non rallenta tutto: Poiché il controllo avviene solo su piccoli pezzi e solo quando richiesto, il sistema principale (la cottura della torta) rimane velocissimo. Non serve un supercomputer per controllare, basta un piccolo dispositivo sicuro.
• Risparmio di spazio: Invece di salvare l'intero video dell'addestramento (che occuperebbe terabyte di spazio), si salvano solo le "firme" matematiche (hash) dei punti di partenza e arrivo dei blocchi. È come salvare solo le foto dell'ingresso e dell'uscita di ogni stanza invece di filmare tutto.
• Funziona con i giganti: Funziona anche per i modelli più grandi del mondo (come GPT o Gemini), che sono troppo grandi per stare in una sola memoria sicura. AFTUNE li spezza in pezzi gestibili.

In sintesi

AFTUNE trasforma un servizio cloud "opaco" (dove devi solo fidarti ciecamente) in un servizio trasparente.
Non devi fidarti della parola del fornitore. Devi solo fidarti della matematica e della crittografia che dicono: "Abbiamo controllato un campione casuale di questo processo, e i numeri tornano perfettamente. Quindi, è molto probabile che tutto il resto sia stato fatto correttamente."

È come avere un sistema di sicurezza che controlla a caso i bagagli degli aerei: non controlla tutti i passeggeri, ma sa che se qualcuno prova a nascondere qualcosa, verrà quasi sicuramente scoperto. Questo permette alle aziende di usare l'Intelligenza Artificiale più potente del mondo senza il timore di essere truffate.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Trusting What You Cannot See: Auditable Fine-Tuning and Inference for Proprietary AI" (AFTUNE), presentato in italiano.

1. Il Problema: Il Divario di Fiducia nell'AI Cloud

Con l'ascesa dei modelli linguistici su larga scala (LLM), le infrastrutture cloud sono diventate la piattaforma dominante per il fine-tuning e l'inferenza di modelli proprietari (es. GPT, Gemini). Tuttavia, questo modello crea un divario fondamentale di fiducia:

• Opacità: I clienti forniscono dati e configurazioni ma non possono verificare indipendentemente se il provider esegue il fine-tuning o l'inferenza come concordato.
• Rischi di Sicurezza: Provider non fidati potrebbero degradare il servizio, inserire bias, o nascondere backdoor senza che il cliente se ne accorga.
• Limitazioni delle Soluzioni Esistenti:
  • Zero-Knowledge Proofs (ZKP): Offrono garanzie matematiche ma introducono un overhead computazionale proibitivo (migliaia di volte più lento dell'esecuzione standard), rendendoli impraticabili per modelli moderni.
  • Trusted Execution Environments (TEE): Sebbene offrano isolamento hardware, i modelli LLM moderni sono troppo grandi per essere caricati interamente nella memoria limitata di un singolo TEE (enclave), specialmente durante il fine-tuning che richiede stati aggiuntivi (ottimizzatori, gradienti).

2. Metodologia: Il Framework AFTUNE

Gli autori propongono AFTUNE, un framework auditable e verificabile che garantisce l'integrità computazionale del fine-tuning e dell'inferenza cloud senza richiedere l'accesso ai pesi del modello (mantenendo la proprietà intellettuale) e senza sovraccaricare le risorse TEE.

Concetti Chiave e Design

1. Decoupling Esecuzione-Verifica:
   AFTUNE non esegue l'intero processo di addestramento all'interno del TEE. Invece, l'addestramento avviene su acceleratori standard (GPU) ad alta velocità, mentre il TEE viene utilizzato solo per la verifica selettiva successiva.

2. Struttura a Blocchi Bidimensionale (Block Decomposition):
   Per superare i limiti di memoria, il processo di addestramento viene scomposto in una griglia 2D di blocchi:

   • Blocchi di Livello (Layer Blocks): Gruppi di layer consecutivi.
   • Blocchi di Step (Step Blocks): Gruppi di step di addestramento consecutivi.
   • Stato di Confine: Vengono registrati e hashati solo gli stati ai confini di questi blocchi (attivazioni in ingresso/uscita, gradienti, pesi e stato dell'ottimizzatore agli estremi). Gli stati interni non vengono salvati, ma possono essere ricomputati durante la verifica.

3. Hashing Map-Reduce:
   Per evitare colli di bottiglia nella generazione delle prove, gli autori utilizzano uno schema di hashing parallelo:

   • I tensori vengono suddivisi in chunk.
   • L'hashing avviene in parallelo sugli acceleratori (GPU).
   • I risultati vengono aggregati in un singolo commitment crittografico.

4. Protocollo di Verifica basato su Ricomputazione:

   • Il cliente seleziona casualmente un sottoinsieme di blocchi da verificare (spot-check).
   • Il provider invia gli stati di confine richiesti.
   • Il cliente (o un'istanza TEE affidabile lato provider) ricomputa l'esecuzione solo per quel blocco specifico partendo dagli stati di confine.
   • Vengono confrontati gli hash e i valori numerici (con tolleranza per le differenze floating-point) tra la ricomputazione e i dati registrati.

5. Verifica Probabilistica e Campionamento:
   Invece di verificare l'intero training (costoso), il cliente verifica un campione casuale di blocchi. La teoria della probabilità garantisce che, se un attaccante modifica una frazione significativa dei blocchi, la probabilità di essere scoperti aumenta esponenzialmente con il numero di controlli.

3. Contributi Chiave

• AFTUNE: Il primo framework che permette la verifica end-to-end del fine-tuning e dell'inferenza per modelli proprietari su cloud, superando i vincoli di memoria dei TEE.
• Decomposizione Compositiva: Una tecnica innovativa che permette di verificare l'intera catena di calcolo verificando solo blocchi atomici indipendenti, collegati tramite stati di confine deterministici.
• Strategia di Campionamento: Un approccio di verifica probabilistica che offre garanzie di sicurezza pratiche con costi computazionali minimi per il cliente.
• Implementazione Reale: Integrazione in pipeline CUDA per l'addestramento e l'inferenza, supportando sia il fine-tuning completo che quello efficiente (LoRA).

4. Risultati Sperimentali

Gli autori hanno valutato AFTUNE su modelli reali (Llama-3.1-8B, Qwen2.5-14B, DINOv2-Giant, ViT-Large) su hardware TEE (Intel SGX/TDX).

• Overhead Computazionale:
  • AFTUNE introduce un overhead di addestramento gestibile (tra il 14% e il 36% a seconda della configurazione dei blocchi), molto inferiore rispetto all'esecuzione completa in TEE (che risulta impraticabile o con overhead >3000% per modelli piccoli).
  • L'hashing parallelo riduce significativamente l'impatto sulla pipeline di addestramento.
• Efficienza di Archiviazione:
  • Rispetto a metodi che registrano ogni layer/step, AFTUNE riduce i costi di archiviazione dei dati di audit di oltre il 50%.
  • Supporta strategie di sparse checkpointing per bilanciare ulteriormente spazio e tempo di ricomputazione.
• Accuratezza e Sicurezza:
  • Tolleranza Numerica: L'uso della precisione float32 (invece di bfloat16) è cruciale per distinguere gli errori numerici legittimi dalle manipolazioni malevole. Con float32, gli errori di ricomputazione sono ordini di grandezza inferiori alle perturbazioni necessarie per un attacco di avvelenamento o backdoor.
  • Rilevamento Attacchi: La strategia di campionamento rileva efficacemente tentativi di degradazione del modello, sostituzione o inserimento di backdoor, anche se l'attaccante non conosce quali blocchi verranno verificati.

5. Significato e Impatto

AFTUNE rappresenta un passo avanti significativo per l'ecosistema dell'AI cloud:

• Trasparenza senza Perdita di Proprietà: Permette ai clienti di auditare i processi di modelli proprietari senza che i provider debbano rivelare i pesi del modello.
• Scalabilità: Risolve il problema della scalabilità dei TEE per i grandi modelli, spostando il carico computazionale principale su hardware standard e usando i TEE solo per la verifica mirata.
• Fiducia Verificabile: Trasforma i servizi AI da "scatole nere" a piattaforme trasparenti e responsabili, dove la fiducia è basata su prove crittografiche e verifiche matematiche piuttosto che sulla sola reputazione del provider.

In sintesi, AFTUNE dimostra che è possibile costruire servizi di AI cloud affidabili e verificabili per modelli su larga scala, colmando il divario tra le esigenze di sicurezza e le limitazioni pratiche delle infrastrutture attuali.