Sintesi Tecnica: SVIP – Verso l'inferenza verificabile di modelli linguistici di grandi dimensioni open-source

1. Definizione del problema

La rapida crescita dei Large Language Models (LLM) open-source ha reso il deployment locale impraticabile per i singoli utenti a causa dell'elevata richiesta computazionale. Di conseguenza, il calcolo decentralizzato è emerso come un'alternativa conveniente, in cui gli utenti delegano l'inferenza LLM a fornitori terzi (individui o piccole aziende) con risorse in eccesso.

Tuttavia, questo scenario introduce un problema critico di fiducia: l'inferenza verificabile. Un fornitore di calcolo malizioso potrebbe sostituire furtivamente il modello a grande capacità richiesto dall'utente (ad esempio, Llama-3.1-70B) con un modello più piccolo e meno capace (ad esempio, Llama-2-7B) per risparmiare costi computazionali, continuando però a fatturare per il modello più grande. Poiché i fornitori offrono spesso solo l'accesso API black-box, gli utenti non possono facilmente rilevare tali sostituzioni. Le soluzioni esistenti presentano limitazioni significative:

• I metodi crittografici (ad esempio, Zero-Knowledge Proofs) impongono sovraccarichi computazionali proibitivi (ad esempio, >800 secondi per query).
• I protocolli basati sulla teoria dei giochi si basano su ipotesi irrealistiche di fornitori razionali e non cooperativi.
• Il Watermarking/Fingerprinting è tipicamente implementato dai publisher del modello ed è inadatto agli scenari di verifica utente-fornitore.

L'obiettivo è progettare un protocollo che permetta a un utente di verificare con alta confidenza che sia stato utilizzato un modello specifico per l'inferenza, mantenendo l'efficienza computazionale, bassi tassi di falsi positivi/negativi e preservando la qualità della generazione.

2. Metodologia

Gli autori propongono SVIP (Secret-based Verifiable Inference Protocol), che sfrutta le rappresentazioni nascoste (hidden representations) del processo di inferenza dell'LLM invece di fare affidamento su prove crittografiche.

2.1. Meccanismo principale: Proxy Task sulle rappresentazioni nascoste

Il protocollo opera sull'intuizione che le rappresentazioni degli stati nascosti generate da un modello specifico contengano firme uniche.

1. Scambio dati: Il fornitore di calcolo restituisce non solo il testo generato, ma anche un vettore compresso delle rappresentazioni nascoste ($z(x)$) elaborate dal modello specificato.
2. Proxy Task: Una "proxy task" viene addestrata esclusivamente sulle rappresentazioni nascoste del modello specificato ($M_{spec}$). Questo compito trasforma le rappresentazioni nascoste in un identificatore unico per quel modello.
3. Verifica: L'utente valuta localmente il vettore $z(x)$ restituito sulla proxy task. Se il modello utilizzato è $M_{spec}$, il vettore dovrebbe performare bene sul compito; se è stato utilizzato un modello alternativo più piccolo ($M_{alt}$), le prestazioni degraderanno significativamente.

2.2. Il protocollo semplice e la sua vulnerabilità

Inizialmente, viene proposto un protocollo semplice in cui l'utente addestra un classificatore binario sugli stati nascosti. Tuttavia, questo è vulnerabile ad Attacchi di Ottimizzazione Diretta del Vettore (Direct Vector Optimization Attacks). Un fornitore malizioso, conoscendo la funzione di etichettatura, potrebbe bypassare completamente l'LLM, ottimizzare direttamente un vettore $\tilde{z}$ per soddisfare il classificatore e restituirlo, truffando così senza sostenere i costi di inferenza.

2.3. Il protocollo basato su segreti (SVIP)

Per contrastare gli attacchi di ottimizzazione, SVIP introduce un meccanismo basato su segreti:

• Assegnazione del segreto: La piattaforma assegna un segreto ($s$) unico all'utente, che non viene mai condiviso con il fornitore di calcolo.
• Etichettatura dipendente dal segreto: La funzione di etichettatura $y(x, s)$ dipende dal segreto. Un fornitore malizioso non può determinare l'etichetta corretta senza conoscere $s$.
• Embedding del segreto: Il segreto $s$ è incorporato nel compito come un token $t_\psi(s)$ e concatenato con gli stati nascosti prima della compressione.
• Verifica continua: La verifica controlla se la distanza tra l'output della proxy predetta e il vettore dell'etichetta dipendente dal segreto è al di sotto di una soglia $\eta$.

2.4. Difesa contro attacchi adattivi

Il documento analizza due attacchi adattivi:

1. Attacco Adapter: Un attaccante addestra un adapter neurale per mappare gli stati nascosti di $M_{alt}$ per imitare $M_{spec}$ sotto un determinato segreto.
2. Attacco di Recupero del Segreto: Un attaccante tenta di fare l'ingegneria inversa del segreto $s$ a partire dall'embedding del segreto $t_\psi(s)$ raccogliendo molte coppie segreto-embedding.

Meccanismo di difesa: SVIP impiega un Meccanismo di Aggiornamento. I segreti vengono ruotati dopo una soglia di query ($M^*$), e l'intero protocollo viene riaddestrato dopo che un numero totale di segreti ($N^*$) è stato utilizzato. Ciò limita i dati che un attaccante può raccogliere sotto un singolo segreto, rendendo inefficaci gli attacchi.

3. Contributi chiave

• Formalizzazione: Ha formalizzato sistematicamente il problema dell'inferenza LLM verificabile e ha proposto un protocollo che sfrutta le rappresentazioni nascoste elaborate.
• Sicurezza basata sui segreti: Ha introdotto un nuovo meccanismo di segreto che trasforma le rappresentazioni nascoste in identificatori unici dipendenti dal segreto, neutralizzando efficacemente gli attacchi di ottimizzazione diretta del vettore.
• Analisi completa: Ha fornito un'analisi di sicurezza approfondita contro scenari avversari forti e adattivi (attacchi adapter e di recupero del segreto).
• Validazione empirica: Ha dimostrato l'efficacia del protocollo su 5 LLM open-source specificati (da 13B a 70B parametri) e 6 modelli alternativi.

4. Risultati sperimentali

Gli esperimenti sono stati condotti utilizzando il dataset LMSYS-Chat-1M e varie famiglie di modelli (Llama, GPT-NeoX, OPT, Falcon).

• Accuratezza:
  • Tasso di Falsi Negativi (FNR): Costantemente inferiore al 5% per query (media del 3,49% tra i modelli). Ciò indica che i fornitori onesti vengono raramente accusati erroneamente.
  • Tasso di Falsi Positivi (FPR): Costantemente inferiore al 3% per query su tutti i modelli alternativi. Ciò indica che i fornitori disonesti vengono raramente scagionati.
  • Affidabilità aggregata: Aggregando i risultati su più query (ad esempio, $B=30$), il protocollo raggiunge tassi di errore di Tipo-I e Tipo-II estremamente bassi (ad esempio, errore di Tipo-I $\approx 1,7 \times 10^{-49}$ per Llama-3.1-70B rispetto a Llama-2-7B).
• Efficienza:
  • Latenza: La verifica aggiunge un overhead trascurabile, richiedendo < 0,01 secondi per query di prompt sia per l'utente che per il fornitore. È di ordini di grandezza più veloce delle alternative crittografiche (ad esempio, zkLLM richiede circa 803 secondi).
  • Memoria: Il fornitore richiede circa 980 MB di memoria GPU per l'estrattore di feature; l'utente richiede circa 1428 MB, fattibile su macchine locali standard.
• Robustezza:
  • Attacco Adapter: Il protocollo resiste agli attacchi adapter anche quando gli attaccanti raccolgono da 400 a 800 campioni di prompt per segreto.
  • Recupero del Segreto: Il tasso di successo degli attacchi per il recupero dei segreti rimane inferiore al 50% anche dopo aver raccolto 200.000 coppie segreto-embedding. Con il meccanismo di aggiornamento, SVIP può gestire in modo sicuro da 80 a 120 milioni di query di prompt prima che sia necessario il riaddestramento.
• Generalizzabilità: Il protocollo mantiene bassi FPR/FNR su dataset non visti (ToxicChat, Web Questions, GSM8K, Verifiable-Coding-Problems), dimostrando robustezza attraverso diversi domini.

5. Significato e affermazioni

Il documento afferma che SVIP offre un equilibrio pratico tra efficienza computazionale e sicurezza, rendendo l'inferenza verificabile fattibile per i servizi reali di calcolo decentralizzato di LLM. A differenza dei metodi crittografici che sono troppo lenti per l'interazione in tempo reale, SVIP consente agli utenti di verificare l'uso del modello con alta confidenza e latenza minima.

Gli autori sottolineano che, sebbene SVIP non offra le rigorose garanzie matematiche delle Zero-Knowledge Proofs, i suoi bassi tassi di errore combinati con il test di ipotesi su più query forniscono un "livello di sicurezza ragionevole e praticamente significativo". Il lavoro mira a favorire la fiducia tra utenti e fornitori di calcolo, incoraggiando così l'adozione più ampia degli LLM open-source negli ecosistemi di calcolo decentralizzato. Gli autori riconoscono i potenziali rischi di uso improprio (ad esempio, l'ingegneria inversa), ma sostengono che il design del protocollo dia priorità alla robustezza contro tali vettori.