Divergence-based Safety Measure for Large Language Models via Rational Inattention

Sintesi Tecnica: Misura di Sicurezza basata sulla Divergenza per i Large Language Models tramite l'Inattenzione Razionale

Problematica
L'integrazione dei Large Language Models (LLM) nelle pipeline di supporto alle decisioni introduce preoccupazioni di sicurezza a livello di sistema, in particolare riguardo alle perturbazioni malevole dei token di input che alterano gli output del modello e influenzano le decisioni umane a valle. Sebbene siano richieste misure di sicurezza quantitative da una prospettiva di sistemi e controllo per supportare il confronto tra modelli, il monitoraggio in tempo reale e l'affinamento dei parametri, sono stati fatti progressi limitati nello sviluppo di tali misure per gli LLM. Nello specifico, è necessaria una metrica che quantifichi la perturbazione peggiore dell'output causata dagli attacchi di input, garantendo al contempo che gli attacchi rimangano furtivi rispetto ai meccanismi di monitoraggio interni.

Metodologia
Il documento propone una misura di sicurezza basata sulla divergenza che quantifica la divergenza di Kullback–Leibler (KL) peggiore tra le distribuzioni di output di un LLM "pulito" e di un LLM sottoposto ad attacchi agli embedding di input. L'innovazione metodologica centrale risiede nella costruzione di un "vincolo di furtività" sfruttando l'equivalenza tra i meccanismi di attenzione dei transformer e i modelli di Inattenzione Razionale (RI) del processo decisionale umano.

1. Framework di Inattenzione Razionale (RI): Gli autori rivisitano il framework RI, in cui gli agenti scambiano l'utilità attesa con il costo informativo dell'elaborazione dei dati. La politica d'azione ottimale in RI è caratterizzata da una funzione softmax derivata da un problema di ottimizzazione che coinvolge l'informazione mutua di Shannon.
2. Connessione Strutturale: Il documento stabilisce che i pesi di attenzione dei transformer (calcolati tramite un softmax dot-product scalato) condividono la stessa forma funzionale della politica d'azione ottimale nel framework RI. Ciò consente l'interpretazione dell'attenzione del transformer come soluzione a un problema di ottimizzazione di tipo RI, dove il modello alloca una capacità limitata di elaborazione delle informazioni ai token di contesto.
3. Misura di Razionalità Limitata: Sulla base di questa connessione, gli autori definiscono una "misura di razionalità limitata" per testa ($\Delta V^{(m)}(\tau)$). Questa metrica rappresenta la differenza tra il valore di razionalità $\tau$-limitata (il valore ottimale del problema di ottimizzazione dell'attenzione con un parametro di temperatura $\tau$) e il valore di razionalità completa (il limite per $\tau \to 0$). Questa misura funge da output di monitoraggio interno che indica il "livello di razionalità" dell'allocazione dell'attenzione dell'LLM.
4. Formulazione della Misura di Sicurezza: La misura di sicurezza proposta è formulata come un problema di ottimizzazione: massimizzare la divergenza KL tra le distribuzioni di output pulite e attaccate, soggetta a due vincoli:
   • Vincolo di Energia: L'energia totale dei segnali di attacco iniettati negli embedding token è limitata ($\sum \|\zeta_i\|^2 \leq \rho$).
   • Vincolo di Furtività: La somma pesata delle misure di razionalità limitata attraverso tutte le teste di attenzione deve rimanere al di sotto di una tolleranza di fiducia specificata ($\epsilon_T$). Ciò garantisce che l'attacco non alteri significativamente il segnale di monitoraggio basato sull'attenzione interna del modello.

Contributi Chiave
Il documento presenta tre contributi primari:

1. Corrispondenza Strutturale: Dimostra che i pesi di attenzione dei transformer sono l'unica soluzione a un problema di ottimizzazione di tipo RI, stabilendo un legame formale tra i meccanismi degli LLM e i modelli di decision-making a razionalità limitata.
2. Misura di Razionalità Limitata per Testa: Introduce una nuova metrica derivata dal framework RI per quantificare la razionalità delle allocazioni di attenzione negli LLM.
3. Misura di Sicurezza basata sulla Divergenza: Utilizza la misura di razionalità limitata come output di monitoraggio per definire una metrica di sicurezza che quantifica lo spostamento dell'output furtivo peggiore. Il documento analizza anche gli "attacchi perfettamente indetectabili" (attacchi che non alterano l'output di monitoraggio) e deriva un limite superiore per la misura di sicurezza utilizzando un argomento di divergenza di Bregman, assumendo che la mappa di punteggio dell'output sia Lipschitz continua.

Risultati Sperimentali
La misura proposta è stata valutata su due modelli linguistici causali pre-addestrati: GPT-2 e GPT-Neo-125M.

• Setup: È stato utilizzato un compito di predizione di candidati controllato in cui frasi ambigue richiedevano la predizione del token successivo (un aggettivo) da un pool ristretto. Gli attacchi sono stati generati utilizzando la discesa del gradiente proiettata per massimizzare la divergenza KL della distribuzione di output, rispettando i vincoli di energia e furtività.
• Risultati: Gli esperimenti hanno rivelato profili di sicurezza distinti per i due modelli. GPT-2 ha esibito diversi attacchi ad alta divergenza che rimanevano nella regione furtiva (soddisfacendo la tolleranza di fiducia), mentre gli attacchi ad alto impatto su GPT-Neo-125M hanno generalmente prodotto residui di monitoraggio più elevati. Ciò dimostra che la misura proposta può distinguere efficacemente i profili di sicurezza dei modelli sotto identici budget di attacco e tolleranze di fiducia.

Significatività e Rivendicazioni
Il documento sostiene che questo lavoro colma una lacuna nello sviluppo di misure di sicurezza quantitative per gli LLM da una prospettiva di sistemi e controllo. Interpretando l'attenzione dei transformer attraverso la lente dell'inattenzione razionale, gli autori forniscono un meccanismo fondato per la costruzione di output di monitoraggio interni. La misura di sicurezza basata sulla divergenza proposta offre un modo per quantificare la vulnerabilità degli LLM ad attacchi di embedding-input furtivi. Gli autori posizionano questo contributo come un passo verso l'equipaggiamento degli LLM con misure di prestazione interpretabili analoghe a quelle di robustezza, resilienza e sicurezza trovate nei sistemi di controllo tradizionali. Il lavoro non pretende di risolvere tutti i problemi di sicurezza degli LLM, ma fornisce una metrica specifica per distinguere i profili di sicurezza dei modelli e analizzare l'impatto peggiore in termini di furtività.