Riepilogo Tecnico: Dimenticanza di Macchina a Tempo di Inferenza tramite Reindirizzamento Attivato a Cancello (GUARD-IT)

Enunciato del Problema

I Modelli Linguistici di grandi dimensioni (LLM) spesso memorizzano i dati di addestramento, creando rischi significativi per quanto riguarda la privacy, la violazione del copyright e la sicurezza. La Dimenticanza di Macchina (MU) mira a rimuovere l'influenza di un specifico "insieme da dimenticare" ($D_f$) preservando al contempo le prestazioni su un "insieme da mantenere" ($D_r$), idealmente approssimando un modello riaddestrato da zero senza $D_f$.

Gli approcci MU esistenti si basano principalmente su aggiornamenti parametrici basati sul gradiente, computazionalmente costosi. Questi metodi affrontano diverse limitazioni critiche:

1. Costo Computazionale: Richiedono l'accesso all'intera pipeline di fine-tuning e risorse significative.
2. Irreversibilità e Instabilità: Gli aggiornamenti dei pesi sono irreversibili e possono portare a un "collasso catastrofico", in cui il modello perde la capacità di generalizzazione e produce output incoerenti.
3. Fragilità alla Quantizzazione: Gli effetti della dimenticanza sono spesso compromessi o annullati quando i modelli vengono quantizzati per il deployment, poiché l'arrotondamento a bassa precisione cancella gli aggiustamenti fini dei pesi.
4. Problemi di Dimenticanza Continua: In scenari con richieste di dimenticanza sequenziali, gli aggiornamenti parametrici ripetuti accumulano interferenze, degradando le conoscenze non correlate nel tempo.
5. Limitazioni dello Steering Attivato Naif: Sebbene l'ingegneria delle attivazioni offra un'alternativa senza addestramento, l'applicazione di un singolo vettore di steering globale a tutti gli input fallisce quando il corpus da dimenticare abbraccia direzioni semantiche conflittuali, portando a cambiamenti di comportamento indesiderati su input non correlati.

Metodologia: GUARD-IT

Il documento introduce GUARD-IT (Dimenticanza a Tempo di Inferenza tramite Reindirizzamento Attivato a Cancello), un metodo privo di addestramento e gradiente che esegue la dimenticanza interamente nello spazio delle attivazioni durante l'inferenza. Il metodo opera sull'ipotesi della rappresentazione lineare, trattando la dimenticanza come una trasformazione geometrica controllata degli stati nascosti.

Componenti Principali

1. Clustering Semantico (Fase Offline):

   • Il corpus da dimenticare $D_f$ viene incorporato utilizzando un Sentence-Transformer e partizionato in cluster semantici mediante K-Means. Il numero di cluster ($k$) viene selezionato automaticamente massimizzando il punteggio silhouette.
   • Per ogni cluster, viene calcolato un Vettore di Steering Prototipo (PSV) mediando le attivazioni degli stati nascosti a un livello target specifico $\ell$ (tipicamente il primo quartile dello stack del transformer).
   • Viene calcolato un vettore di riferimento $\bar{h}_r$ dal corpus da mantenere per garantire che lo steering non interferisca con le conoscenze mantenute.

2. Cancello di Similarità (Fase Online):

   • Al momento dell'inferenza, una query utente $x$ viene incorporata e confrontata con i centroidi dei cluster da dimenticare.
   • Un Cancello di Similarità (SG) seleziona solo i cluster i cui centroidi superano una soglia di similarità $T$. Ciò garantisce che lo steering venga applicato solo agli input semanticamente correlati all'insieme da dimenticare, preservando l'utilità per query non correlate.

3. Rotazione a Normale Preservata:

   • I PSV attivi vengono aggregati in una direzione da dimenticare dipendente dall'input $p(x)$.
   • Questa direzione viene proiettata ortogonalmente al vettore di riferimento da mantenere $\bar{h}_r$ per rimuovere le componenti condivise.
   • Il vettore di steering risultante viene ridimensionato per corrispondere alla norma media delle attivazioni degli stati nascosti.
   • Infine, l'intervento viene applicato come una rotazione pura nel flusso residuo: lo stato nascosto viene ruotato lontano dalla direzione da dimenticare preservando rigorosamente la sua norma originale. Ciò previene la destabilizzazione della normalizzazione di livello e della scalatura dell'attenzione.

Contributi Chiave

1. Formulazione Senza Addestramento e Senza Gradiente: Il documento riformula la dimenticanza come un problema di steering dipendente dall'input nello spazio delle attivazioni, eliminando la necessità di aggiornamenti parametrici, riaddestramento o accesso alla pipeline di addestramento.
2. Steering Dipendente dall'Input tramite Clustering: Partizionando il corpus da dimenticare e utilizzando un cancello di similarità, GUARD-IT abilita una dimenticanza localizzata e compositiva. Evita le modalità di fallimento dello steering globale naif adattando l'intervento al contenuto semantico di ogni query.
3. Robustezza alla Quantizzazione e alla Dimenticanza Continua: Il metodo supporta naturalmente la dimenticanza continua (aggiungendo nuovi PSV senza modificare quelli esistenti) e rimane efficace sotto quantizzazione del modello (4-bit e 8-bit), uno scenario in cui i metodi basati sul gradiente tipicamente si degradano o falliscono.

Risultati Sperimentali

Gli autori hanno valutato GUARD-IT sui benchmark TOFU e MUSE su tre scale di modello (Llama-3.2-1B, 3B e Llama-3.1-8B).

• Prestazioni vs Baseline: GUARD-IT eguaglia o supera 12 baseline basate sul gradiente su tutte le scale di modello. Raggiunge i punteggi medi più alti (media armonica di utilità e soppressione della memorizzazione) sulle divisioni TOFU forget01 e forget05.
• Evitamento del Collasso Catastrofico: A differenza di molti metodi basati sul gradiente (es. PDU, RMU) che soffrono di collasso catastrofico (bassa utilità e alti tassi di nonsense) all'aumentare della forza della dimenticanza, GUARD-IT mantiene un'alta coerenza (tassi di nonsense > 0.80) sopprimendo efficacemente la memorizzazione.
• Robustezza alla Quantizzazione: Negli esperimenti con quantizzazione a 4-bit e 8-bit, GUARD-IT mantiene il suo profilo di prestazioni. Al contrario, i metodi basati sul gradiente mostrano una significativa degradazione nell'utilità e nella soppressione della memorizzazione quando quantizzati, poiché le perturbazioni fini dei pesi vengono perse.
• Dimenticanza Continua: In scenari di dimenticanza sequenziale, GUARD-IT mantiene costantemente il compromesso tra utilità e memorizzazione, mentre i metodi basati sul gradiente soffrono di interferenze tra aggiornamenti successivi, portando a un progressivo degrado del modello.

Significato e Affermazioni

Il documento afferma che GUARD-IT affronta le limitazioni strutturali intrinseche ai metodi di aggiornamento parametrico. Codificando la dimenticanza come un insieme esterno e versionabile di vettori di steering invece che come riscritture distruttive dei pesi, il metodo offre:

• Flessibilità di Deployment: La forza della dimenticanza diventa una manopola continua a tempo di inferenza (controllata dal coefficiente di steering $\alpha$) invece di un impegno fisso a tempo di addestramento.
• Auditabilità e Reversibilità: Le richieste di dimenticanza possono essere ispezionate, aggiornate o annullate modificando l'archivio vettoriale senza riaddestrare il modello.
• Stabilità: La rotazione a normale preservata garantisce che l'intervento non disturbi i meccanismi di normalizzazione interna del modello, prevenendo gli output incoerenti comuni nello steering attivato aggressivo.

Gli autori concludono che questo approccio ripensa la rimozione di $D_f$ come un problema di instradamento su una libreria precalcolata di direzioni di attivazione, offrendo una soluzione pratica per la conformità alla privacy (es. GDPR, AI Act dell'UE) negli LLM deployati, in particolare in ambienti con risorse limitate o quantizzati.

Limitazioni

Il documento riconosce che il metodo si basa sull'ipotesi della rappresentazione lineare, assumendo che i concetti da dimenticare siano codificati lungo direzioni approssimativamente lineari nel flusso residuo. Ciò potrebbe non valere per concetti codificati in modo non lineare o distribuiti su molte direzioni a bassa magnitudine. Inoltre, la valutazione è attualmente focalizzata su associazioni fattuali a livello di entità (TOFU, MUSE), e la trasferibilità a conoscenze procedurali, catene di ragionamento o insiemi creati ad hoc per attacchi avversari rimane una questione aperta.