Riepilogo Tecnico: ASRU – Steering delle Attivazioni incontra il Dimenticamento Rinforzato per Modelli Linguistici Multimodali di Grande Dimensione

1. Enunciato del Problema

I Modelli Linguistici Multimodali di Grande Dimensione (MLLM) memorizzano spesso informazioni sensibili cross-modali durante il pre-addestramento, esponendo a rischi di violazione della privacy e violazione del copyright. Sebbene il Dimenticamento Automatico (Machine Unlearning, MU) sia fondamentale per rimuovere tale conoscenza, i metodi esistenti affrontano due limitazioni fondamentali:

1. Degrado della Risposta Post-Dimenticamento: Gli approcci attuali spesso producono output allucinati, rigidi o incoerenti dopo il dimenticamento. Invece di esprimere naturalmente un vuoto di conoscenza, i modelli possono generare contenuti fabbricati o testi ripetitivi e degenerati. Questo comportamento "innaturale" può rivelare involontariamente che è avvenuto un dimenticamento e introduce rischi per la sicurezza.
2. Compromesso tra Dimenticamento e Utilità: Esiste un conflitto persistente tra la capacità di dimenticare efficacemente la conoscenza target e la preservazione dell'utilità generale del modello. I metodi basati sull'ascesa del gradiente tendono a sopprimere eccessivamente l'insieme da dimenticare, causando cambiamenti globali non intenzionali nel comportamento, mentre i metodi che danno priorità all'utilità spesso non riescono a ottenere un dimenticamento completo.

Le valutazioni esistenti si concentrano principalmente sulle deviazioni dell'output rispetto alla verità fondamentale, trascurando la qualità di generazione del modello dimenticato. Questo lavoro sostiene che un modello dimenticato dovrebbe comportarsi come un modello base allineato, esprimendo i vuoti di conoscenza in modo dinamico, consapevole del contesto e coerente.

2. Metodologia: Framework ASRU

Gli autori propongono ASRU (Steering delle Attivazioni incontra il Dimenticamento Rinforzato), un framework a due stadi progettato per ottenere un controllo fine dei confini di rifiuto mantenendo al contempo l'utilità del modello.

Stadio 1: Steering del Rifiuto tramite Ridirezionamento delle Attivazioni

Il primo stadio affronta la mancanza di un comportamento di rifiuto spontaneo nei MLLM pre-addestrati.

• Costruzione della Direzione di Assenza di Conoscenza: Il metodo costruisce una "direzione di riferimento per il rifiuto" confrontando le medie delle attivazioni nascoste dell'Insieme da Dimenticare ($D_f$) con un Insieme Target di Riferimento per il Rifiuto ($D_{target}$). $D_{target}$ è composto da input per i quali il modello non possiede conoscenze pregresse (ad esempio, volti sintetici mai visti accoppiati a query sulla privacy).
• Steering delle Attivazioni: Un vettore di steering ($v_{L^*}$) viene calcolato come la differenza tra le medie delle attivazioni di $D_{target}$ e $D_f$. Questo vettore viene utilizzato per ridirezionare le attivazioni del residual-stream degli input dell'insieme da dimenticare verso una regione di "nessuna conoscenza rilevante".
• Ottimizzazione Efficiente: Invece di riaddestrare l'intero modello, ASRU aggiorna solo una singola matrice di proiezione in discesa in uno specifico strato target ($L^*$). Ciò è ottenuto tramite una soluzione in forma chiusa che minimizza la deviazione tra le attivazioni effettive e quelle target, inducendo un comportamento di rifiuto iniziale e controllabile.

Stadio 2: Ottimizzazione del Confine di Rifiuto tramite GRPO

Il secondo stadio affina il confine decisionale per prevenire rifiuti non necessari sui dati conservati.

• Costruzione dell'Insieme di Confine: Un insieme di confine ($\tilde{D}_r$) viene campionato dall'insieme conservato ($D_r$). Questi campioni sono altamente simili all'insieme da dimenticare nello spazio degli input ma devono essere conservati, permettendo l'apprendimento di una distinzione fine.
• Progettazione della Ricompensa Verificabile: Viene progettata una funzione di ricompensa per valutare due aspetti:
  1. Efficacia del Dimenticamento: Penalizzare la riproduzione della conoscenza target e premiare i rifiuti naturali e consapevoli del contesto (ad esempio, "Questo non può essere inferito dall'immagine").
  2. Fedeltà alla Conservazione: Premiare risposte corrette e informative per i campioni di confine e conservati, penalizzando al contempo i rifiuti eccessivi.
• Ottimizzazione della Politica Relativa di Gruppo (GRPO): Il modello viene ottimizzato utilizzando GRPO. Campionando gruppi di traiettorie per input accoppiati (dimenticare vs. confine), l'algoritmo calcola vantaggi relativi al gruppo. Ciò incoraggia il modello a imparare una politica precisa che rifiuta quando necessario (per $D_f$) ma risponde in modo appropriato per la conoscenza conservata, affilando efficacemente il confine di rifiuto.

3. Contributi Chiave

• Qualità di Generazione come Metrica Principale: Il lavoro introduce la qualità di generazione come dimensione primaria di valutazione per il dimenticamento, misurando specificamente il Rifiuto Contestuale (coerenza e naturalezza dei rifiuti) e la Dimenticanza (assenza di fughe di conoscenza).
• Nuovo Framework a Due Stadi: ASRU è il primo framework a combinare lo Steering delle Attivazioni (per inizializzare la capacità di rifiuto con aggiornamenti minimi dei parametri) e GRPO (per affinare il confine dimenticare-conservare).
• Controllo Fine: Utilizzando un insieme di confine e ricompense verificabili, ASRU ottiene un compromesso superiore tra efficacia del dimenticamento e utilità del modello, evitando il comportamento "tutto o niente" dei metodi precedenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen3-VL (4B e 8B) e LLaVA-1.5-7B utilizzando i dataset MLLMU-Bench e CLEAR.

• Efficacia del Dimenticamento: ASRU supera significativamente le linee di base (GA, GA Diff, KL Min, NPO, MMUnlearner). Su Qwen3-VL-8B con un rapporto di dimenticamento del 5%, ha ottenuto un miglioramento medio del 24,6% nell'efficacia del dimenticamento rispetto alla linea di base più forte.
• Qualità di Generazione: ASRU ha dimostrato un miglioramento massiccio nella qualità di generazione, mostrando un aumento medio di 5,8 volte rispetto alle linee di base. Ciò indica una sostanziale riduzione delle allucinazioni e delle risposte rigide, con il modello che produce rifiuti dinamici e consapevoli del contesto.
• Preservazione dell'Utilità: Nonostante un dimenticamento aggressivo, ASRU ha mantenuto alte prestazioni sull'insieme conservato e su set reali di celebrità, utilizzando solo una piccola frazione (circa il 27,3%) dei dati di addestramento supervisionato conservati.
• Robustezza: Il metodo è rimasto efficace sotto variazioni avversarie dei prompt (prefissi casuali, parafrasi e tentativi di jailbreak), suggerendo che il confine di rifiuto appreso è generalizzabile e non basato su modelli predefiniti.

5. Significato e Affermazioni

Il lavoro afferma che ASRU affronta una lacuna critica nel dimenticamento multimodale: il degrado del comportamento del modello dopo la rimozione della conoscenza. Trattando la qualità di generazione come obiettivo primario, ASRU garantisce che i modelli dimenticati rimangano sicuri, utilizzabili e allineati.

Gli autori sottolineano che il loro approccio permette ai modelli di comportarsi come "modelli base allineati" che possono esprimere naturalmente i vuoti di conoscenza senza allucinare o divulgare informazioni sensibili. L'integrazione dello steering delle attivazioni per l'inizializzazione e dell'apprendimento per rinforzo per l'affinamento del confine fornisce una soluzione scalabile e controllabile per la costruzione di sistemi MLLM affidabili. Il lavoro è presentato come un passo verso un'AI più robusta per la preservazione della privacy, con potenziali estensioni future ad altre modalità come audio e video.