Representation-Guided Parameter-Efficient LLM Unlearning

1. Il Problema: Il Trade-off Dimenticare-Mantenere

I Large Language Models (LLM) tendono a memorizzare informazioni sensibili, dannose o protette da copyright. La Machine Unlearning (MU) mira a rimuovere queste conoscenze specifiche da un modello pre-addestrato senza doverlo riaddestrare da zero (costo proibitivo).

Le sfide principali identificate dagli autori sono:

• Superposizione e Polisemanticità: I parametri degli LLM sono spesso "polisenantici", ovvero un singolo parametro contribuisce alla rappresentazione di molteplici concetti.
• Limiti dei Metodi Esistenti: I metodi attuali basati su LoRA (Low-Rank Adaptation) utilizzano metriche di importanza dei parametri (es. Informazione di Fisher) per identificare quali parametri modificare. A causa del fenomeno di superposizione, è difficile isolare i parametri rilevanti solo per il "set da dimenticare" (forget set) senza danneggiare le prestazioni sul "set da mantenere" (retain set). Questo porta a un compromesso (trade-off) subottimale tra efficacia dell'oblio e utilità del modello.

2. Metodologia: ReGLU (Representation-Guided Low-rank Unlearning)

Gli autori propongono ReGLU, un approccio che sposta il focus dall'importanza dei parametri alla geometria degli spazi di rappresentazione. Il metodo si basa su due componenti principali:

A. RILA: Inizializzazione Guidata dalla Rappresentazione

Invece di inizializzare LoRA casualmente o basandosi sulla Fisher Information, RILA utilizza le proprietà geometriche per trovare il sottospazio ottimale per l'oblio selettivo.

• Concetto: Si definisce un obiettivo di massimizzazione dell'energia differenziale: massimizzare la varianza delle rappresentazioni del forget set ($D_f$) e minimizzare quella del retain set ($D_r$).
• Implementazione:
  1. Si calcolano le matrici di covarianza delle uscite dei layer per entrambi i set ($Cov_F$ e $Cov_R$).
  2. Si costruisce una matrice di covarianza bilanciata: $Cov_\Delta = (1 - \beta)Cov_F - \beta Cov_R$.
  3. Le matrici di LoRA ($A$ e $B$) vengono inizializzate utilizzando i vettori propri (eigenvectors) principali di $Cov_\Delta$.
• Risultato: L'aggiunta di LoRA inizia già allineata con le direzioni che discriminano meglio i dati da dimenticare da quelli da mantenere, fornendo un punto di partenza superiore rispetto alle inizializzazioni standard.

B. ROL: Loss di Ortogonalità della Rappresentazione

Per garantire che l'aggiornamento non interferisca con le conoscenze preservate, viene introdotta una funzione di regolarizzazione.

• Concetto: Si identifica il sottospazio principale delle rappresentazioni del retain set ($P_B$).
• Implementazione: Si aggiunge un termine di perdita ($L_{ROL}$) che impone che le colonne della matrice di proiezione verso l'alto di LoRA ($B$) siano ortogonali al sottospazio $P_B$.
• Obiettivo: Costringere l'aggiornamento di LoRA a risiedere nel complemento ortogonale delle rappresentazioni del set da mantenere, minimizzando così l'interferenza con le prestazioni originali del modello.

L'obiettivo finale di ottimizzazione combina la perdita di oblio (es. Gradient Ascent o IHL), la perdita di mantenimento e la regolarizzazione ortogonale.

3. Contributi Chiave

1. Cambio di Paradigma: Passaggio dall'analisi dell'importanza dei parametri (spesso inaffidabile a causa della superposizione) alla geometria degli spazi di rappresentazione.
2. Nuovo Framework (ReGLU): Integrazione di un'inizializzazione geometrica intelligente (RILA) e di una regolarizzazione strutturale (ROL).
3. Garanzia Teorica: Forniscono una dimostrazione teorica (Teorema 1) che l'inizializzazione basata sugli autovettori di $Cov_\Delta$ massimizza l'obiettivo differenziale all'inizio dell'addestramento.
4. Efficienza: RILA è computazionalmente efficiente, richiedendo solo un passaggio in avanti (forward pass) e una decomposizione agli autovalori, evitando il calcolo costoso dei gradienti per la mappatura dell'importanza richiesto da metodi come FILA/VILA.

4. Risultati Sperimentali

Il metodo è stato valutato sui benchmark TOFU (profili di autori sintetici) e WMDP (domini di bio-sicurezza e cyber-sicurezza) su modelli come Llama-2-7B, Phi-1.5 e Zephyr-7B.

• Qualità dell'Oblio: ReGLU supera costantemente i metodi basati su stato dell'arte (FILA, VILA) combinati con diverse funzioni di perdita (GD, IHL).
  • Su TOFU, ReGLU + IHL ha raggiunto un Forget Quality (FQ) medio di -4.4 su Phi-1.5B e -2.4 su Llama-2-7B (valori più alti indicano un oblio migliore).
  • Su WMDP, ReGLU ha ridotto l'accuratezza sui dati da dimenticare fino al 35.1% (vs 54.6% del modello originale), superando i baselines.
• Mantenimento dell'Utilità: Tutti i metodi hanno mantenuto almeno il 95% dell'utilità originale del modello (misurata su MMLU e altre metriche), dimostrando che ReGLU preserva meglio le conoscenze generali rispetto alle alternative.
• Analisi Geometrica: Le analisi mostrano che ReGLU raggiunge un'ortogonalità significativamente più alta (0.87) tra gli aggiornamenti di LoRA e il sottospazio di mantenimento rispetto a FILA (0.70) e VILA (0.82).
• Efficienza: RILA è più veloce nell'inizializzazione, specialmente su set di dimenticanza grandi, grazie all'uso di SVD randomizzata che scala bene anche per modelli da 70B parametri.

5. Significato e Implicazioni

Il lavoro di ReGLU è significativo perché affronta una limitazione fondamentale dei metodi di unlearning attuali: l'assunzione che i parametri possano essere facilmente separati per funzione. Dimostrando che controllare il sottospazio di rappresentazione è più robusto che stimare l'importanza dei parametri, ReGLU offre una soluzione più precisa e sicura per la rimozione selettiva di conoscenze negli LLM.

Questo approccio è cruciale per:

• Privacy: Rimuovere dati personali o sensibili senza degradare le capacità del modello.
• Proprietà Intellettuale: Eliminare contenuti protetti da copyright.
• Sicurezza: Disattivare conoscenze pericolose (es. creazione di armi biologiche) mantenendo il modello utile per compiti generali.

In sintesi, ReGLU rappresenta un avanzamento verso un unlearning più affidabile ed efficiente, risolvendo il problema del trade-off dimenticare-mantenere attraverso una comprensione geometrica profonda dello spazio latente dei modelli linguistici.