RePAIR: Interactive Machine Unlearning through Prompt-Aware Model Repair

1. Il Problema: Limiti dell'Unlearning Attuale e la Necessità di IMU

I Large Language Models (LLM) assorbono inevitabilmente conoscenze dannose, disinformazione e dati personali durante il pre-addestramento su corpora web su larga scala. Attualmente, non esiste un meccanismo nativo per la rimozione selettiva di queste informazioni.

Sebbene l'Machine Unlearning (MU) offra una soluzione teorica per eliminare l'influenza di dati specifici senza riaddestrare l'intero modello, gli approcci esistenti presentano limitazioni critiche:

• Centralizzazione: Sono progettati per i fornitori di servizi di modello (MSP), richiedendo l'accesso ai dati di addestramento, dataset di "ritenzione" (retain sets) curati e pipeline di riaddestramento.
• Esclusione dell'utente finale: Gli utenti non possono controllare direttamente i propri dati o chiedere la rimozione di informazioni memorizzate in tempo reale.
• Vincoli pratici: I metodi attuali richiedono spesso l'addestramento (gradienti, backpropagation) e l'elaborazione di batch di dati, rendendoli incompatibili con ambienti di inferenza (test-time) e dispositivi locali.

Il paper introduce un nuovo paradigma chiamato Interactive Machine Unlearning (IMU), in cui gli utenti possono istruire un LLM a "dimenticare" conoscenze mirate tramite linguaggio naturale durante l'inferenza, eliminando la necessità di intermediari.

2. Metodologia: Il Framework RePAIR e STAMP

Per realizzare l'IMU, gli autori propongono RePAIR (Interactive Machine Unlearning through Prompt-Aware Model Repair), un framework che opera interamente al momento dell'inferenza (test-time) senza gradienti.

Architettura del Framework RePAIR

Il sistema è composto da tre modelli interagenti:

1. Mpatient (Modello Paziente): Il modello LLM base che interagisce con l'utente.
2. Mwatchdog (Modello Guardiano): Monitora la cronologia della conversazione per rilevare l'intento di unlearning, estrarre la coppia target da dimenticare (prompt e risposta) e determinare quando e cosa dimenticare.
3. Msurgeon (Modello Chirurgo): Genera il codice di riparazione necessario per modificare i parametri del modello paziente autonomamente.

Il Cuore Tecnico: STAMP (Steering Through Activation Manipulation with PseudoInverse)

Il metodo di unlearning proposto è STAMP, una tecnica training-free (senza addestramento) e a campioni singoli (single-sample).

• Concetto: Invece di aggiornare i pesi tramite gradienti, STAMP manipola le attivazioni dei layer MLP (Multi-Layer Perceptron) per indirizzarle verso uno "spazio di rifiuto" (refusal subspace).
• Meccanismo:
  1. Viene calcolato un vettore di sterzo (Steering Vector) come differenza media tra le attivazioni di un set di riferimento (prompt di rifiuto, es. "Non lo so") e le attivazioni del campione da dimenticare.
  2. Si definisce un obiettivo: modificare le attivazioni del campione da dimenticare aggiungendo il vettore di sterzo, mantenendo invariate le attivazioni dei dati da conservare.
  3. Aggiornamento dei Pesi: Si risolve un sistema lineare per trovare i nuovi pesi ($W_{new}$) che mappano gli input originali agli output desiderati.
     • STAMP Standard: Utilizza la pseudoinversa di Moore-Penrose per risolvere il sistema in forma chiusa. La complessità è $O(d^3)$, dove $d$ è la dimensione del modello.
     • STAMP-LR (Low-Rank): Per ridurre la complessità computazionale e abilitare l'esecuzione su dispositivi locali, approssima la matrice di input con una decomposizione a basso rango ($X \approx AB$). Questo riduce la complessità a $O(r^3 + r^2 \cdot d)$, con $r \ll d$, ottenendo un speedup di circa 3x rispetto ai metodi basati su addestramento.

3. Contributi Chiave

1. Formalizzazione dell'IMU: Definizione di un nuovo setting di problema che permette agli utenti finali di istruire gli LLM a dimenticare conoscenze tramite linguaggio naturale, eliminando la dipendenza dagli MSP.
2. STAMP e STAMP-LR: Introduzione dei primi metodi di unlearning a campione singolo e senza addestramento per LLM, operanti esclusivamente al momento dell'inferenza.
3. Framework RePAIR End-to-End: Un sistema integrato che combina rilevamento dell'intento, generazione di codice di riparazione e modifica autonoma dei pesi del modello.
4. Validazione Empirica: Dimostrazione che il metodo raggiunge un "dimenticare" quasi perfetto mantenendo l'utilità del modello, superando sei baselines dello stato dell'arte (SoTA).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Llama-3-8B (come Mpatient) e tre task principali: soppressione di conoscenze dannose, correzione di disinformazione ed erasure di dati personali.

• Efficacia di Dimenticanza (Forgetting):
  • STAMP e STAMP-LR raggiungono punteggi di accuratezza di dimenticanza ($Acc_f$) pari a 0.00 e punteggi ROUGE-L ($F-RL$) pari a 0.00 su tutti i task.
  • Questo indica che il modello non risponde più alle informazioni da rimuovere, fornendo invece risposte di rifiuto coerenti.
• Preservazione dell'Utilità (Retention):
  • Il modello mantiene alte prestazioni sui dati da conservare. STAMP-LR raggiunge un'accuratezza di ritenzione ($Acc_r$) fino a 84.47 (per la rimozione di disinformazione) e un punteggio $R-RL$ fino a 0.88.
  • Questi valori sono comparabili o superiori ai baselines SoTA (come GA, NPO, RMU) e vicini al modello "Oracle" (addestrato solo sui dati da conservare).
• Efficienza Temporale (Runtime):
  • Essendo training-free, RePAIR è significativamente più veloce.
  • STAMP-LR ottiene uno speedup di ~3x rispetto ai metodi basati su addestramento (es. 2.57 minuti contro 6.58 minuti per la rimozione di disinformazione).
• Unlearning a Campione Singolo:
  • Mentre i metodi basati su addestramento falliscono completamente ($Acc_f = 100$) quando devono dimenticare un solo campione (a causa del segnale di gradiente debole), STAMP e STAMP-LR mantengono $Acc_f = 0.00$, dimostrando la loro superiorità nel setting IMU.

5. Significato e Implicazioni

Il lavoro di RePAIR rappresenta un passo fondamentale verso il controllo trasparente e locale delle conoscenze apprese dagli LLM:

• Sovranità dei Dati: Abilita gli utenti a esercitare direttamente il "diritto all'oblio" (GDPR/CCPA) senza dover fidarsi ciecamente dei fornitori di servizi.
• Sicurezza e Privacy: Offre una soluzione pratica per rimuovere rapidamente dati sensibili o informazioni dannose in tempo reale, anche su dispositivi edge.
• Nuovo Paradigma: Sposta il focus dall'addestramento statico all'adattamento dinamico e interattivo dei modelli durante l'uso, aprendo la strada a futuri sviluppi su modelli fondazionali multimodali.

In sintesi, RePAIR dimostra che è possibile "curare" un modello AI in tempo reale, rendendolo sicuro e rispettoso della privacy dell'utente, senza i costi proibitivi del riaddestramento.