CURE:Circuit-Aware Unlearning for LLM-based Recommendation

1. Il Problema

L'integrazione dei Modelli Linguistici di Grande Dimensione (LLM) nei sistemi di raccomandazione (LLMRec) ha migliorato la comprensione semantica delle preferenze degli utenti. Tuttavia, l'uso di dati utente sensibili (es. cronologia acquisti) solleva gravi preoccupazioni per la privacy. Le normative richiedono sempre più spesso la capacità di "dimenticare" specifici dati (Machine Unlearning).

Le sfide principali identificate dagli autori sono:

• Conflitti di Gradiente: I metodi esistenti formulano l'unlearning come una somma pesata di due obiettivi: dimenticare (rimuovere l'influenza dei dati sensibili) e mantenere (preservare l'utilità del modello sui dati rimanenti). Poiché i gradienti di questi due obiettivi puntano spesso in direzioni opposte a livello neurale, l'ottimizzazione diventa instabile, portando a un dimenticamento inefficace o a un degrado severo delle prestazioni del modello.
• Approccio "Black-Box": I metodi attuali aggiornano i parametri del modello in modo uniforme senza comprendere quali moduli interni (es. teste di attenzione, MLP) codificano le informazioni da rimuovere. Questo riduce la trasparenza e la fiducia nel processo.

2. Metodologia: CURE

Gli autori propongono CURE (Circuit-Aware Unlearning), un framework che utilizza l'interpretabilità meccanica per disaccoppiare e aggiornare selettivamente i componenti del modello. Il metodo si articola in due fasi principali:

Fase 1: Localizzazione dei Circuiti (Circuit Extraction)

CURE identifica i "circuiti" computazionali (sottografi causali) responsabili del comportamento specifico del modello (raccomandazione di un item).

• Rappresentazione: Il modello è visto come un grafo diretto aciclico (DAG) dove i nodi sono le teste di attenzione e i moduli MLP.
• Scoring degli Archi: Vengono assegnati punteggi di importanza agli archi del grafo per quantificare il loro contributo alla previsione.
• Due Strategie di Estrazione:
  1. Activation Intervention (CURE-AI): Interviene direttamente sul flusso di informazioni mascherando gli archi e stimando il cambiamento nella probabilità di output tramite un'espansione di Taylor del primo ordine. È efficiente ma meno preciso.
  2. Activation Patching (CURE-AP): Utilizza un approccio contrastivo. Costruisce un campione "corrotto" ($x^*_u$) sostituendo un item nella cronologia utente con un item debolmente correlato (identificato tramite Personalized PageRank sul grafo utente-item). Misura l'impatto sostituendo l'attivazione del campione originale con quella del campione corrotto. Questo permette una localizzazione più precisa dei circuiti responsabili.

Fase 2: Aggiornamento Selettivo dei Circuiti

Una volta identificati i circuiti per i dati da dimenticare ($D_f$) e quelli da mantenere ($D_r$), i moduli vengono categorizzati in tre gruppi funzionali e aggiornati con regole specifiche:

1. Neuroni Specifici per il Dimenticare ($\Theta_f$): Appartengono solo al circuito di $D_f$. Vengono aggiornati solo con la loss di dimenticanza ($L_F$).
2. Neuroni Specifici per il Mantenimento ($\Theta_r$): Appartengono solo al circuito di $D_r$. Vengono aggiornati solo con la loss di mantenimento ($L_R$).
3. Neuroni Condivisi ($\Theta_{sh}$): Appartengono a entrambi i circuiti. Per mitigare i conflitti di gradiente, CURE utilizza una strategia di proiezione (simile a PCGrad ma applicata a livello di circuito): se i gradienti sono conflittuali, uno viene proiettato sul piano normale dell'altro per rimuovere le componenti distruttive.

3. Contributi Chiave

• Prospettiva basata sui Circuiti: Introduce un nuovo modo di vedere l'unlearning negli LLM, spostandosi da un aggiornamento globale a uno basato sulla struttura causale interna del modello.
• Framework Trasparente: Disentangle (separa) i circuiti conflittuali, rendendo il processo di unlearning interpretabile e verificabile.
• Analisi Teorica: Fornisce una prova teorica che l'aggiornamento di gradiente di CURE porta a una perdita inferiore rispetto alla discesa del gradiente standard in presenza di conflitti.
• Indipendenza dal Modello: Il framework è agnostico rispetto al modello di base e può essere applicato a diverse architetture LLM.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset reali (MovieLens-1M e GoodReads) utilizzando backbone come GPT-2 e Llama-2 (7B).

• Efficacia dell'Unlearning: CURE riduce la divergenza (Jensen-Shannon Divergence) tra il modello unlearned e il modello riaddestrato "gold standard" in modo significativo rispetto ai baselines (come E2URec, ROME, WISE).
• Preservazione dell'Utilità: CURE mantiene prestazioni di raccomandazione (AUC, Accuracy) molto vicine a quelle del riaddestramento completo, superando i metodi esistenti che spesso sacrificano l'accuratezza per la velocità.
• Efficienza:
  • CURE è 3.5 volte più veloce del baseline E2URec.
  • Rispetto al riaddestramento completo, riduce i tempi di calcolo di ordini di grandezza.
• Riduzione dei Conflitti: L'analisi mostra che CURE riduce la proporzione di coppie di gradienti in forte conflitto (cos $\psi$ negativo) fino al 76% rispetto ai metodi esistenti.

5. Significato e Impatto

CURE rappresenta un passo avanti fondamentale verso l'implementazione pratica e sicura dell'unlearning nei sistemi di raccomandazione basati su LLM.

• Trasparenza: Trasforma l'unlearning da un processo "scatola nera" a uno intervento chirurgico sui circuiti neurali, aumentando la fiducia degli utenti e dei regolatori.
• Soluzione al Dilemma Utilità-Privacy: Dimostra che è possibile rimuovere dati sensibili senza degradare le prestazioni del modello, risolvendo il problema dei conflitti di gradiente attraverso la separazione strutturale dei compiti.
• Scalabilità: La sua efficienza lo rende adatto per scenari reali dove l'unlearning deve essere eseguito frequentemente o su grandi volumi di dati.

In sintesi, CURE offre una soluzione robusta ed efficiente per la privacy nei sistemi di raccomandazione moderni, combinando l'interpretabilità meccanica con l'ottimizzazione avanzata.