Sintesi Tecnica: Deep Contrastive Unlearning per i Modelli di Linguaggio

Definizione del Problema

Il rapido avanzamento dei Large Language Models (LLM) si basa sull'addestramento con enormi quantità di dati web, inclusi contenuti generati dagli utenti che possono contenere informazioni personali sensibili o materiale protetto da copyright. Sebbene gli LLM dimostrino capacità potenti, essi pongono rischi significativi per la privacy degli utenti e la protezione dei dati, in particolare alla luce di regolamenti come il GDPR che impone il "diritto all'oblio".

La sfida centrale è l'unlearning di macchina (machine unlearning): il processo di rimozione dell'influenza di specifici campioni di addestramento da un modello senza dover riaddestrare l'intero modello da zero. Il riaddestramento è computazionalmente proibitivo per gli LLM a causa della loro scala e del tempo richiesto per i cicli di addestramento. Gli esistenti metodi di unlearning per gli LLM si concentrano principalmente sulla mitigazione dell'impatto dei campioni da dimenticare sulle distribuzioni di output del modello (ad esempio, le probabilità di classificazione). Tuttavia, tali approcci spesso non considerano o non ottimizzano esplicitamente le distribuzioni geometriche dei campioni all'interno dello spazio latente del modello. Di conseguenza, potrebbero non cancellare efficacemente le caratteristiche discriminanti dei dati da dimenticare, portando a tracce di memoria residue.

Metodologia: DeepCUT

Per affrontare queste limitazioni, gli autori propongono Deep Contrastive Unlearning for Fine-Tuning (DeepCUT). Questo framework opera ottimizzando direttamente lo spazio latente di un modello di linguaggio sottoposto a fine-tuning per facilitare l'oblio di specifici campioni pur preservando le prestazioni del modello sui dati rimanenti.

La metodologia consiste in tre componenti:

1. Codifica e Augmentation dell'Input:

   • Il framework utilizza un encoder di un LLM pre-addestrato per mappare le frasi di input in uno spazio di embedding latente.
   • Per facilitare il contrastive learning all'interno di un mini-batch, gli autori impiegano l'augmentation dei dati tramite dropout standard. Passando un campione attraverso uno strato di dropout due volte con maschere differenti, generano molteplici viste dello stesso campione ancora (anchor sample). Ciò garantisce la disponibilità di campioni positivi (stessa classe) all'interno del batch, anche quando la dimensione del batch è ridotta o la classe specifica è sotto-rappresentata.

2. Obiettivo di Contrastive Unlearning:

   • A differenza del contrastive learning tradizionale che avvicina i campioni positivi e allontana i negativi, DeepCUT inverte questa logica per i dati da dimenticare ($D_f$).
   • Per un campione ancora $x_f$ nell'insieme da dimenticare, il modello viene sottoposto a fine-tuning per allontanare l'embedding latente del campione dalle istanze della propria classe ($D_y$) e avvicinarlo alle istanze di classi diverse ($D_{\neg y}$).
   • Ciò è ottenuto tramite una loss contrastiva modificata (ispirata alla loss FoCL), formulata come:
     $$L_f = -\sum_{x_f \in D_f} \frac{1}{|D_{\neg y}|} \sum_{x_i \in D_{\neg y}} \log \frac{\exp(z_i^\top z_f / \tau)}{\exp(z_i^\top z_f / \tau) + \sum_{z_j \in D_y} \exp(z_j^\top z_f / \tau)}$$
   • Questo processo altera la rappresentazione appresa dei dati da dimenticare, cancellando efficacemente le loro caratteristiche discriminanti uniche e spostandole verso i confini decisionali di altre classi.

3. Ottimizzazione Combinata:

   • Per prevenire l'oblio catastrofico (catastrophic forgetting) dei dati rimanenti ($D_r$), la loss di unlearning ($L_f$) viene combinata con la standard loss di cross-entropy ($L_{CE}$) per i campioni trattenuti.
   • La funzione obiettivo finale è:
     $$L = -\sum_{x_r \in D_r} \log \frac{\exp(\theta_{y_r}^\top z_r)}{\sum_c \exp(\theta_c^\top z_r)} + \gamma L_f$$
   • Qui, $\gamma$ è un iperparametro che bilancia la ritenzione della conoscenza utile e la rimozione di dati specifici.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Introduzione del Framework: La proposta di DeepCUT, un efficace framework di unlearning progettato per dimenticare selettivamente specifici campioni nei modelli addestrati operando direttamente sullo spazio latente.
2. Ottimizzazione dello Spazio Latente: Un approccio innovativo ispirato al contrastive learning che ottimizza le distribuzioni dei campioni all'interno dello spazio latente. Ciò assicura la rimozione delle caratteristiche discriminanti specifiche dei campioni da dimenticare, piuttosto che limitarsi ad aggiustare le probabilità di output.
3. Validazione Empirica: Esperimenti estesi su dataset reali che dimostrano come DeepCUT possa dimenticare efficientemente campioni specifici senza degradare le prestazioni predittive del modello sui dati rimanenti.

Risultati Sperimentali

Gli autori hanno valutato DeepCUT su quattro dataset benchmark in due domini: Social Media (WNUT16, WNUT17) e Biochimico (NCBI-Disease, ChEMU). Il modello è stato confrontato con diversi baseline:

• Retrain: Unlearning esatto tramite riaddestramento completo (ground truth).
• Fine-tune: Fine-tuning standard sui dati rimanenti (facendo affidamento sull'oblio catastrofico).
• Reverse Gradient: Inversione dei gradienti per il set da dimenticare.
• SISA: Tecnica di Sharding, Isolation, Slicing, e Aggregation.

Risultati Chiave:

• Efficacia dell'Unlearning: DeepCUT ha costantemente ottenuto l'accuratezza più bassa sull' "insieme da dimenticare" (forget set) in tutti i dataset e configurazioni (tassi di rimozione dell'1% e del 10%), superando significativamente i baseline come Reverse Gradient. Ad esempio, su WNUT16 con rimozione dell'1%, DeepCUT ha ridotto l'accuratezza del forget-set al 32,25%, che è inferiore (indicando un unlearning più efficace) rispetto al 54,55% ottenuto dal modello retrained (ground truth) e al 99,14% del metodo Fine-tune standard.
• Preservazione delle Prestazioni: DeepCUT ha mantenuto un'alta accuratezza sull' "insieme trattenuto" (retained set) e sul "test set", comparabile al modello retrained e superiore a SISA (che soffriva di cali di accuratezza a causa dello sharding dei dati).
• Efficienza: In termini di tempo di esecuzione, DeepCUT è stato significativamente più veloce del baseline "Retrain" ed è stato più efficiente dell'approccio "Fine-tune", che richiedeva numerosi epoche per ottenere un parziale forgetting. Sebbene SISA fosse veloce, comprometteva l'accuratezza complessiva del modello.

Significato e Rivendicazioni

Il documento afferma che DeepCUT rappresenta un passo avanti significativo nell'unlearning di macchina per gli LLM, spostando l'attenzione dalla mitigazione a livello di output all'ottimizzazione geometrica nello spazio latente. Gli autori sostengono che i metodi esistenti non affrontano esplicitamente la distribuzione dei campioni nello spazio latente, portando a un unlearning incompleto. Manipolando direttamente gli embedding latenti per cancellare le caratteristiche discriminanti, DeepCUT offre una soluzione più fondata, precisa ed efficiente. I risultati suggeriscono che la manipolazione contrastiva dello spazio latente sia un approccio valido e superiore per garantire la conformità alla privacy nei modelli linguistici su larga scala senza i costi proibitivi del riaddestramento completo.