DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

Riepilogo Tecnico di DualOptim+

Enunciato del Problema
L'Apprendimento Machine (MU) nei Modelli Linguistici di Grande Dimensione (LLM) mira a cancellare l'influenza di dati di training specifici (l'insieme da dimenticare) preservando al contempo l'utilità generale del modello sui dati rimanenti (l'insieme da mantenere). Gli approcci esistenti affrontano una sfida significativa nel bilanciare questi obiettivi conflittuali.

• Aggiornamento Congiunto: La maggior parte dei metodi minimizza la somma delle perdite di dimenticanza e di mantenimento simultaneamente. Ciò spesso porta a un degrado significativo dell'utilità del modello a causa di una dimenticanza eccessiva.
• Aggiornamento Alternato: L'alternanza tra obiettivi di dimenticanza e di mantenimento migliora le prestazioni ma soffre di instabilità e sensibilità agli iperparametri.
• Ottimizzatori Disaccoppiati (DualOptim): Un approccio precedente, DualOptim, disaccoppia gli stati dell'ottimizzatore (ad es. termini di momento) per ciascun obiettivo per prevenire l'intreccio dei gradienti. Sebbene efficace nella visione artificiale, DualOptim produce miglioramenti solo marginali negli LLM. Gli autori osservano che nell'apprendimento machine negli LLM, i gradienti per la dimenticanza e il mantenimento non sono sempre in diretto conflitto; spesso condividono rappresentazioni comuni, specialmente nelle fasi successive del training. Stati completamente disaccoppiati non sfruttano queste caratteristiche condivise, mentre stati completamente condivisi non riescono a gestire i conflitti.

Metodologia: DualOptim+
Il documento propone DualOptim+, un framework di ottimizzazione plug-and-play progettato per colmare il divario tra stati dell'ottimizzatore completamente condivisi e completamente disaccoppiati. L'innovazione centrale è la decomposizione dello stato dell'ottimizzatore in due componenti:

1. Stato Base Condiviso ($B$): Questo stato cattura le rappresentazioni comuni condivise sia dagli obiettivi di dimenticanza che di mantenimento. Viene aggiornato congiuntamente utilizzando i gradienti da entrambi gli obiettivi ($\nabla_\theta L_f$ e $\nabla_\theta L_r$).
2. Stati Delta Disaccoppiati ($\Delta_f, \Delta_r$): Questi stati preservano i residui specifici per obiettivo. Vengono aggiornati in base alla differenza tra il gradiente dell'obiettivo specifico e lo stato base corretto per il bias.
   • $\Delta_f \leftarrow \beta \Delta_f + (1-\beta)(\nabla_\theta L_f - \hat{B})$
   • $\Delta_r \leftarrow \beta \Delta_r + (1-\beta)(\nabla_\theta L_r - \hat{B})$

Aggiornamento dei Parametri:
Il termine di momento finale utilizzato per l'aggiornamento dei parametri viene ricostruito combinando lo stato base corretto per il bias con il rispettivo stato delta corretto per il bias ($\hat{B} + \hat{\Delta}_f$ o $\hat{B} + \hat{\Delta}_r$).

Insight Teorico Chiave:
Le analisi teoriche e numeriche dimostrano che DualOptim+ funziona come un intermediario adattivo.

• Quando i gradienti sono positivamente correlati (le caratteristiche condivise dominano), gli stati delta convergono a zero e il metodo si comporta come uno schema Alternato (utilizzando la base condivisa).
• Quando i gradienti sono negativamente correlati (obiettivi conflittuali), lo stato base converge a zero e il metodo si comporta come uno schema DualOptim (utilizzando stati disaccoppiati).
  Questa adattività consente all'ottimizzatore di regolare dinamicamente in base al conflitto direzionale tra i gradienti di dimenticanza e mantenimento.

DualOptim+ 8bit
Per affrontare il sovraccarico di memoria associato all'archiviazione di stati aggiuntivi dell'ottimizzatore (3 volte la memoria di un ottimizzatore Adam standard), gli autori introducono DualOptim+ 8bit. Questa variante quantizza gli stati dell'ottimizzatore a una precisione di 8 bit, riducendo significativamente il consumo di memoria (a circa 3/4 di un Adam standard) senza compromettere le prestazioni.

Contributi Chiave

1. Framework Innovativo: La proposta di DualOptim+, che introduce uno stato base condiviso e stati delta disaccoppiati per colmare efficacemente gli stati dell'ottimizzatore condivisi e disaccoppiati.
2. Design Plug-and-Play: Un framework compatibile con qualsiasi ottimizzatore che memorizza stati (ad es. AdamW, Muon) e applicabile all'ottimizzazione multi-obiettivo.
3. Validazione Empirica: Esperimenti estesi su dataset fittizi (TOFU), scenari reali (apprendimento machine su Llama-3), allineamento alla sicurezza e compiti di apprendimento multi-task.
4. Efficienza: L'introduzione della variante quantizzata a 8 bit che mitiga il sovraccarico di memoria.

Risultati Sperimentali
Il documento valuta DualOptim+ rispetto alle linee di base Joint, Alternato e DualOptim su vari LLM (Phi-1.5, Llama-2, Llama-3) e compiti:

• Scenari Fittizi (TOFU): DualOptim+ raggiunge costantemente le migliori Prestazioni Complessive (OVR), definite come un compromesso tra Efficacia di Dimenticanza (FE) e Utilità del Modello (MU). Supera DualOptim, in particolare nell'apprendimento machine mirato, sfruttando meglio le caratteristiche condivise.
• Scenari Reali: Nell'apprendimento machine di individui reali da Llama-3, DualOptim+ mantiene un'utilità superiore sui compiti downstream (ARC-c, MMLU, ecc.) rispetto alle linee di base, mentre DualOptim talvolta performa peggio dell'approccio Alternato più semplice.
• Allineamento alla Sicurezza: In un compito per dimenticare conoscenze non sicure mantenendo le capacità di seguire le istruzioni, DualOptim+ raggiunge il miglior compromesso sicurezza-utilità e il tasso di rifiuto eccessivo più basso sul benchmark XSTest.
• Apprendimento Multi-Task: A differenza dell'apprendimento machine dove i conflitti di gradiente sono elevati, nell'apprendimento multi-task dove i conflitti sono meno pronunciati, DualOptim+ continua a fornire significativi incrementi di prestazioni, mentre DualOptim mostra guadagni negativi.
• Efficienza di Memoria: Le varianti a 8 bit raggiungono una parità quasi totale nell'uso della memoria rispetto alle linee di base standard, mantenendo al contempo i benefici prestazionali del metodo in precisione completa.

Significato e Affermazioni
Gli autori affermano che DualOptim+ fornisce un compromesso più stabile ed efficace tra cancellazione della conoscenza e preservazione dell'utilità rispetto ai metodi esistenti. Posizionano il metodo non solo come strumento per l'apprendimento machine, ma come un framework di ottimizzazione generalizzabile applicabile a scenari più ampi che coinvolgono obiettivi di apprendimento multipli e conflittuali, come l'allineamento degli LLM e l'apprendimento multi-obiettivo. Il documento sottolinea che la natura adattiva del colmare gli stati condivisi e disaccoppiati è cruciale per gestire le relazioni dinamiche dei gradienti riscontrate nell'apprendimento machine negli LLM.