Position: The Term "Machine Unlearning" Is Overused in LLMs

Sintesi Tecnica: "Il termine 'Machine Unlearning' è sovrautilizzato negli LLM"

Problema
I Large Language Models (LLM) affrontano una crescente pressione normativa e commerciale per "dimenticare" specifici dati di addestramento, spinta dai diritti alla privacy (ad esempio, il diritto all'oblio), controversie sul copyright e politiche di sicurezza. Tuttavia, il termine "machine unlearning" (disapprendimento automatico) è diventato terminologicamente sovraccarico nella ricerca sugli LLM. Attualmente, viene applicato ampiamente a obiettivi diversificati che includono il rifiuto di comportamenti dannosi, la rimozione di entità, la soppressione della conoscenza e l'offuscamento dell'output.

Il problema centrale identificato è che questi distinti obiettivi sono spesso valutati utilizzando le stesse metriche e benchmark, nonostante perseguano obiettivi fondamentalmente diversi. Molti metodi etichettati come "unlearning" mirano semplicemente a sopprimere specifici output o a rifiutare determinate query (controllo del comportamento guidato da policy) piuttosto che a rimuovere l'influenza di addestramento sottostante di un particolare sottoinsieme di dati. Questa confusione porta a valutazioni che premiano la non-divulgazione superficiale (ad esempio, bassi punteggi ROUGE o l'incapacità di rispondere a specifiche domande) pur non verificando se il modello sia realmente indistinguibile da uno riaddestrato senza quei dati. Di conseguenza, le capacità derivate — abilità generalizzabili o schemi di ragionamento appresi dal "forget set" (set da dimenticare) — possono persistere anche quando la memorizzazione diretta viene soppressa.

Metodologia e Framework
Questo paper di posizione non propone un nuovo algoritmo o un framework sperimentale. Al contrario, offre un framework concettuale e una tassonomia per chiarire il campo:

1. Definizione Formale di Machine Unlearning: Gli autori definiscono il vero machine unlearning strettamente come un problema di eliminazione definita dal dataset. Dato un insieme di addestramento $D$ e un insieme da dimenticare $F \subset D$, l'obiettivo è produrre un modello aggiornato $\Theta'$ che sia (approssimativamente) indistinguibile da un modello controfattuale $\Theta_R$ riaddestrato da zero su $D \setminus F$. Il successo è misurato dalla divergenza tra le distribuzioni di $\Theta'$ e $\Theta_R$ (ad esempio, tramite $(\epsilon, \delta)$-indistinguibilità o altre metriche di divergenza), non semplicemente dal fallimento dell'output su specifiche prompt.
2. Tassonomia dell' "Unlearning" per Intento: Il paper categorizza altri usi comuni del termine nella letteratura LLM in categorie distinte basate sulle loro garanzie effettive:
   • Soppressione della Probabilità di Output: Metodi (ad esempio, Gradient Ascent, NPO) che riducono la probabilità di specifici token o risposte senza garantire l'equivalenza del riaddestramento.
   • Offuscamento della Rappresentazione Interna: Tecniche che inducono alta entropia o bassa confidenza su input mirati, distorcendo le attivazioni interne piuttosto che rimuovere l'influenza dei dati.
   • Knowledge Editing (Editing della Conoscenza): Approcci che sovrascrivono specifici fatti o associazioni (ad esempio, tramite fine-tuning controfattuale) per reindirizzare gli output, invece di rimuovere l'influenza di addestramento dei dati originali.
   • Rifiuto Comportamentale: Strategie che addestrano i modelli ad astenersi o a dire "non lo so" a specifiche query, funzionando come allineamento della policy piuttosto che come eliminazione dei dati.
   • Interventi al Tempo di Inferenza: Filtri esterni o vincoli di decodifica che impediscono la divulgazione senza modificare i pesi del modello.
3. Capacità Derivate: Il paper introduce il concetto di "capacità derivate" — comportamenti o competenze (ad esempio, abilità di ragionamento matematico) che si generalizzano oltre gli esempi specifici nel forget set. Sostiene che se l'addestramento su $F$ contribuisce a tale capacità, un modello che realmente apprende a dimenticare $F$ deve perdere tale capacità, proprio come farebbe un modello riaddestrato su $D \setminus F$.

Contributi Chiave

• Chiarificazione Terminologica: Il paper sostiene di riservare il termine "machine unlearning" esclusivamente alla garanzia di indistinguibilità dal riaddestramento. Postula che i compiti di "dimenticare" guidati dalla sicurezza o dalla policy debbano essere etichettati e valutati come problemi distinti (ad esempio, soppressione, allineamento o editing).
• Critica dei Benchmark Correnti: Gli autori analizzano i principali benchmark (TOFU, MUSE, RWKU, WMDP) e dimostrano come molti si siano allontanati dai riferimenti di riaddestramento per concentrarsi su metriche di fallimento dell'output. Dimostrano che metriche come ROUGE o l'accuratezza QA su prompt del forget set misurano spesso il controllo dell'output piuttosto che la rimozione dell'influenza di addestramento, permettendo ai metodi di apparire efficaci pur mantenendo la conoscenza latente.
• Raccomandazioni sul Protocollo di Valutazione: Il paper propone uno standard di valutazione rigoroso per le rivendicazioni di machine unlearning:
  • Valutazione Basata su Riferimento: Le rivendicazioni devono essere ancorate a un modello di riferimento esplicito (idealmente un modello riaddestrato su $D \setminus F$ o un proxy chiaramente dichiarato).
  • Probe di Capacità Derivate: Le valutazioni devono includere test per le capacità trasferibili (ad esempio, compiti di ragionamento out-of-distribution) e test di recupero basati su intervento (ad esempio, controllare se la conoscenza "dimenticata" può essere recuperata tramite un fine-tuning benigno) per garantire che l'influenza dell'addestramento sia stata realmente rimossa.

Risultati ed Evidenze
In quanto paper di posizione, il lavoro non presenta nuovi risultati sperimentali. Invezione, sintetizza le evidenze dalla letteratura esistente per supportare le proprie argomentazioni:

• Cita lavori precedenti che mostrano come i metodi che appaiono efficaci sotto protocolli di prompting fissi spesso falliscano in condizioni avversarie (parafresi, jailbreak) o post-processing benigni (quantizzazione, fine-tuning), indicando che la conoscenza è stata soppressa piuttosto che dimenticata.
• Evidenzia casi in cui i metodi di "unlearning" falliscono nel rimuovere i comportamenti indotti in scenari di avvelenamento dei dati (data poisoning), dimostrando ulteriormente il divario tra soppressione dell'output e rimozione dell'influenza.
• Dimostra che gli attuali benchmark spesso mancano della base di riferimento del riaddestramento necessaria per distinguere tra un modello che ha realmente dimenticato i dati e uno che ha semplicemente imparato a rifiutare specifiche query.

Significatività e Rivendicazioni
Il paper sostiene che l'attuale confusione terminologica non è meramente cosmetica, ma ha conseguenze pratiche e scientifiche significative. Confliggendo il controllo del comportamento guidato da policy con l'eliminazione definita dal dataset, il campo rischia di:

1. Indurre in errore i Benchmark: Premiare la non-disclosure superficiale ignorando la persistente influenza dell'addestramento e le capacità derivate.
2. Confronti Incompatibili: Rendere impossibile confrontare metodi che rivendicano garanzie diverse sotto la stessa etichetta.
3. Rischi di Conformità: Non soddisfare i rigorosi requisiti della cancellazione normativa (che spesso richiede la rimozione dell'influenza, non solo la soppressione dell'output).

Gli autori concludono che risolvere questa confusione richiede una terminologia più rigorosa legata a garanzie esplicite e modelli di riferimento. Raccomandano valutazioni che corrispondano all'obiettivo dichiarato: se l'obiettivo è il machine unlearning, la valutazione deve dimostrare l'indistinguibilità da un modello riaddestrato, inclusa la perdita di qualsiasi capacità derivata attribuibile al forget set. Se l'obiettivo è la conformità alla policy o la soppressione dell'output, questi dovrebbero essere inquadrati e valutati come obiettivi distinti.