💬 NLP

Model Unlearning Objectives Vary for Distinct Language Functions

Questo articolo sostiene che la rimozione delle conoscenze dai modelli linguistici dovrebbe essere adattata a funzioni specifiche anziché trattata come un compito monolitico, dimostrando attraverso esperimenti su modelli da 7-8 miliardi di parametri che obiettivi distinti—nello specifico un approccio meta-appreso basato sulla similarità coseno per le conoscenze pericolose e un metodo basato su sonde multistrato per la tossicità—producono risultati superiori per i rispettivi obiettivi.

Autori originali: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Pubblicato 2026-05-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate i Large Language Models (LLM) come studenti incredibilmente talentuosi, ma leggermente spericolati, che hanno letto quasi tutto su internet. Sono bravi a scrivere storie e rispondere a domande, ma hanno anche acquisito alcune cattive abitudini: a volte conoscono segreti pericolosi (come costruire una bomba) e a volte usano un linguaggio cattivo o tossico.

Il documento sostiene che tentare di "dimenticare" queste cattive abitudini non è un compito che si risolve con un approccio unico. Proprio come un insegnante utilizza metodi diversi per impedire a uno studente di barare in un compito di matematica rispetto a impedirgli di essere scortese con i compagni, i ricercatori di intelligenza artificiale hanno bisogno di strumenti diversi per problemi diversi.

Ecco una panoramica del loro approccio utilizzando semplici analogie:

1. Il Problema Centrale: Una Soluzione Non Vale Per Tutti

Gli autori affermano che il "dimenticare" (insegnare all'IA a dimenticare cose specifiche) non dovrebbe essere trattato come un compito singolo e generico.

Conoscenza Pericolosa è come uno studente che memorizza un fatto specifico e pericoloso (ad esempio, "Come preparare un veleno"). Questo è immagazzinato nel modello come un file specifico in una biblioteca.
Tossicità è come l'atteggiamento negativo di uno studente o la tendenza a essere scortese. Non è un singolo fatto; è un'atmosfera o un pattern che si diffonde attraverso tutta la personalità dello studente.

Il documento afferma che, poiché questi due problemi sono immagazzinati in modo diverso all'interno del "cervello" dell'IA, sono necessarie due strategie diverse per risolverli.

2. Strategia A: Dimenticare Fatti Pericolosi (L'Approccio "Coseno")

Quando l'IA conosce fatti pericolosi, gli autori hanno provato un nuovo metodo basato sulla direzione piuttosto che sulla distanza.

Il Vecchio Modo (Perdita L2): Immaginate di cercare di spostare un'auto giocattolo lontano da una scogliera. Il vecchio metodo misurava la distanza esatta tra l'auto e la scogliera. Se l'auto si spostava di 1 pollice, era considerato un progresso. Ma se l'auto era enorme, spostarla di 1 pollice potrebbe non essere sufficiente.
Il Nuovo Modo (Perdita Coseno): Gli autori suggeriscono che non dovremmo preoccuparci della distanza esatta. Invece, dovremmo preoccuparci della direzione in cui l'auto è orientata. Se l'auto è rivolta verso la scogliera, la giriamo di 180 gradi in modo che punti nella direzione opposta. Anche se è ancora vicina al bordo, ora punta lontano dal pericolo.
Il Risultato: Hanno anche utilizzato un "allenatore intelligente" (meta-learning) che calcola automaticamente quanto spingere l'auto per girarla senza farle dimenticare come guidare (conoscenza generale). Questo ha funzionato molto bene per rimuovere i fatti pericolosi.

3. Strategia B: Dimenticare la Tossicità (L'Approccio "Multi-Livello")

Quando l'IA è tossica, il metodo "gira l'auto" ha fallito. Perché? Perché la tossicità non è immagazzinata in un punto specifico; è come una macchia che ha impregnato il tessuto del cervello dell'IA attraverso molti livelli diversi.

Il Problema: Se strofini solo un punto su una camicia macchiata, la macchia è ancora lì.
La Soluzione: Gli autori hanno costruito uno "strofinaccio multilivello". Hanno esaminato il cervello dell'IA a diverse profondità (livelli iniziali, intermedi e finali) e hanno scoperto che il "segnale di tossicità" appare diverso a ogni livello.
Il Metodo: Hanno addestrato rilevatori speciali (sonde) a vari livelli per trovare esattamente dove si nasconde la tossicità. Poi, hanno spinto l'IA a cambiare il suo comportamento a tutti quei livelli simultaneamente, strofinando efficacemente la macchia dall'intera camicia, non solo da un punto.

4. La Scheda di Valutazione: S-Unlearning

Come si sa se l'IA è migliorata? Non si può semplicemente dire: "È meno tossica", perché forse ha anche smesso di essere utile.
Gli autori hanno creato un nuovo punteggio chiamato S-Unlearning.

Immaginate una bilancia a due piatti. Da un lato c'è "Quanto bene abbiamo rimosso le cose cattive?" e dall'altro "Quanto bene abbiamo mantenuto le cose buone?".
Il punteggio S-Unlearning è come l'area di un rettangolo formato da questi due lati. Si desidera un rettangolo grande (alta rimozione delle cose cattive E alta ritenzione delle cose buone). Se rimuovete le cose cattive ma rompete l'IA in modo che non possa più parlare, il vostro rettangolo si restringe a zero.

5. Cosa Hanno Scoperto

Hanno testato questo su quattro diversi modelli di IA open-source (come Llama, Mistral e Qwen).

Per i Fatti Pericolosi: Il loro nuovo metodo "basato sulla direzione" ha funzionato meglio dei metodi precedenti nel far dimenticare all'IA le informazioni pericolose senza perdere la sua intelligenza generale.
Per la Tossicità: Il loro "strofinaccio multilivello" è stato molto più efficace rispetto al tentativo di utilizzare lo stesso metodo usato per i fatti pericolosi. Hanno scoperto che la tossicità è effettivamente diffusa e bisogna colpire più livelli per risolverla.
La Grande Lezione: Non si può usare una singola "bacchetta magica" per risolvere tutti i problemi dell'IA. Bisogna capire come l'IA immagazzina il problema (come un fatto specifico o come un comportamento disperso) e scegliere lo strumento giusto per risolverlo.

In sintesi: per correggere un fatto specifico, cambiate la direzione. Per correggere un atteggiamento negativo, strofinate l'intero sistema livello per livello.

Riepilogo Tecnico: Gli Obiettivi di Dimenticamento del Modello Variano per Funzioni Linguistiche Distinte

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) acquisiscono proprietà indesiderate durante il preaddestramento, incluse conoscenze fattuali pericolose (ad esempio, rischi per la biosicurezza) e generazione di linguaggio tossico. Sebbene i metodi di post-addestramento utilizzino obiettivi distinti per modellare comportamenti diversi (ad esempio, seguire le istruzioni rispetto alla sicurezza), gli approcci esistenti di dimenticamento trattano spesso la rimozione di queste proprietà distinte come un unico problema generico.

Gli autori sostengono che il dimenticamento dovrebbe dipendere dall'obiettivo, analogamente alla diversità degli obiettivi di post-addestramento. Nello specifico, essi ipotizzano che le conoscenze pericolose (informazioni fattuali/procedurali) e la tossicità (comportamento socialmente dannoso) siano rappresentate diversamente all'interno dei meccanismi interni del modello. Di conseguenza, un singolo obiettivo di dimenticamento potrebbe essere inefficace per entrambi. I metodi attuali spesso falliscono nel rimuovere robustamente queste capacità o degradano involontariamente l'utilità generale del modello.

Metodologia

Il documento propone strategie di dimenticamento distinte, adattate alla natura meccanica specifica della proprietà target, valutate su quattro modelli open-source da 7–8B (Llama3.1-8B, Mistral-7B, Qwen2.5-7B, Olmo3-7B).

1. Dimenticamento delle Conoscenze Pericolose

Basandosi su evidenze meccaniche secondo cui la conoscenza fattuale è memorizzata in posizioni relativamente stabili (soggetto, oggetto e posizioni dell'ultimo token) attraverso i livelli, gli autori modificano il framework Representation Misdirection for Unlearning (RMU):

Funzione di Perdita Basata sul Coseno: Sostituiscono la classica funzione di perdita della distanza L2 con una funzione di perdita basata sul coseno. L'ipotesi è che la direzione rappresentativa sia più critica della posizione euclidea esatta. Ciò ottimizza l'allineamento tra la rappresentazione aggiornata e la direzione target senza penalizzare cambiamenti innocui di magnitudine.
Coefficiente Appreso tramite Meta-Apprendimento ( $\alpha$ ): Invece di fissare il coefficiente di compromesso tra gli obiettivi di oblio e conservazione, gli autori trattano $\alpha$ come un parametro apprendibile. Utilizzando REINFORCE, il modello aggiorna adattivamente $\alpha$ durante il fine-tuning per bilanciare oblio e conservazione, eliminando la necessità di un'ampia regolazione manuale.

2. Dimenticamento della Tossicità

Studi meccanici suggeriscono che la tossicità è rappresentata diversamente, spesso elicitata nei livelli MLP successivi e non necessariamente rimossa da metodi di allineamento come DPO. Un approccio a singolo livello o singola direzione si è rivelato inefficace.

Obiettivo Multi-Livello: Gli autori propongono una funzione di perdita di oblio che mira ai segnali rilevanti per la tossicità attraverso più livelli.
Sonde Specifiche per Livello: Addestrano sonde di regressione logistica lineare sulle rappresentazioni nascoste dell'ultimo token di un modello di riferimento congelato a vari livelli per identificare le direzioni specifiche per livello della tossicità ( $LR_i$ ).
Ortogonalizzazione: La funzione di perdita di oblio incoraggia le rappresentazioni aggiornate del modello per input tossici a diventare ortogonali alla direzione della tossicità a ciascun livello target. La perdita eleva al quadrato il prodotto scalare per garantire la non negatività e gradienti simmetrici, assegnando gradienti più grandi alle rappresentazioni fortemente allineate con la tossicità.
Selezione del Livello: Gli esperimenti indicano che un dimenticamento efficace richiede aggiornamenti coordinati attraverso profondità disperse (livelli iniziali, intermedi e tardivi), poiché le direzioni della tossicità ruotano significativamente attraverso la profondità della rete.

3. Metrica di Valutazione: S-Unlearning

Per riassumere il compromesso tra prestazioni di dimenticamento ( $U$ ) e utilità conservata ( $R$ ), gli autori introducono S-unlearning:

I punteggi di utilità e dimenticamento sono corretti per la probabilità casuale.
Il punteggio finale è il prodotto $\bar{U} \cdot \bar{R}$ .
Questa metrica varia da 0 a 1, massimizzando quando il dimenticamento è forte e l'utilità è alta, e scendendo a zero se l'utilità scende ai livelli casuali. È geometricamente equivalente all'area del rettangolo definito dal punto $(\bar{U}, \bar{R})$ .

Risultati Chiave

I metodi proposti sono stati valutati su quattro modelli utilizzando WMDP per le conoscenze pericolose e RealToxicityPrompts per la tossicità.

Conoscenze Pericolose: La variante RMU basata sul coseno e appresa tramite meta-apprendimento ha ottenuto risultati solidi, superando RMU standard e Adaptive RMU sulla maggior parte dei modelli (Mistral, Qwen, Olmo) preservando al contempo le capacità generali (MMLU). Ha ottenuto il miglior compromesso S-unlearning su tre dei quattro modelli.
Tossicità: L'obiettivo multi-livello ha superato significativamente i baseline. Mentre RMU standard e Adaptive RMU hanno ridotto la tossicità solo del 2–3%, il metodo proposto ha ottenuto riduzioni del 6–24%.
- Il metodo ha prodotto i punteggi S-unlearning più alti per la tossicità su tutti i modelli.
- Analisi dei Livelli: Le sonde hanno rivelato che le direzioni della tossicità sono in gran parte specifiche per livello (similarità coseno < 0,5 tra la maggior parte delle coppie tra livelli), validando la necessità di un intervento multi-livello.
- Ablazione: Aggiornare tre o più livelli (specificamente una miscela di livelli intermedi e tardivi) ha prodotto i migliori compromessi sicurezza-utilità. Gli interventi a singolo livello spesso non sono riusciti a ridurre significativamente la tossicità.

Significato e Affermazioni

Il documento afferma che il dimenticamento dovrebbe essere studiato come una famiglia di problemi piuttosto che come un'unica intervento generico.

Consapevolezza Meccanica: I risultati supportano la visione secondo cui diverse funzioni linguistiche (richiamo fattuale rispetto a generazione tossica) si basano su meccanismi interni distinti. Pertanto, gli obiettivi di dimenticamento devono essere personalizzati in base alla funzione specifica che viene rimossa.
Geometria del Dimenticamento: Per la conoscenza fattuale, preservare la struttura direzionale tramite la perdita basata sul coseno è superiore alla distanza L2. Per la tossicità, la natura distribuita e rotante della rappresentazione richiede un'ortogonalizzazione guidata da sonde e multi-livello.
Valutazione: La metrica S-unlearning fornisce un modo unificato per catturare i complessi compromessi intrinseci nel dimenticamento, facilitando un migliore confronto tra i metodi.

Gli autori concludono che un dimenticamento efficace richiede una comprensione più profonda di cosa viene dimenticato, andando oltre gli approcci "taglia unica" per adottare metodi che rispettino le specifiche proprietà geometriche e strutturali della capacità target all'interno dell'LLM.