🤖 machine learning

Unforgettable Generalization in Language Models

Questo articolo investiga come i modelli linguistici si comportano durante l'operazione di "unlearning" delle abilità tramite il fine-tuning su etichette randomizzate, rivelando che la generalizzazione dell'oblio è altamente imprevedibile e dipendente dal compito, spesso fallendo nel protendersi oltre gli esempi di addestramento specifici nonostante gli output superficialmente casuali, mentre le capacità sottostanti del compito rimangono intatte come dimostrato dal successo del linear probing.

Autori originali: Eric Zhang, Leshem Choshen, Jacob Andreas

Pubblicato 2026-08-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Eric Zhang, Leshem Choshen, Jacob Andreas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un amico robot super intelligente che ha letto quasi tutto su internet. Può scrivere poesie, risolvere problemi di matematica e spiegarti perché il cielo è blu. Ma a volte, il robot impara cose che non vorresti sapesse, o diventa troppo bravo in un trucco specifico che vorresti "disimparare". Questo è il mondo del "machine unlearning" (disapprendimento delle macchine), un ramo della ricerca sull'intelligenza artificiale che pone una domanda complicata: possiamo far sì che un robot dimentichi davvero?

Per capire l'esperimento, devi sapere due cose. Primo, questi robot (chiamati Large Language Models) vengono addestrati leggendo tonnellate di testi e poi "affinati" (fine-tuned) su esempi specifici per diventare più bravi in un compito, come rispondere a domande scientifiche. Secondo, un modo comune per provare a fargli dimenticare è mostrargli le stesse domande ma con le risposte completamente rimescolate o inventate. L'idea è che se confondi abbastanza il robot con risposte sbagliate, potrebbe semplicemente arrendersi su quell'argomento. Il grande mistero che i ricercatori stanno inseguendo è: la confusione si diffonde? Se confondi il robot su una domanda specifica, dimenticherà come rispondere a tutte le domande simili, o si confonderà solo su quel singolo esempio specifico?

Il Grande Esperimento di "Dis-addestramento"

In questo articolo, i ricercatori Eric Zhang, Leshem Choshen e Jacob Andreas del MIT hanno deciso di giocare a un gioco di "dis-apprendimento" con un gigantesco modello linguistico chiamato Llama2. Hanno trattato il modello come uno studente che aveva appena superato un esame con il massimo dei voti, e poi hanno cercato di fargli dimenticare il materiale ri-insegnandogli risposte casuali e senza senso. Volevano vedere se lo studente avrebbe dimenticato l'intera materia o solo i problemi specifici che gli erano stati mostrati.

La Grande Sorpresa: Dipende dall'Argomento
I ricercatori hanno testato questo su 21 diversi tipi di compiti, che spaziavano dal "senso comune fisico" (come capire quale oggetto è più pesante) all' "entailment" (decidere se una frase segue logicamente un'altra). I risultati sono stati selvaggi e imprevedibili.

A volte, il dimenticare funzionava perfettamente. Se cercavano di far dimenticare al modello l'entailment classification (un rompicapo logico sulle frasi), il modello diventava un vuoto totale. Iniziava a dare risposte casuali e inutili a nuove domande che non aveva mai visto prima. Era come se il robot avesse perso la capacità di svolgere quel tipo specifico di logica interamente.

Ma altre volte, il dimenticare era un fallimento totale. Quando cercavano di far dimenticare al modello il senza comune fisico (come funziona la gravità) o le domande scientifiche, il modello si mostrava testardo. Anche dopo essere stato addestrato su risposte casuali e sbagliate, rispondeva ancora correttamente a nuove domande scientifiche! Era come uno studente a cui è stato costretto a memorizzare le risposte sbagliate per un test di pratica specifico, ma quando arriva l'esame vero, conosce ancora le risposte giuste. Il modello sembrava aver dimenticato gli esempi specifici su cui era stato addestrato, ma manteneva intatta la sua conoscenza generale.

Non si Tratta di Quanto sia Difficile il Test
Potreste pensare che il modello dimentichi solo le cose facili e ricordi quelle difficili. I ricercatori hanno controllato questo, e si scopre che non è così. Hanno scoperto che la difficoltà del compito non prediceva se il modello avrebbe dimenticato. Per esempio, il modello era in realtà migliore nel ricordare le risposte alle domande dell'ARC Challenge rispetto alle domande dell'ARC Easy, anche se entrambe erano domande scientifiche. La difficoltà della domanda non contava; contava il tipo di domanda.

Gli Indizi Segreti: Fiducia e Variabilità del "Cervello"
Quindi, cosa rende una competenza facile o difficile da dimenticare? I ricercatori hanno trovato due indizi nascosti dentro il "cervello" del modello (le sue rappresentazioni interne dei dati):

Fiducia: Se il modello era già molto incerto sulla risposta prima che iniziassero l'esperimento di dimenticare, era più facile fargli dimenticare. Se il modello era sicuro, si aggrappava più forte.
Variabilità del Cervello: Questo è un po' come osservare quanto "oscillano" i pensieri del modello. Se i "pensieri" interni del modello (rappresentazioni) per un compito erano ovunque (alta variabilità), era più difficile cancellarli. Se i pensi erano molto coerenti e simili (bassa variabilità), il modello era più facile da "dis-addestrare".

Il Dimenticare "Superficiale"
Ecco la parte più sconvolgente. Anche quando il modello sembrava aver dimenticato con successo una competenza — dando risposte casuali a tutti — i ricercatori hanno scoperto che l'informazione non era in realtà sparita. Hanno costruito un semplice strumento chiamato "linear probe" (pensate a un piccolo rilevatore specializzato) e hanno guardato le onde cerebrali interne del modello.

Sorprendentemente, questo rilevatore poteva ancora leggere le risposte corrette perfettamente, anche se il modello stesso si comportava come se non sapesse nulla. È come uno studente che finge di essere confuso e dà risposte casuali in classe, ma se guardi i suoi appunti, le risposte corrette sono ancora scritte lì con una calligrafia perfetta. Il "dimenticare" era solo un atto superficiale; la conoscenza profonda era ancora lì, in attesa di essere trovata.

Il Punto Fondamentale
L'articolo conclude che cercare di far dimenticare al modello specifiche competenze semplicemente ri-addestrandolo su risposte casuali è una scommessa. Funziona per alcuni compiti (come i rompicapi logici) ma fallisce per altri (come la scienza e il senso comune). Inoltre, anche quando sembra funzionare, l'informazione non viene realmente eliminata; è solo nascosta dietro uno strato di confusione. I ricercatori suggeriscono che dobbiamo capire molto di più su come questi modelli imparano e memorizzano le informazioni prima di poter far dimenticare in modo affidabile ciò che non vogliamo che sappiano.

Sintesi Tecnica: Generalizzazione Imprevedibile nei Modelli Linguistici

Problematica

Il documento affronta una lacuna critica nel campo dell'unlearning (disimparazione) per i modelli linguistici (LM). Mentre la ricerca recente si è concentrata sullo sviluppo di tecniche per rimuovere specifiche abilità o conoscenze dichiarative dai LM — spesso tramite il fine-tuning su etichette casuali per "disimparare" un compito — esiste una comprensione limitata di come questo oblio si generalizzi. Nello specifico, quando un LM viene addestrato a dimenticare una capacità su un particolare set di addestramento, il suo comportamento cambia in modo prevedibile su esempi non visti dello stesso compito, o l'oblio rimane localizzato solo sui dati di addestramento? Gli autori investigano se la rimozione mirata di un'abilità tramite fine-tuning porti a un oblio robusto e generalizzabile o se il modello mantenga la capacità di eseguire il compito "dimenticato" su nuove istanze.

Metodologia

Gli autori conducono uno studio sistematico utilizzando il modello base Llama2 con 7 miliardi di parametri, con validazione aggiuntiva su GPT-J-6B e GPT-2. L'assetto sperimentale prevede 21 compiti diversi di scelta multipla che spaziano dal ragionamento del senso comune, la comprensione della lettura, la matematica, il rilevamento della tossicità e la classificazione dell'implicazione (entailment).

La procedura principale segue una pipeline in tre fasi:

Pre-training: Partendo da un LM pre-addestrato.
Fine-tuning: Il modello viene sottoposto a fine-tuning su un compito target ( $T_{train}$ ) per massimizzare l'accuratezza, stabilendo una baseline di capacità appresa.
Forgetting (Oblio): Il modello viene ulteriormente sottoposto a fine-tuning sullo stesso set di addestramento ( $T_{train}$ ), ma con etichette scelte uniformemente in modo casuale. Questo è un metodo standard per indurre l'oblio.

Metriche:
Per quantificare il successo dell'oblio, gli autori definiscono due metriche:

Forget Gap (Divario di Oblio): La differenza tra l'accuratezza dopo l'oblio e l'accuratezza casuale attesa (50% per i compiti binari). Un divario pari a 0 implica un oblio completo.
Forget Ratio (Rapporto di Oblio): Una misura normalizzata che confronta il calo di accuratezza dopo l'oblio rispetto al guadagno totale possibile dal fine-tuning. Un rapporto di 1 indica un oblio completo; 0 indica nessun oblio.

Dimensioni di Analisi:
Lo studio valuta l'oblio attraverso diverse dimensioni:

Generalizzazione a livello di compito: Confrontando le prestazioni di oblio tra diversi tipi di compito.
Oblio Cross-Task: Fine-tuning su etichette casuali del Compito A e valutazione sul Compito B.
Predittori di Oblio: Analizzando le correlazioni tra il successo dell'oblio e la difficoltà del compito, la confidenza del modello e la varianza delle rappresentazioni degli stati nascosti.
Ordine di Apprendimento vs. Oblio: Investigando la relazione tra l'ordine in cui gli esempi vengono appresi e l'ordine in cui vengono dimenticati.
Profondità dell'Oblio: Addestrando probe lineari sulle rappresentazioni degli stati nascosti del modello dopo la procedura di oblio per determinare se l'informazione sia realmente cancellata o solo censurata.

Risultati Chiave

1. Alta Variabilità nella Generalizzazione

Il reperto principale è che la generalizzazione dell'oblio è altamente dipendente dal compito e imprevedibile.

Compiti Robusti: I compiti che coinvolgono il ragionamento del senso comune (es. PIQA, ARC) e le risposte a domande scientifiche (es. SciQ, PubMedQA) sono sorprendentemente resilienti all'oblio. Anche dopo l'addestramento su etichette casuali, questi modelli mantengono spesso un'alta accuratezza sugli esempi di test, fallendo efficacemente nel generalizzare il comportamento di "oblio".
Compiti Fragili: I compiti linguistici di livello inferiore, in particolare la classificazione dell'implicazione (es. MNLI, RTE, CoLA) e l'accettabilità grammaticale, sono facilmente dimenticati. I modelli addestrati su etichette casuali per questi compiti tendono a produrre predizioni quasi casuali su nuove istanze di test.

2. Il Compito di Valutazione Determina il Successo

Negli esperimenti cross-task, gli autori hanno scoperto che l'efficacia della procedura di oblio è ampiamente determinata dal compito che viene valutato, non dal compito utilizzato per l'addestramento. Ad esempio, addestrare un modello a dimenticare il ragionamento del senso comune spesso fallisce nell'indurre l'oblio su quel compito specifico, ma può involontariamente causare la dimenticanza di altri compiti linguistici non correlati.

3. Predittori di Oblio

Difficoltà del Compito: Contrariamente all'intuizione, la difficoltà del compito (misurata tramite l'accuratezza del fine-tuning) non è un predittore affidabile della dimenticabilità. Compiti più difficili non sono necessariamente più difficili da dimenticare.
Confidenza del Modello: Il paper afferma esplicitamente nelle sue conclusioni che la difficoltà del dataset e la confidenza del modello non sono predittive del fatto che un compito venga dimenticato, nonostante l'osservazione di una debole correlazione in specifici grafici a dispersione.
Varianza della Rappresentazione: La varianza totale degli stati nascosti (specificamente l'ultimo token della domanda nello strato penultimo) è un forte predittore. Compiti con una minore varianza nelle rappresentazioni dei loro dati di addestramento sono associati a una maggiore generalizzazione dell'oblio. Ciò suggerisce che compiti "più ampi" o più diversificati siano più difficili da dimenticare.

4. Natura Superficiale dell'Oblio

Anche nei casi in cui il modello sembra aver dimenticato un compito (producendo output casuali), l'informazione non è realmente rimossa. Probe lineari addestrati sulle rappresentazioni degli stati nascosti del modello possono ancora recuperare con alta accuratezza le etichette corrette del compito. Ciò indica che il fine-tuning su etichette casuali induce un oblio superficiale, censurando efficacementamente l'output senza cancellare la capacità sottostante dalle rappresentazioni del modello.

5. Robustezza tra Modelli e Metodi

Le tendenze osservate si mantengono attraverso diverse architetture di modelli (Llama2, GPT-J, GPT-2) e diversi metodi di oblio (etichette casuali vs. etichette invertite/flipped), suggerendo che queste siano proprietà fondamentali di come il fine-tuning interagisce con le strutture dei compiti piuttosto che artefatti di un modello o metodo specifico.

Significato e Rivendicazioni

Il paper sostiene di evidenziare la difficoltà e l'imprevedibilità di eseguire una rimozione mirata delle abilità dai modelli linguistici tramite tecniche standard di fine-tuning.

Imprevedibilità: Gli autori sottolineano che non si può assumere che addestrare un modello a dimenticare una capacità su un dataset specifico comporterà la dimenticanza di tale capacità su nuove istanze simili. Il comportamento è governato da complesse e strutturate variabilità cross-task.
Rimozione Superficiale: Lo studio mette in discussione l'efficacia del fine-tuning su etichette casuali come vero meccanismo di "unlearning". Poiché i probe lineari possono recuperare le capacità dimenticate, il metodo non rimuove l'informazione dalle rappresentazioni interne del modello, sollevando preoccupazioni sulla sua utilità per applicazioni di privacy o sicurezza dove è richiesta una vera rimozione dei dati.
Dipendenza dal Compito: Le scoperte suggeriscono che il successo dell'unlearning è intrinseco alla natura del compito che viene valutato, piuttosto che ai dati di addestramento specifici utilizzati per il processo di unlearning.

Gli autori concludono che, sebbene il fine-tuning su etichette casuali sia un metodo semplice e ampiamente utilizzato per l'oblio, esso produce risultati altamente variabili e spesso superficiali, sottolineando la necessità di ulteriori ricerche sulla relazione tra i dati di addestramento per l'oblio e la generalizzazione delle predizioni del modello.