💻 computer science

What to Forget in Unlearning? Forget Set Curation for Language Models

Questo articolo introduce CleanSlate, un benchmark che dimostra come la cura dei set di oblio sia una sfida critica a monte nel machine unlearning, dove i semplici metodi di selezione falliscono nel sopprimere i contenuti mirati mentre le strategie eccessivamente aggressive causano danni collaterali significativi alle capacità del modello.

Autori originali: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui le vaste biblioteche della conoscenza umana sono compresse in un singolo programma informatico incredibilmente intelligente. Questo programma, noto come modello linguistico, impara leggendo trilioni di parole da libri, siti web e canzoni. Diventa così bravo in questo che può imitare lo stile di un poeta o completare una frase tratta da un celebre romanzo. Ma a volte, i proprietari di questi programmi hanno bisogno di rimuovere informazioni specifiche. Forse una canzone è stata utilizzata senza autorizzazione, o una storia privata è stata accidentalmente memorizzata. L'obiettivo è far "dimenticare" al computer quel pezzo specifico di contenuto senza dover cancellare l'intera sua memoria e ricominciare da capo. Questo processo è chiamato machine unlearning (disapprendimento automatico). Per anni, i ricercatori si sono concentrati sulla meccanica di come eliminare i dati una volta che si sa esattamente quali parole colpire. Hanno trattato la lista di parole da dimenticare come un semplice punto di partenza, assumendo che se si dice al computer di dimenticare una frase specifica, lo farà semplicemente.

Tuttavia, un nuovo studio dell'Università di Stanford suggerisce che questa ipotesi trascura un passaggio cruciale e difficile. I ricercatori si sono resi conto che, nel mondo reale, una richiesta di dimenticare qualcosa raramente arriva con un elenco preciso di parole. Un utente potrebbe chiedere a un modello di smettere di cantare una specifica canzone, ma quella canzone esiste nella memoria del computer in molte forme diverse. Potrebbe apparire nei testi ufficiali, ma anche in un articolo di cronaca che cita un verso, in un forum di fan che discute la melodia, in un file di codice che contiene il testo, o in una recensione che menziona il ritornello. Il computer non conosce la canzone solo da una copia perfetta; la conosce attraverso una nuvola dispersa di queste varie menzioni. La nuova ricerca pone una domanda fondamentale: come si trovano tutti quei frammenti sparsi di una canzone o di un libro all'interno di una massiccia biblioteca di testi, in modo da poter dire al computer di dimenticarli? Il team chiama questo passaggio mancante "curatela del set di dimenticato" (forget set curation), e ha scoperto che sbagliare questo passaggio può far perdere al computer molto più di una semplice canzone indesiderata.

Per investigare su questo, i ricercatori hanno costruito un campo di prova chiamato CLEANSLATE. Hanno raccolto migliaoli di canzoni dalle classifiche Billboard Hot 100 che spaziano dal 1970 al 2025, insieme a cinquanta libri. Hanno poi testato quanto bene diversi metodi potessero identificare i frammenti di testo specifici che dovevano essere rimossi. Hanno confrontato due approcci principali. Il primo approccio si affidava a strumenti di ricerca standard, simili a come una persona potrebbe usare un motore di ricerca per trovare un libro. Questi strumenti cercavano corrispondenze esatte di parole o frasi. Il secondo approccio era più aggressivo: cercava direttamente le parti specifiche del testo che il computer era più propenso a riprodurre e le selezionava per la rimozione, bypassando essenzialmente il passaggio di ricerca per colpire esattamente le aree problematiche.

I risultati hanno rivelato una complessità sorprendente. Quando i ricercatori usavano gli strumenti di ricerca standard per trovare il testo, i risultati erano spesso deboli. Il computer continuava a cantare la canzone o a recitare il libro, anche dopo che gli strumenti di ricerca avevano rimosso le copie ovvie. Ciò accadeva perché il computer aveva imparato la canzone da molte fonti piccole e sparse che gli strumenti di ricerca avevano mancato. L'"impronta" di una canzone non è solo il testo ufficiale; è una rete diffusa di citazioni, riferimenti e frammenti sparsi per internet. Quando i ricercatori hanno cercato di essere più accurati e hanno preso di mira le finestre di testo esatte che il computer usava per generare la canzone, hanno riscontrato un problema diverso. Sono riusciti a impedire al computer di cantare la canzone, ma facendo così, hanno danneggiato la capacità del computer di ricordare altre cose. Il modello è diventato meno capace di rispondere a domande sui fatti relativi alla canzone, e ha anche perso alcune delle sue abilità generali, come la capacità di ragionare o risolvere problemi matematici.

Lo studio ha dimostato che la scelta di quale testo rimuovere non è solo un dettaglio tecnico; è una parte fondamentale della soluzione stessa. I ricercatori hanno scoperto che la stessa lista di testi da dimenticare poteva portare a risultati molto diversi a seconda di quale algoritmo veniva utilizzato per eliminarli. In alcuni casi, un metodo che funzionava perfettamente per un modello informatico causava danni significativi a un altro. Questo significa che non si può semplicemente scegliere una lista di parole e assumere che la cancellazione sarà pulita. Il processo di selezione dei dati e il processo di cancellazione sono profondamente connessi. Se si seleziona troppo poco, il comportamento indesiderato rimane. Se si seleziona troppo, o il tipo di testo sbagliato, si rischia di cancellare conoscenze preziose e di danneggiare l'intelligenza generale del computer.

In definitiva, la ricerca suggerisce che l'idea di una lista semplice e perfetta di cose da dimenticare è un'illusione. Nella realtà disordinata di come questi modelli apprendono, una canzone o un libro sono sostenuti da una vasta e invisibile rete di testo. Per far davvero dimenticare un contenuto senza ferire il resto della mente del modello, la selezione dei dati deve essere fatta con estrema cura, tenendo conto di come lo specifico modello informatico ha appreso quel contenuto. Lo studio conclude che l'unlearning pratico non può essere risolto semplicemente migliorando gli strumenti di cancellazione; richiede un nuovo modo di pensare su come troviamo e scegliamo i dati fin dall'inizio. La strada da seguire consiste nel progettare un sistema in cui la selezione di cosa dimenticare e il metodo di dimenticare siano pianificati insieme, garantendo che il computer possa lasciare andare una specifica richiesta senza perdere la capacità di comprendere il mondo che lo circonda.

Riepilogo Tecnico: Dimenticare la Curatela del Set di Dimenticanza per i Modelli Linguistici

Definizione del Problema

L'unlearning (disimparare) mira a rimuovere dati o comportamenti mirati da un modello addestrato senza dover ripartire dall'addestramento da zero. Tuttavia, i benchmark e i metodi esistenti assumono tipicamente che il "forget set" (il set di dimenticanza)—ovvero gli esempi specifici utilizzati per guidare l'aggiornamento dell'unlearning—sia già noto e fornito. In scenari di implementazione realistici, un richiedente può chiedere a un modello di smettere di riprodurre una specifica canzone, un libro o un'opera protetta senza conoscere quali specifici segmenti, documenti o duplicati quasi identici all'interno di un corpus di un trilione di token sostengano tale comportamento.

Questo articolo identifica un problema a monte mancante: la curatela del forget set. Questo è il processo di mappatura di una richiesta di soppressione di alto livello (ad esempio, "smetti di riprodurre Never Gonna Give You Up") ai concreti segmenti di dati che dovrebbero essere passati a un algoritmo di unlearning. La sfida è che l'evidenza che supporta la continuazione verbatim di un modello raramente è confinata a una copia canonica dell'opera. Al contrario, essa forma una "impronta del corpus" distribuita tra aggregatori di testi, forum di fan, snippet di codice, articoli di notizie e discussioni incidentali. Un curatore deve recuperare abbastanza di questa impronta per sopprimere il comportamento target senza causare danni collaterali al contenuto non richiesto o alle capacità generali del modello.

Metodologia: Benchmark CLEANSLATE

Per studiare questo problema, gli autori introducono CLEANSLATE, un benchmark e un protocolo di valutazione progettato per valutare l'intera pipeline, dalla richiesta di soppressione alla curatela del forget set fino al modello editato.

Dataset e Ambito

Contenuto: CLEANSLATE copre 4.616 canzoni della Billboard Hot 100 (1970–2025) e 50 libri (principalmente da Project Gutenberg).
Modelli: La valutazione abbraccia sei modelli con parametri da 7B a 32B (inclusi LLaMA-3.1, OLMo, Gemma, Nemotron e Qwen).
Profili di Estraibilità: Il benchmark misura l' "estraibilità" utilizzando l'estrazione probabilistica. Un'opera è considerata estraibile se il modello assegna una probabilità elevata ( $p \geq 0.001$ ) a un suffisso target dato un prefisso. I profili sono generati per ogni modello per tenere conto dei diversi livelli di memorizzazione.
QA Basata sul Contenuto: Per distinguere tra la soppressione della riproduzione verbatim e la cancellazione della conoscenza fattuale, gli autori hanno costruito 12.088 coppie QA. Queste testano se un modello sia ancora in grado di rispondere a domande fattuali su un'opera (ad esempio, dettagli della trama, autore, anno) dopo l'unlearning, anche se non può più recitare il testo.

Pipeline di Valutazione

Curatore ( $A$ ): Riceve una richiesta di soppressione ( $W_f$ ) e un corpus ( $C$ ), quindi genera un forget set ( $D_f$ ) e opzionalmente un retain set ( $D_r$ ).
Unlearner ( $U$ ): Un algoritmo di unlearning fisso aggiorna il modello $\theta$ in $\theta'$ utilizzando $D_f$ e $D_r$ .
Valutazione: Il modello risultante viene valutato su:
- Soppressione del Target ( $F$ ): Riduzione delle finestre estraibili per il forget set.
- Soppressione Collaterale ( $R$ ): Riduzione non intenzionale dell'estraibilità del retain set.
- Ritenzione delle Capacità: Prestazioni su QA basato sul contenuto e benchmark generali (GSM8K, BBH, WinoGrande, CoQA, HumanEval+, LAMBADA).

Curatori Testati

Lo studio confronta tre tipi di curatori:

BM25-pre / BM25-mid: Recupero lessicale utilizzando indici BM25 su corpora di pre-training e mid-training.
Infini-gram-mid: Recupero di sottostringhe esatte utilizzando un indice Infini-gram-mini per trovare segmenti di caratteri massimali.
Evaluation-Aware (EA): Un baseline teorico che bypassa il recupero e seleziona direttamente le specifiche finestre di valutazione note per essere estraibili, fungendo da test di robustezza per il protocollo di valutazione piuttosto che da soluzione pratica.

Risultati Chiave

1. Impronte del Corpus Diffuse

Lo studio conferma che le opere culturali hanno "impronte del corpus diffuse". Le opere più vecchie si diffondono verso l'esterno attraverso citazioni e discussioni, mentre le opere più recenti spesso ereditano il linguaggio attraverso idiomi e frasi fatte (diffusione verso l'interno).

Diffusione verso l'esterno (Outward Diffusion): Una canzone come "Smile" (2024) ha raggiunto una copertura del 100% al livello di 5-gram nel snapshot di Common Crawl, con segmenti che appaiono in codice, recensioni e forum, non solo nei siti di testi musicali.
Diffusione verso l'interno (Inward Diffusion): Le canzoni più recenti contengono spesso frasi che precedono la canzone stessa (ad esempio, citando una poesia del 1910), il che significa che l'evidenza a supporto potrebbe non somigliare affatto a una copia dell'opera target.

2. Fallimenti dei Curatori Basati sul Recupero

I curatori naturali basati sul lessico e sulle sottostringhe esatte (BM25, Infini-gram) producono forget set che portano a una soppressione debole.

Dipendenza dal Modello: L'efficacia dei forget set derivati dal recupero è fortemente dipendente dal modello. Modelli più grandi (ad esempio, Gemma-3-12B) hanno mostrato un certo movimento, mentre modelli più piccoli (ad esempio, OLMo-3-7B) si sono mossi appena.
Mancanza di Selettività: Anche quando si è verificata la soppressione, questa è stata raramente selettiva. Ad esempio, LLaMA-3.1-8B ha perso tra il 51% e il 55% dell'estraibilità del suo retain-pool pur ottenendo al massimo una soppressione del 29% sul forget pool.

3. Il Gap di Selettività nella Curatela Evaluation-Aware

Quando il curatore bypassa il recupero e seleziona le esatte finestre utilizzate per la valutazione (curatore EA):

Alta Soppressione: La soppressione del target ha raggiunto quasi il 100% in tutti i modelli.
Grave Danno Collaterale: Questo approccio ha causato una sostanziale soppressione collaterale (riduzione dell'80-100% dell'estraibilità del retain-pool) e significative regressioni nelle capacità.
Interazione tra Algoritmi: Il grado di perdita di capacità variava in base all'algoritmo di unlearning. Ad esempio, l'uso di input EA con SimNPO ha causato un calo medio delle capacità di 5,1 punti percentuali, mentre UNDIAL ha preservato ampiamente le capacità (+0,1 pp) nonostante livelli di soppressione simili.

4. L'Interdipendenza tra Curatela e Unlearning

Lo studio dimostra che il forget set e l'algoritmo di unlearning interagiscono fortemente. Lo stesso forget set produce risultati vastamente differenti a seconda dell'unlearner (ad esempio, SimNPO vs. RMU vs. UNDIAL).

Nessuna Soluzione Universale: Né la curatela basata sul recupero né quella evaluation-aware hanno raggiunto un unlearning selettivo (alta soppressione del target con basso danno collaterale) attraverso la griglia testata.
Natura di Pipeline: L'unlearning pratico non può essere trattato come un processo modulare in cui la curatela è un presupposto fisso. La scelta dei dati determina sia cosa viene dimenticato sia cosa viene danneggiato.

Significato e Rivendicazioni

L'articolo sostiene che la curatela del forget set dovrebbe essere trattata come uno degli oggetti di valutazione nell'unlearning delle macchine, non semplicemente come un passaggio di pre-elaborazione.

Riformulazione del Problema: Gli autori affermano che l'unlearning pratico non è solo un problema di ottimizzazione una volta fornito un forget set; i dati scelti per l'unlearning dettano fondamentalmente il compromesso tra soppressione e utilità.
Limiti dei Benchmark Correnti: I benchmark esistenti che assumono un forget set noto oscurano la critica sfida a monte di mappare le richieste del mondo reale sui dati.
Direzioni Future: Il documento suggerisce che i futuri curatori dovranno essere "consapevoli dell'algoritmo", combinando potenzialmente i segnali dell'impronta del corpus con i profili di estraibilità specifici del modello e la stima dell'influenza per costruire forget set che localizzino gli effetti.

Gli autori concludono che, sebbene CLEANSLATE studi un contesto ristretto (soppressione verbatim di canzoni e libri), l'intuizione fondamentale è ampia: la mappatura dalla richiesta ai dati è una componente critica e non banale della pipeline di unlearning che richiede una valutazione congiunta con l'algoritmo di unlearning.