🤖 machine learning

Natively Unlearnable Large Language Models

Questo articolo introduce NULLs (Natively Unlearnable LLMs), un'architettura di modelli che utilizza neuroni di backbone condivisi e sink specifici per la sorgente attivati in modo sparso per consentire un disimparamento (unlearning) efficiente, robusto e privo di dati di singole sorgenti di addestramento, preservando al contempo i benefici dell'apprendimento congiunto e delle capacità linguistiche generali.

Autori originali: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

Pubblicato 2026-06-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare costruendo una biblioteca massiccia di conoscenza all'interno di un cervello gigante (un Large Language Model). Di solito, quando insegni a questo cervello, mescoli tutto insieme. Se gli insegni un fatto su "Harry Potter" e un fatto sulla "Seconda Guerra Mondiale", quei ricordi si intrecciano negli stessi neuroni. Se in seguito dovessi rimuovere il ricordo di "Harry Potter" a causa di una richiesta legale, sarebbe come cercare di tagliare un singolo filo da un maglione senza sfilacciare tutto il resto. Potresti accidentalmente cancellare la lezione di storia, o il ricordo di Harry Potter potrebbe infiltrarsi di nuovo.

Questo articolo presenta un nuovo modo per costruire questi cervelli artificiali chiamato NULLs (Natively Unlearnable LLMs). Invece di mescolare tutto in un unico grande mucchio, i NULLs costruiscono il cervello con un speciale "sistema di smistamento" fin dal primo giorno.

Ecco come funziona, usando analogie semplici:

1. La "Cucina Condivisa" vs. gli "Armadietti Personali"

Pensa al cervello dell'IA come se avesse due tipi di archiviazione:

La Cucina Condivisa (Il Backbone): È qui che l'IA impara le cose generali che si applicano a tutto, come la grammatia, come formare le frasi o fatti comuni sul mondo (ad esempio, "Parigi è in Francia"). Tutti usano questa cucina.
Gli Armadietti Personali (I Sink): Questa è la nuova invenzione. Per ogni specifica fonte di informazione (come un singolo articolo di Wikipedia o un libro specifico), l'IA riceve un set unico di "armadietti" (neuroni) che solo quella fonte può utilizzare.

Quando l'IA impara un fatto che è unico per un solo articolo (come il nome di uno specifico whistleblower in una notizia), essa memorizza naturalmente quel fatto nel suo Armadietto Personale. Quando impara un fatto generale (come "gli whistleblower sono importanti"), questo va nella Cucina Condivisa.

2. L'Interruttore Magico (Unlearning)

In un'IA standard, se vuoi far dimenticare qualcosa, devi riaddestrare l'intero cervello o provare a rimuovere chirurgicamente i pesi, il che spesso rompe altre cose.

Con i NULLs, l' "unlearning" (disimparare) è semplice come premere un interruttore della luce.

Se un editore dice: "Rimuovete quell'articolo specifico dal nostro modello", non hai bisogno di riaddestrare. Basta solo disattivare l' "Armadietto Personale" assegnato a quell'articolo.
L'IA dimentica istantaneamente i fatti unici di quell'articolo perché il suo armadietto è chiuso.
Tuttavia, la Cucina Condivisa rimane aperta. L'IA conosce ancora i fatti generali sull'argomento perché quelli sono conservati nell'area comune, non nell'armadietto specifico.

È come se avessi una casa con un soggiorno condiviso e una camera da letto per ogni ospite. Se un ospite se ne va, devi solo chiudere la porta della sua camera. Il soggiorno (dove tutti passano il tempo) rimane esattamente lo stesso, e la casa non cade a pezzi.

3. Cosa ha scoperto il Paper

I ricercatori hanno testato questa idea in due modi principali:

Il Test di Wikipedia (Fine-Grained): Hanno addestrato un modello su 6 milioni di articoli di Wikipedia. Volevano vedere se potevano rimuovere un singolo articolo senza cancellare la conoscenza generale presente in articoli simili.
- Risultato: Quando hanno "bloccato" l'armadietto per un articolo, il modello ha dimenticato i dettagli unici di quell'articolo ma ha mantenuto la conoscenza generale condivisa con altri articoli. Ha funzionato quasi come se avessero buttato via l'articolo e riaddestrato il modello da zero (cosa che di solito è troppo costosa da fare).
Il Test di Harry Potter (Coarse-Grained): Hanno addestrato un modello sull'intera serie di libri di Harry Potter e poi hanno cercato di rimuovere tutta la conoscenza di Harry Potter.
- Risultato: Quando hanno spento l' "armadietto di Harry Potter", il modello ha smesso di parlare di maghi e ha iniziato a parlare di cose normali (come le riunioni del consiglio comunale) quando veniva stimolato con frasi di Harry Potter.
- Bonus: Hanno cercato di ingannare il modello per fargli ricordare di nuovo Harry Potter usando prompt "adversarial" o riinsegnandogli un po' di informazioni. I modelli di IA standard sono falliti e hanno ricordato i libri rapidamente. Il modello NULL, invece, è rimasto "unlearned" e ha resistito a questi trucchi.

4. L'IA diventa meno intelligente?

Una grande preoccupazione è che, se si separano le memorie, l'IA potrebbe diventare peggiore nei compiti generali. Il paper ha testato questo su standard di linguaggio (come rispondere a domande scientifiche o risolvere enigmi logici).

Risultato: Il modello NULL ha performato altrettanto bene di un'IA standard non specializzata. Non ha perso la sua intelligenza generale.

Riassunto

Il paper sostiene che non dovremmo aspettare che un'IA sia stata addestrata per capire come eliminare i dati. Inveve, dovremmo costruire il "tasto cancella" direttamente nell'architettura. Fornendo a ogni fonte di dati il proprio "armadietto" dedicato pur condividendo una "cucina" comune, possiamo rimuovere chirurgicamente informazioni specifiche senza rompere il resto del modello o senza dover riaddestrare tutto da zero.

Riepilogo Tecnico: Modelli Linguistici di Grandi Dimensioni Nativamente Imparabili (NULLs)

1. Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) sono addestrati su dataset su scala web che spesso contengono materiale protetto da copyright, informazioni personali e contenuti regolamentati. I requisiti legali ed etici possono rendere necessario l'inserimento della rimozione di specifiche fonti di dati (unlearning/disimparamento) da un modello distribuito. Tuttavia, l'addestramento standard intreccia tutte le fonti di dati in un unico insieme condiviso di pesi tramite la discesa del gradiente, rendendo difficile isolare il contributo di una singola fonte.

Gli approcci esistenti affrontano un compromesso:

Unlearning post-hoc: Applica aggiornamenti correttivi dopo l'addestramento. Sebbene preservi l'apprendimento congiunto, l'influenza del target rimane intrecciata nei pesi condivisi, portando a una rimozione incompleta, alla degradazione della conoscenza correlata e alla vulnerabilità a ri-apprendimenti avversari.
Isolamento delle fonti (Mixture-of-Experts): Addestra modelli o moduli separati per ogni fonte. Sebbene ciò faciliti la rimozione, impedisce l'apprendimento congiunto tra le fonti, sacrificando i benefici della generalizzazione e non riuscendo a scalare verso fonti granulari (ad esempio, milioni di singoli documenti).

La sfida centrale è ottenere l'unlearning a livello di fonte senza sacrificare l'apprendimento congiunto e le capacità di generalizzazione.

2. Metodologia: Architettura NULLs

Gli autori propongono i NULLs (Natively Unlearnable LLMs), una classe di modelli progettata per soddisfare gli obiettivi opposti di isolare i contributi specifici della fonte pur apprendendo congiuntamente tra le fonti.

Modifiche all'Architettura:

Backbone e Sink: Il modello modifica gli strati Fully Connected (MLP) del transformer. I neuroni nascosti sono partizionati in due set:
1. Shared Backbone ( $N_{gen}$ ): Un insieme di neuroni attivi per tutti gli input, responsabili dell'apprendimento delle capacità generali e delle informazioni condivise tra le fonti.
2. Memorization Sink Pool ( $N_{pool}$ ): Un pool più ampio di neuroni dove le informazioni specifiche della fonte vengono localizzate.
Maschere di Attivazione Sparsa: A ogni fonte di dati $S_i$ $S_{i}$ viene assegnata una maschera deterministica e sparsa sul sink pool. Questa maschera è generata dall'identificatore della fonte tramite un generatore di numeri pseudo-casuali.
- Durante l'addestramento, un documento attiva i neuroni del backbone condiviso più un sottoinsieme specifico di neuroni del sink definito dalla sua maschera.
- Il rapporto tra i neuroni del sink attivi e il totale del pool ( $N_{source}/N_{pool}$ ) è l'overlap ratio (rapporto di sovrapposizione), che controlla l'interferenza tra le fonti.
Dinamiche di Addestramento: Il meccanismo si basa sul principio per cui il backbone condiviso riceve aggiornamenti del gradiente da tutte le fonti, creando interferenza per i fatti specifici della fonte. Al contrario, i neuroni del sink sono attivi solo per una frazione di fonti, ricevendo meno interferenza. Di conseguenza, i fatti specifici della fonte vengono "adattati" nei sink prima che nel backbone, mentre i fatti condivisi si accumulano nel backbone.
Meccanismo di Unlearning: Al tempo dell'inferenza, l'unlearning viene eseguito disabilitando la maschera del sink corrispondente alla fonte target. Ciò può essere fatto tramite:
- Sink-Off: Instradare l'input verso il sink della fonte più vicina (per similitudine di embedding) o semplicemente non applicare la maschera target.
- Rimozione Permanente: Azzerare i parametri dei neuroni attivi nella maschera del target.
- Fondamentalmente, questo richiede nessun aggiornamento del gradiente e nessun accesso ai dati conservati.

3. Contributi Chiave

Unlearnability Nativa: NULLs integra l'unlearning direttamente nella struttura del modello, eliminando la necessità di aggiornamenti post-hoc dei pesi.
Scalabilità: Utilizzando maschere sparse su un sink pool condiviso, i NULLs possono gestire un numero combinatorio di fonti (ad esempio, ~6 milioni di articoli di Wikipedia) senza aumentare linearmente il numero di parametri.
Disentanglement senza Supervisione: Il metodo isola automaticamente la conoscenza specifica della fonte senza richiedere una supervisione esplicita per identificare quali informazioni appartengano a quale fonte.
Robustezza: L'architettura resiste agli attacchi di estrazione e ri-apprendimento avversari che tipicamente invertono l'unlearning post-hoc.

4. Risultati Sperimentali

Gli autori hanno valutato i NULLs in due casi studio:

A. Unlearning a livello di Articolo (Wikipedia)

Configurazione: Un modello da 1 miliardo di parametri addestrato su ~6 milioni di articoli di Wikipedia.
Risultati:
- Rimozione Chirurgica: Disabilitare il sink di un articolo specifico ha ridotto drasticamente il richiamo dei fatti unici di quell'articolo (Truth Ratio $\approx$ 0) preservando al contempo i fatti condivisi con articoli semanticamente correlati.
- Confronto con il Ri-addestramento: Le prestazioni dei NULLs (Sink-Off) sono state molto simili a quelle di un modello gold-standard ri-addestrato da zero senza l'articolo target.
- Contrasto con i Baseline: I metodi del gradiente post-hoc (ad esempio, NPO, gradient ascent) hanno degradato la conoscenza condivisa allo stesso ritmo di quella specifica della fonte, fallendo nel distinguerle.

B. Unlearning a livello di Argomento (Harry Potter)

Configurazione: Un modello da 1 miliardo di parametri addestrato su un mix di corpus C4 e i 7 libri di Harry Potter.
Risultati:
- Cambio Comportamentale: Disabilitare il sink di "Harry Potter" ha eliminato i riferimenti ai libri nel testo generato, spostando l'argomento su contenuti non correlati pur mantenendo la coerenza.
- Robustezza Avversaria:
  - Estrazione: I NULLs (Sink-Off) hanno resistito all'estrazione tramite prompting avversario (ottimizzazione GCG) per elicitare il testo rimosso, eguagliando le prestazioni di un modello che non era mai stato addestrato sui libri.
  - Ri-apprendimento: Quando sottoposti a fine-tuning su un piccolo sottoinsieme di dati di Harry Potter, un transformer standard con unlearning post-hoc ha recuperato rapidamente le informazioni rimosse (entro 10 step). Al contrario, i NULLs (Sink-Off) hanno mostrato dinamiche di ri-apprendimento identiche a quelle di un modello che non aveva mai visto i dati.

C. Capacità Generali e Scalabilità

Preservazione delle Capacità: I NULLs hanno eguagliato i transformer standard nei benchmark downstream (ARC-E, Winogrande, PIQA, SciQ) e hanno mantenuto la capacità di conoscenza per i fatti specifici degli articoli.
Sensibilità del Sink Pool: Aumentare la dimensione del sink pool (riducendo la sovrapposizione) ha migliorato la capacità di memorizzazione senza indebolire significativamente la capacità di unlearning. La dimensione del sink pool determina principalmente quanto viene appreso, non se può essere rimosso.

5. Significato e Rivendicazioni

Il paper afferma che l'unlearning a livello di fonte non deve essere un pensiero successivo ma può essere integrato nativamente nell'addestramento degli LLM.

Riconciliazione degli Obioli: I NULLs dimostrano che il disaccoppiamento (disentanglement) dei contributi delle fonti e l'apprendimento congiunto tra le fonti non sono obiettivi mutuamente esclusivi.
Controllo Nativo: Permette il controllo sui grandi modelli a livello dei loro dati, non solo dei loro output.
Attribuzione: Poiché i contributi delle fonti rimangono disaccoppiati, l'output del modello può essere attribuito a specifiche fonti di dati di pre-addestramento, e l'influenza di una singola fonte può essere misurata direttamente attivando o disattivando il proprio sink.

Gli autori segnalano limitazioni, tra cui l'uso di modelli da 1 miliardo di parametri e la dipendenza da definizioni di fonte predefinite al momento dell'addestramento, riconoscendo che gestire le richieste di unlearning per fonti non definite rimane un problema aperto. Tuttavia, i risultati suggeriscono che l'unlearnability nativa sia una via percorribile per sistemi di IA conformi e controllabili.