Riepilogo Tecnico: Modellare le Capacità tramite il Filtraggio dei Dati a Livello di Token

Definizione del Problema

Gli approcci attuali per ridurre le capacità indesiderate nei grandi modelli linguistici (LLM) sono ampiamente post hoc, basandosi su interventi successivi al pre-addestramento (ad esempio, RLHF, machine unlearning o classificatori input-output). Il paper sostiene che questi metodi siano facilmente aggirabili dagli avversari attraverso il jailbreaking o il fine-tuning avversariale perché non rimuovono le capacità sottostanti dalle rappresentazioni del modello base. Sebbene la modellazione delle capacità durante il pre-addestramento tramite la selezione dei dati sia una alternativa promettente, la letteratura esistente si è concentrata principalmente sul filtraggio grossolano a livello di documento. Gli autori sostengono che questa granularità sia subottimale: i modelli possono apprendere capacità pericolose da brevi sottosequenze di token all'interno di documenti altrimenti innocui, portando a una rimozione eccessiva di dati utili (bassa precisione) o alla ritenzione di conoscenze dannose (basso richiamo).

Metodologia

Il paper propone il filtraggio dei dati a livello di token come un intervento più preciso durante il pre-addestramento. La metodologia prevede quattro fasi principali:

1. Etichettatura tramite Sparse Autoencoders (SAE): Per generare etichette a livello di token "ground-truth" senza un costoso annullamento manuale, gli autori utilizzano sparse autoencoder addestrati su un modello da 9 miliardi di parametri (Gemma 2). Identificano i latenti SAE corrispondenti al dominio da "dimenticare" (conoscenza medica) e utilizzano un LLM più forte (Claude Sonnet 4) per classificare le descrizioni di questi latenti. I token vengono etichettati come "medici" se presentano un'alta attivazione su questi specifici latenti medici. Questo processo crea un dataset debolmente supervisionato di etichette a livello di token.
2. Addestramento del Classificatore: Gli autori addestrano modelli linguistici bidirezionali (biLM) specifici per il compito, che fungano da classificatori a livello di token. Dimostrano che modelli piccoli e specifici per il dominio (ad esempio, 224 milioni di parametri) addestrati su corpora rilevanti superano modelli più grandi e generalisti (ad esempio, ModernBERT-large) per questo specifico compito di classificazione.
3. Strategie di Filtraggio: Due strategie di filtraggio a livello di token vengono implementate durante il pre-addestramento:
   • Mascheramento della Loss (Loss Masking): Il modello vede i token da "dimenticare" durante il passaggio in avanti (forward pass), ma i gradienti vengono mascherati (azzerati) durante il passaggio all'indietro (backward pass) per tali token.
   • Rimozione (Removal): I token da "dimenticare" vengono sostituiti con un token speciale <|hidden|> e la loro loss viene mascherata.
4. Esperimenti di Scaling: Gli autori addestrano modelli Transformer che vanno da 61 milioni a 1,8 miliardi di parametri sul dataset FineWeb-Edu, applicando le strategie di filtraggio. Valutano le prestazioni sul dominio da "dimenticare" (capacità mediche) e sul dominio da "mantenere" (biologia, STEM generale) utilizzando la perplexity del testo, domande a scelta multipla (MedMCQA, MedQA-USMLE) e generazione a risposta aperta.

Contributi Chiave e Risultati

1. Il Filtraggio a Livello di Token Domina il Pareto rispetto al Filtraggio a Livello di Documento

Il paper dimostra che il filtraggio a livello di token raggiunge un miglioramento Pareto rispetto al filtraggio a livello di documento. Filtrando a livello di token, gli autori ottengono la stessa riduzione delle capacità nel dominio da "dimenticare" (conoscenza medica) con una degradazione significativamente minore delle capacità nel dominio da "mantenere" (biologia). Il filtraggio a livello di documento scarta spesso grandi quantità di dati innocui per catturare piccole sequenze di token dannosi, mentre il filtraggio a livello di token preserva il contesto dei dati innocui rimuovendo specifici token dannosi.

2. L'Efficacia Scala con la Dimensione del Modello

Un risultato centrale è che l'efficacia del filtraggio dei dati aumenta con la scala del modello.

• Rallentamento del Calcolo (Compute Slowdown): Per i modelli più grandi (1,8 miliardi di parametri), il filtraggio a livello di token porta a un rallentamento del calcolo di 7.000× sul dominio da "dimenticare" rispetto a un baseline addestrato su dati non filtrati. Ciò significa che un avversario avrebbe bisogno di 7.000 volte più calcolo per ri-apprendere le capacità mediche filtrate tramite fine-tuning avversariale rispetto a un modello addestrato su dati non filtrati.
• Leggi di Scaling (Scaling Laws): Il divario di prestazioni tra i modelli filtrati e quelli non filtrati si amplia all'aumentare del calcolo di pre-addestramento. Il filtraggio a livello di token risulta in esponenti di scaling di magnitudo inferiore sul dominio da dimenticare, indicando che i modelli più grandi sono "modellati" più efficacemente dal filtraggio.

3. Robustezza agli Attacchi Avversariali

Il filtraggio a livello di token è significativamente più robusto al fine-tuning avversariale rispetto ai metodi allo stato dell'arte di machine unlearning (specificamente RMU).

• Mentre le prestazioni di RMU degradano rapidamente con la scala (richiedendo meno token avversariali per ri-apprendere le capacità), il filtraggio dei dati diventa relativamente più robusto man mano che i modelli scalano.
• Per i modelli da 1,8B, RMU richiede 13 volte meno token rispetto alla rimozione dei token per raggiungere la parità con il baseline, evidenziando la superiore resistenza alle manomissioni del filtraggio durante il pre-addestramento.

4. Allineamento e Generalizzazione del Rifiuto

Contrariamente alle preoccupazioni secondo cui la rimozione della conoscenza potrebbe ostacolare la capacità del modello di rifiutare query pericolose, gli autori scoprono che i modelli con filtraggio a livello di token generalizzano meglio all'addestramento al rifiuto rispetto ai baseline non filtrati.

• I modelli addestrati con la rimozione dei token generano rifiuti per le query mediche con una frequenza 2× superiore rispetto al baseline, mantenendo un comportamento normale sulle query non mediche.
• Gli autori ipotizzano che ciò sia dovuto al fatto che il modello impara a distinguere tra token "addestrati" e "non addestrati", un compito più semplice rispetto alla classificazione della tossicità, permettendo un allineamento efficace anche senza la sottostante conoscenza pericolosa.

5. Robustezza al Rumore delle Etichette

Il paper investiga l'impatto di etichette imperfette.

• Generalizzazione Weak-to-Strong: I classificatori a livello di token possono generalizzare da etichette deboli o grossolane (ad esempio, etichette a livello di frase o di documento) per produrre filtri efficaci a livello di token. Al contrario, i classificatori a livello di documento non riescono a generalizzare da etichette deboli.
• Lo Scaling Mitiga il Rumore: Anche con etichette rumorose, scalare la dimensione del modello e regolare la soglia di classificazione (privilegiando il richiamo rispetto alla precisione) permette al filtraggio di rimanere efficace.

Significato e Rivendicazioni

Il paper sostiene che il filtraggio dei dati a livello di token è un metodo cost-effective, robusto e scalabile per modellare le capacità dei modelli durante il pre-addestramento. La sua importanza primaria risiede in:

• Sicurezza Preventiva: Affronta il gioco del "gatto e del topo" delle difese post-hoc rimuovendo le capacità alla fonte (pre-addestramento) piuttosto che cercare di estrarle in seguito.
• Efficienza: Ottiene un'alta precisione nella rimozione di specifiche capacità senza la massiccia perdita di dati associata al filtraggio a livello di documento.
• Scalabilità: Il metodo diventa più efficace man mano che i modelli crescono, suggerendo che sia una strategia a lungo termine vitale per i modelli di frontiera.
• Compatibilità con l'Allineamento: Dimostra che la rimozione di conoscenze pericolose non compromette necessariamente la capacità del modello di essere allineato o di rifiutare richieste dannose; in alcuni casi, può addirittura migliorare la generalizzazione dell'allineamento.

Gli autori concludono che, sebbene il filtraggio durante il pre-addestramento sia uno "strumento sodo" rispetto all'ideale rimozione basata sull'influenza, esso è attualmente l'intervento più efficace e robusto disponibile per prevenire che i modelli di frontiera acquisiscano capacità indesiderate, particolarmente quando combinato con un approccio di difesa in profondità che includa salvaguardie post-addestramento.