Technische Samenvatting: Het vormgeven van capaciteiten met token-niveau datafiltering

Probleemstelling

Huidige benaderingen om ongewenste capaciteiten in grote taalmodellen (LLM's) te verminderen zijn grotendeels post hoc, waarbij ze vertrouwen op interventies na de pretraining (bijv. RLHF, machine unlearning, of input-output classificators). Het artikel betoogt dat deze methoden gemakkelijk te omzeilen zijn door tegenstanders via jailbreaking of adversariële finetuning, omdat ze de onderliggende capaciteiten niet verwijderen uit de representaties van het basismodel. Hoewel het vormgeven van capaciteiten tijdens de pretraining via dataselectie een veelbelovend alternatief is, heeft de bestaande literatuur zich grotendeels gericht op grofmazige filtering op documentniveau. De auteurs stellen dat deze granulariteit suboptimaal is: modellen kunnen gevaarlijke capaciteiten aanleren uit korte sub-sequenties van tokens binnen anders onschuldige documenten, wat leidt tot ofwel het overmatig verwijderen van nuttige data (lage precisie) of het behouden van schadelijke kennis (lage recall).

Methodologie

Het artikel stelt token-niveau datafiltering voor als een preciezere interventie tijdens de pretraining. De methodologie omvat vier hoofdfasen:

1. Labeling via Sparse Autoencoders (SAE's): Om ground-truth token-niveau labels te genereren zonder dure handmatige annotatie, maken de auteurs gebruik van sparse autoencoders getraind op een 9B-parameter model (Gemma 2). Ze identificeren SAE-latents die overeenkomen met het "vergeet"-domein (medische kennis) en gebruiken een sterker LLM (Claude Sonnet 4) om deze latent-beschrijvingen te classificeren. Tokens worden als "medisch" gelabeld als ze een hoge activatie vertonen op deze specifieke medische latents. Dit proces creëert een zwak gesuperviseerde dataset van token-niveau labels.
2. Classifier Training: De auteurs trainen taakspecifieke, bidirectionele taalmodellen (biLMs) om te fungeren als token-niveau classificators. Ze demonstreren dat kleine, domeinspecifieke modellen (bijv. 224M parameters) getraind op relevante corpora beter presteren dan grotere, algemene modellen (bijv. ModernBERT-large) voor deze specifieke classificatietaak.
3. Filteringstrategieën: Twee token-niveau filteringstrategieën worden geïmplementeerd tijdens de pretraining:
   • Loss Masking: Het model ziet de "vergeet"-tokens tijdens de forward pass, maar de gradiënten worden gemaskeerd (op nul gezet) tijdens de backward pass voor die tokens.
   • Verwijdering (Removal): "Vergeet"-tokens worden vervangen door een speciale <|hidden|> token, en hun loss wordt gemaskeerd.
4. Scaling Experimenten: De auteurs trainen Transformer-modellen variërend van 61M tot 1.8B parameters op de FineWeb-Edu dataset, waarbij de filteringstrategieën worden toegepast. Ze evalueren de prestaties op "vergeet"-domeinen (medische kennis) en "behoud"-domeinen (biologie, algemene STEM) met behulp van tekst-perplexiteit, meerkeuzevragen (MedMCQA, MedQA-USMLE) en free-response generatie.

Belangrijkste Bijdragen en Resultaten

1. Token Filtering Pareto-domeert Document Filtering

Het artikel demonstreert dat token-niveau filtering een Pareto-verbetering bereikt ten opzichte van document-niveau filtering. Door op token-niveau te filteren, bereiken de auteurs dezelfde reductie in "vergeet"-capaciteiten (medische kennis) met aanzienlijk minder degradatie in "behoud"-capaciteiten (biologie). Document-niveau filtering verwerpt vaak grote hoeveelheden onschuldige data om kleine sequenties van schadelijke tokens te vangen, terwijl token-filtering de context van onschuldige data behoudt terwijl specifieke schadelijke tokens worden verwijderd.

2. Effectiviteit Schaalt met Modelgrootte

Een centrale bevinding is dat de effectiviteit van datafiltering toeneemt met de schaal van het model.

• Compute Slowdown: Voor de grootste modellen (1.8B parameters) leidt token-filtering tot een 7.000× compute slowdown op het "vergeet"-domein vergeleken met een baseline getraind op ongefilterde data. Dit betekent dat een tegenstander 7.000 keer meer rekenkracht nodig zou hebben om de gefilterde medische capaciteiten opnieuw te leren via adversariële finetuning vergeleken met een model getraind op ongefilterde data.
• Scaling Laws: De kloof in prestaties tussen gefilterde en ongefilterde modellen wordt groter naarmate de pretraining-rekenkracht toeneemt. Token-filtering resulteert in lagere magnitude scaling exponenten op het vergeet-domein, wat aangeeft dat grotere modellen effectiever worden "gevormd" door de filtering.

3. Robuustheid tegen Adversariële Aanvallen

Token-filtering is aanzienlijk robuuster tegen adversariële finetuning dan de huidige state-of-the-art machine unlearning methoden (specifiek RMU).

• Terwijl de RMU-prestaties snel afnemen met schaal (minder adversariële tokens vereisen om capaciteiten opnieuw te leren), wordt datafiltering relatief robuuster naarmate modellen schalen.
• Voor 1.8B modellen heeft RMU 13× minder tokens nodig dan token-verwijdering om pariteit met de baseline te bereiken, wat de superieure tamper-resistentie van pretraining-filtering benadrukt.

4. Alignment en Weigering Generalisatie

In tegen tegenstelling tot zorgen dat het verwijderen van kennis het vermogen van een model om gevaarlijke queries te weigeren kan hinderen, vinden de auteurs dat token-gefilterde modellen beter generaliseren naar refusal training dan ongefilterde baselines.

• Modellen getraind met token-verwijdering genereren weigeringen voor medische queries met een snelheid die 2× hoger is dan de baseline, terwijl ze normaal gedrag behouden op niet-medische queries.
• De auteurs hypothetiseren dat dit komt doordat het model leert te differentiëren tussen "getrainde" en "ongetrainde" tokens, een simpelere taak dan het classificeren van toxiciteit, wat effectieve alignment mogelijk maakt zonder de onderliggende gevaarlijke kennis.

5. Robuustheid tegen Labelruis

Het artikel onderzoekt de impact van imperfecte labels.

• Weak-to-Strong Generalization: Token-niveau classificators kunnen generaliseren van zwakke of grove labels (bijv. zin- of document-niveau labels) om effectieve token-niveau filters te produceren. Document-niveau classificators falen daarentegen in het generaliseren van zwakke labels.
• Scaling Mitigates Noise: Zelfs met ruisige labels maakt het opschalen van de modelgrootte en het aanpassen van de classificatiedrempel (waarbij prioriteit wordt gegeven aan recall boven precisie) de filtering effectief.

Betekenis en Claims

Het artikel claimt dat token-niveau datafiltering een kosteneffectieve, robuuste en schaalbare methode is voor het vormgeven van modelcapaciteiten tijdens de pretraining. De primaire betekenis ligt in:

• Preventieve Veiligheid: Het pakt de "kat-en-muis"-spelletjes van post hoc waarborgen aan door capaciteiten bij de bron te verwijderen (pretraining) in plaats van ze later te proberen te extraheren.
• Efficiëntie: Het bereikt een hoge precisie in het verwijderen van specifieke capaciteiten zonder het enorme dataverlies dat gepaard gaat met document-niveau filtering.
• Schaalbaarheid: De methode wordt effectiever naarmate modellen groter worden, wat suggereert dat het een levensvatbare langetermijnstrategie is voor frontier-modellen.
• Alignment Compatibiliteit: Het demonstreert dat het verwijderen van gevaarlijke kennis niet noodzakelijkerwijs het vermogen van een model om te worden gealigneerd of om schadelijke verzoeken te weigeren ondermijnt; in sommige gevallen kan het de alignment-generalisatie zelfs verbeteren.

De auteurs concluderen dat hoewel pretraining-filtering een "bot instrument" is vergeleken met ideale invloeds-gebaseerde verwijdering, het momenteel de meest effectieve en robuuste interventie is die beschikbaar is om het verwerven van ongewenste capaciteiten door frontier-modellen te voorkomen, vooral wanneer het wordt gecombineerd met een defense-in-depth aanpak inclusief post-training waarborgen.