Technische Samenvatting: Token Inoculatie voor Dual-Use Kennis in LLM's

Probleemstelling

Huidige veiligheidsinterventies voor Large Language Models (LLM's) met betrekking tot dual-use kennis (informatie die waardevol is voor legitieme wetenschap maar gevaarlijk kan zijn bij misbruik, zoals in de virologie of cybersecurity) vertrouwen doorgaans op één van de twee strategieën: destructie (bijv. unlearning, datafiltering) of onderdrukking (bijv. refusal training).

• Destructiemethoden (unlearning) wijzigen de gewichten van het model om gevaarlijke kennis te verwijderen. Omdat gevaarlijke en onschuldige kennis echter vaak verstrengeld zijn in dezelfde representaties, brengt deze aanpak het risico met zich mee dat aangrenzende domeinkennis wordt beschadigd (bijv. het vermogen van een model om over algemene biologie te discussiëren verminderen terwijl men probeert het te stoppen met het bespreken van biologische wapens).
• Onderdrukkingsmethoden (refusal training) leren modellen om specifieke queries te weigeren. Deze leren vaak oppervlakkige heuristieken, wat leidt tot "over-refusal", waarbij onschuldige queries onterecht worden geblokkeerd.

De auteurs stellen dat de fundamentele fout in deze benaderingen de aanname is dat gevaarlijke kennis minder toegankelijk moet worden gemaakt voor het model zelf. In plaats daarvan stellen zij voor dat de juiste operatie conditionering is, niet reductie. Het doel is om de gevaarlijke kennis binnen de representaties van het model te behouden, maar de gedragsmatige expressie ervan te reguleren op basis van een gecontroleerd signaal.

Methodologie: Token Inoculatie

De voorgestelde methode, Token Inoculatie, introduceert een "binding-and-branching"-benadering met behulp van een speciale controle-token, <|ino|>. Het proces vindt plaats in twee afzonderlijke fasen:

1. Inoculation Continued Pre-Training (inoCPT)

• Doel: De speciale token <|ino|> binden aan de semantische representaties van het gevaarlijke domein.
• Proces: Het model ondergaat continued pre-training op een corpus bestaande uit dual-use documenten. Gevaarlijke zinnen worden gemarkeerd door het voorafvoegen van <|ino|>.
• Mechanisme: Door middel van next-token prediction leert het model de <|ino|> te associëren met de specifieke semantiek van het gevaarlijke domein (bijv. gain-of-function onderzoek). De loss op de <|ino|> token zelf wordt gemaskeerd om te voorkomen dat het model de token leert genereren; het dient strikt als een input-conditie.
• Significantie: Dit vestigt een domeinspecifiek "anker" voor de token, waardoor het verschilt van een generieke trigger.

2. Inoculation Supervised Fine-Tuning (inoSFT)

• Doel: Het model leren om zijn gedrag te splitsen (branching) op basis van de aanwezigheid van <|ino|>.
• Dataontwerp: De SFT-dataset bestaat uit drie componenten:
  1. Retain Data: Algemene domeinvragen om brede competentie te behouden.
  2. Inoculation Data: Vragen uit het gevaarlijke domein waarbij <|ino|> wordt ingevoegd vóór het correcte antwoord (in de assistant turn). Het model leert correct te antwoorden wanneer de token aanwezig is.
  3. Refusal Data: Dezelfde vragen uit het gevaarlijke domein zonder <|ino|>, gekoppeld aan weigeringsantwoorden (bijv. "Ik kan niet helpen..."). Het model leert te weigeren wanneer de token afwezig is.
• Cruciale Ontwerpkeuze: De token wordt geplaatst in de assistant response turn, niet in de gebruikersinput. Dit zorgt ervoor dat als een gebruiker probeert <|ino|> in hun prompt te injecteren, het model dit interpreteert als een verzoek om te weigeren (omdat de token ontbreekt in de assistant turn), in plaats van de capaciteit te ontgrendelen.

Belangrijkste Bijdragen

1. Een Nieuw Paradigma voor Veiligheid: Het artikel verschuift het veiligheid-alignment probleem van "vergeten" (destructie) naar "conditionering" (gecontroleerde toegang). Het toont aan dat gevaarlijke kennis behouden kan blijven als de expressie ervan wordt gereguleerd door een geprivilegieerd signaal.
2. Twee-fasen Binding en Branching: De auteurs tonen aan dat beide fasen noodzakelijk zijn. Zonder inoCPT mist de token de domeinspecifieke semantische binding, wat leidt tot zwakke of overmatig gegeneraliseerde weigering. Zonder inoSFT behoudt het model de kennis, maar mist het het gedragsmechanisme om deze standaard te weigeren.
3. Causale Controle: De methode maakt precieze controle mogelijk over de selectiviteit van de weigering. De kwaliteit van het trainingssignaal (de nauwkeurigheid van de gegeven antwoorden wanneer <|ino|> aanwezig is) bepaalt causaal de precisie van het weigeringsmechanisme.
4. Mechanistisch Inzicht: Logit lens-analyse onthult dat <|ino|> fungeert als een representatieve poort: het onderdrukt tegelijkertijd de activatie van weigeringsgerelateerde tokens (bijv. "Sorry," "Kan niet") en activeert de representaties van gevaarlijke domein-tokens (bijv. "virus," "pathogeen") wanneer de token aanwezig is.

Experimentele Resultaten

De methode werd geëvalueerd over meerdere modelmaten (1B tot 14B) en architecturen (Qwen2.5, Llama 3.1, Phi4) op biosecurity (WMDP-Bio) en cybersecurity (WMDP-Cyber) benchmarks.

• Veiligheid-Utility Trade-off: Token Inoculatie bereikt een Pareto-dominante trade-off vergeleken met baselines zoals RMU (unlearning), NPO en DPO (refusal tuning).
  • Op Qwen2.5-14B verminderde het de WMDP-Bio accuratesse van 79,2% naar 17,9%, terwijl het 93% van de prestaties van het basismodel op MMLU-Virology behield (48,2% vs. 53,6% baseline).
  • Dit resulteerde in de hoogste Safety-Utility F1-score (0,831) over alle schalen heen, waarbij het voordeel groter werd naarmate de modelgrootte toenam.
• Generalisatie: De pipeline werd succesvol overgedragen naar cybersecurity, waarbij de WMDP-Cyber accuratesse werd onderdrukt naar 10,9% terwijl 83% van de MMLU-Computer-Security werd behouden.
• Deployment Security:
  • Expert Unlock: Wanneer <|ino|> door de serviceprovider aan het begin van de assistant response wordt ingevoegd, worden de volledige capaciteiten hersteld (WMDP-Bio accuratesse herstelt naar ~80%).
  • Publiek Gebruik: Zonder de token valt het model terug op weigering (accuratesse daalt naar ~10%).
  • Injection Attack: Als een tegenstander <|ino|> in de user query injecteert, weigert het model (88,8% weigeringspercentage) in plaats van te ontgrendelen, omdat de token niet in de verwachte positie van de assistant staat.
  • Tokenizer Shield: Het decomponeren van <|ino|> in subwords in de tokenizer vermindert de gevaarlijke accuratesse verder tot bijna nul (bijv. 2,3% op Qwen2.5-14B).

Significantie en Claims

Het artikel beweert dat voor dual-use domeinen conditionele toegang tot kennis een productievere benadering is voor veiligheid-alignment dan destructie van kennis.

• Precisie: Door de kennis te behouden maar de expressie ervan te reguleren, vermijdt het model de "collateral damage" aan aangrenzende onschuldige kennis die unlearning-methoden teistert.
• Controle: Veiligheid wordt een kwestie van toegangscontrole (wie heeft de token) in plaats van het verwijderen van capaciteiten. Dit ondersteunt tiered deployment-modellen waarbij één enkel model zowel publieke gebruikers (refusal mode) als geautoriseerde experts (unlock mode) kan bedienen.
• Robuustheid: De methode is robuust tegen eenvoudige injectie-aanvallen omdat het conditioneringssignaal verbonden is aan de rol van de assistant in de conversatietemplate, en niet aan de input van de gebruiker.

De auteurs concluderen dat hoewel de methode vertrouwt op heuristische markering en zorgvuldige implementatie vereist (bijv. bescherming van de token), het een levensvatbaar pad biedt voor het besturen van dual-use capaciteiten zonder de onderliggende nuttigheid van het model op te offeren of de vernietiging van waardevolle wetenschappelijke kennis te vereisen.