Technische Samenvatting: Veiligheid doorbreken bij de Token-grens

Probleemstelling

Moderne Large Language Models (LLM's) worden uitgelijnd op veiligheid met behulp van Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO) om schadelijke verzoeken te weigeren. Echter, deze veiligheidsmechanismen worden betrouwbaar omzeild door eenvoudige karakter-niveau perturbaties (bijv. willekeurige hoofdlettergebruik, leetspeak, het door elkaar husselen van karakters) die voor mensen nog steeds leesbaar blijven. Hoewel eerder werk vaststelde dat dergelijke perturbaties succesvol zijn en dat Byte-Pair Encoding (BPE) tokenisatie fragiel is, bleef de specifieke structurele mechanisme die de verbinding vormt tussen input-perturbaties en veiligheidsfalen onkarakteriseerd. Dit artikel identificeert en test een centrale structurele oorzaak: BPE-tokenisatie fragmenteert veiligheidskritische woorden in sub-woord stukjes, en de alignment-trainingsdata bevat geen opzettelijk gefragmenteerde inputs. Gevolgelijk begrijpen modellen gefragmenteerde schadelijke verzoeken wel, maar falen ze in het activeren van het weigeringssignaal dat getraind is op schone tekst.

Methodologie

De auteurs stellen een end-to-end mechanistische keten voor en valideren deze, die de verbinding vormt tussen BPE-fragmentatie en gedragsmatig veiligheidsfalen. De studie omvat vijf modelfamilies (Qwen-3-4B, Qwen-2.5-7B, Gemma-3-4B, Llama-3.1-8B, Mistral-7B) en maakt gebruik van de volgende experimentele benaderingen:

1. Optimalisatie voor Fragmentatie: Een gulzig algoritme voegt spaties in prompts in om de reductie van de "logit gap" (het verschil tussen het hoogste weigerings-token logit en het hoogste compliance-token logit) te maximaliseren. Dit test of het forceren van BPE-fragmentatie de weigerings-trigger doet instorten.
2. Activatie Patching: Om de verstoring te lokaliseren, deconstrueren de auteurs de logit gap in per-laag bijdragen en gebruiken ze activatie patching om gefragmenteerde residual stream activaties te vervangen door schone activaties, waarbij de herstel van het veiligheidssignaal wordt gemeten.
3. Trainingsdistributie Analyse: De auteurs hebben 30.000 voorbeelden gescand over drie publieke alignment datasets (PKU-SafeRLHF, Anthropic HH-RLHF, BeaverTails) op zoek naar gefragmenteerde inputs (leetspeak, ruimte-invoeging, gemengde hoofdletters/kleine letters).
4. Doelgerichte Mutatie: Best-of-N (BoN) aanvallen werden uitgevoerd waarbij exact één woord tegelijk werd gemuteerd om te isoleren of veiligheidskritische woorden de specifieke locus van verstoring zijn vergeleken met neutrale woorden.
5. Defensie Evaluatie: Een gecontroleerd 68-cel grid (55 getrainde checkpoints) vergeleek SFT en DPO configuraties. De studie introduceerde Conv-Benign, een gekoppelde diagnostiek die de weigeringsgraad van het model op beneagene prompts meet onder dezelfde fragmentatie-probe, om onderscheid te maken tussen "selectieve reparatie" van veiligheid en "globale instorting" (over-weigering).

Belangrijkste Resultaten

1. De Mechanistische Keten

• Fragmentatie Instorting: Ruimte-invoeging (wat BPE-verstoring garandeert terwijl karakters behouden blijven) deed het eerste-token weigeringssignaal instorten op 80–100% van de geweigerde HarmBench prompts over alle vijf de modelfamilies.
• Gedragsimpact: Van de prompts waar het weigeringssignaal omdraaide, resulteerden 48% in werkelijk schadelijke outputs (per-model bereik: 29–65%). De polariteit van de logit gap vertoonde een gepoolde ROC-AUC van 0.84 in het voorspellen van gedragsmatige weigering.
• Laat-lokalisatie: De verstoring lokaliseert zich in de laatste ~30% van de lagen. In Qwen en Gemma modellen is het weigeringssignaal geconcentreerd in enkele late lagen (geconcentreerd patroon), terwijl het in Llama en Mistral verspreid is over vele lagen (gedistribueerd patroon). Activatie patching bevestigde dat fragmentatie deze specifieke late-layer paden causaal verstoort.

2. Bewijs voor een Trainingsdistributie-gat

• Nul Gefragmenteerde Prompts: De survey van 30.000 alignment voorbeelden vond nul opzettelijk gefragmenteerde prompts.
• Alignment Creëert het Signaal: Base (niet-gealigneerde) modellen vertoonden slechts zwakke weigeringssignalen op gefragmenteerde inputs. Instruct (gealigneerde) modellen vertoonden sterke signalen op schone inputs, maar deze signalen stortten in wanneer inputs gefragmenteerd waren. Dit bevestigt dat alignment het weigeringsmechanisme creëert, maar alleen voor schone tokenisaties.
• Begrip versus Weigering: Woord-aanvullingsprobes lieten zien dat modellen gefragmenteerde veiligheidswoorden kunnen begrijpen (30–60% nauwkeurigheid), wat bewijst dat pre-training begrip van rommelige tekst leert, terwijl alignment faalt in het aanleren van de weigering ervan.
• Veiligheidswoorden als Bottleneck: Het muteren van veiligheidskritische woorden produceerde significant hogere Attack Success Rates (ASR) dan het muteren van neutrale woorden, wat de veiligheidswoorden isoleert als de locus van verstoring.

3. Beperkingen van Defensie

• DPO Ineffectiviteit: Geen enkele DPO configuratie bereikte een seed-stabiele ASR-sluiting over de geteste families. Hoewel sommige DPO cellen ASR verminderden, waren de verbeteringen niet stabiel over verschillende seeds of pool-groottes.
• SFT Globale Instorting: SFT getraind op gefragmenteerde prompts sloot de ASR af op 3 van de 5 families (Llama, Mistral, Gemma), maar alleen via globale instorting. Deze modellen vertoonden een massale daling in weigering op beneagene prompts (Conv-Benign), wat aangeeft dat ze leerden alles te weigeren in plaats van de veiligheidskloof selectief te repareren.
• Conv-Benign Diagnostiek: De introductie van Conv-Benign onthulde dat huidige alignment recepten (LoRA-16) de fragmentatiekloof niet selectief kunnen repareren zonder een kostenpost te veroorzaken voor behulpzaamheid (over-weigering).

Betekenis en Claims

Het artikel claimt de karakter-niveau jailbreaks te transformeren van een empirische observatie naar een falsifieerbare mechanistische verklaring. De kernbijdrage is het identificeren dat de kwetsbaarheid niet louter een gebrek aan robuustheid is, maar een structurele mismatch: BPE-tokenisatie fragmenteert veiligheidskritische tokens, en de veiligheids-alignment was nooit getraind op deze gefragmenteerde representaties.

De auteurs benadrukken dat:

• De logit gap een trigger-niveau diagnostiek is, geen voldoende voorwaarde voor schade, maar het is de eerste laag van een meerlaags veiligheidssysteem.
• Huidige fine-tuning recepten (SFT/DPO) onder de geteste beperkingen (LoRA-16) er niet in slagen de distributiekloof selectief te sluiten; ze sluiten de kloof of laten de behulpzaamheid van het model globaal instorten.
• Robuuste veiligheid waarschijnlijk interventies vereist op of boven de BPE-bottleneck (bijv. token-niveau fixes of Chain-of-Thought redenering die semantiek reconstrueert vóór de veiligheidsbeslissing), in plaats van enkel meer alignment data.

De studie concludeert dat de "ontbrekende distributie" (gefragmenteerde inputs in alignment data) noodzakelijk maar niet voldoende is voor reparatie onder huidige recepten, en dat de geobserveerde veiligheidsfalen een direct gevolg zijn van de interactie tussen de tokenisatie-architectuur en de trainingsdata-distributie.