Technische Samenvatting: Sturen voorbij de Ondersteuning

Probleemstelling

Huidige veiligheidsstuurmethoden voor Large Language Models (LLM's) zijn sterk afhankelijk van toezichttraining met statische, beperkte datasets van bekende jailbreak-prompten. Hoewel deze methoden leren om activaties te sturen naar "weigerings"-regio's voor specifieke trainingsvoorbeelden, lijden ze onder een fundamenteel generalisatiefout: ze presteren slecht op ongezette, out-of-distribution (OOD) jailbreak-aanvallen. Bestaande benaderingen passen óf een globale, laag-capaciteit interventie toe die de nuttige bruikbaarheid verslechtert, óf ze leren conditionele interventies die niet generaliseren buiten hun nauwe trainingsondersteuning. De kernuitdaging is hoe men een veiligheidsstuurmechanisme kan trainen dat maximaal generaliseert voorbij de statische, beperkte trainingsondersteuning zonder exhaustief gelabelde jailbreak-data te vereisen.

Methodologie

Het artikel stelt een twee-niveau adversariaal trainingskader voor dat gebruikmaakt van onzelftoezicht latent richtingontdekking om diverse jailbreak-activaties te simuleren, waardoor de trainingsondersteuning voor het stuurveld wordt uitgebreid.

1. Onzelftoezicht Gejailbreakte Activatiesimulatie (Binnenste Stap)

In plaats van nieuwe gelabelde jailbreak-data te verzamelen, ontdekt de methode latente richtingen die "weigerings-toestand"-activaties (van directe schadelijke verzoeken) kunnen transformeren in "gejailbreakte" activaties (conforme, schadelijke antwoorden).

• Latente Richtingontdekking: Met behulp van een onzelftoezichtdoel leert het model een reeks stuurvectoren $V$ die worden ingebracht in een vroege laag $s$. Deze vectoren worden geoptimaliseerd om consistente, grote semantische verschuivingen te induceren in een doel-laag $t$ over een dataset van prompten, waardoor effectief causale interventies worden ontdekt die het modelgedrag veranderen.
• Extrapolatie: Deze ontdekte richtingen worden toegepast op weigerings-toestand-activaties ($h_r$) met een gekalibreerde grootte $R$ om adversariale, gesimuleerde jailbreak-activaties te genereren ($h_{adv} = h_r + R \cdot v$). Dit proces extrapolieert de trainingsondersteuning naar regio's van de activatieruimte die plausibel overeenkomen met ongezette jailbreaks.

2. Leerbaar Sturen via Potentiaalfuncties

Het artikel gaat voorbij vaste lineaire stuurvectoren naar een leerbaar, ruimtelijk variërend stuurveld.

• Optimaal Transport (OT) Perspectief: Het stuurmechanisme wordt gemodelleerd als het vervoeren van de verdeling van gejailbreakte activaties naar de verdeling van weigeringsactivaties met minimale verplaatsing.
• Potentiaalfunctie: Een scalaire potentiaalfunctie $f_\phi$ (geparametriseerd door een kleine MLP) wordt geleerd. Zijn gradiënt $\nabla f_\phi$ definieert een vectorveld dat activaties leidt.
• Sturen tijdens Testtijd: Tijdens inferentie wordt een activatie $h$ gestuurd door iteratief gradiëntstijgingsstappen uit te voeren langs dit veld: $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$.

3. Twee-niveau Adversariaal Trainen (Buitenste Stap)

De potentiaalfunctie wordt getraind om drie specifieke desiderata te voldoen:

1. Algemene Stuurbaarheid: Het veld moet niet-weigerende activaties (inclusief gesimuleerde jailbreaks) naar de weigeringsregio vervoeren. Dit wordt bereikt door de potentiaalopening tussen weigerings- en niet-weigeringsverdelingen te maximaliseren met behulp van de Kantorovich-Rubinstein-dualiteit van de Wasserstein-1-afstand.
2. Onschuldig Nul-Stuurbaarheid: Het veld moet dicht bij de identiteit blijven (nul gradiënt) voor onschuldige activaties om de bruikbaarheid te behouden. Dit wordt afgedwongen door de gradiëntnorm op onschuldige invoer te bestraffen.
3. Sterke Stuurbaarheid voor Gejailbreakte: Het veld moet sterke transport induceren voor gejailbreakte activaties.

Het trainen wisselt af tussen:

• Binnenste Stap: Adversariaal optimaliseren van de latente richtingen $V$ om "harde" gesimuleerde jailbreaks te genereren die momenteel moeilijk te sturen zijn (maximaliseren van het verlies op de huidige potentiaal).
• Buitenste Stap: Bijwerken van de potentiaalparameters $\phi$ om het verlies op deze harde gesimuleerde jailbreaks te minimaliseren, terwijl de onschuldige en algemene stuurbaarheidsbeperkingen worden gehandhaafd.

Belangrijkste Bijdragen

1. Identificatie van een Kritieke Beperking: De auteurs identificeren dat toezicht-veiligheidssturen faalt om te generaliseren naar ongezette jailbreaks omdat het gebonden is aan een statische trainingsverdeling, waardoor grote regio's van de jailbreak-activatieruimte ongedefinieerd blijven.
2. Twee-niveau Adversariaal Kader: Een nieuw trainingslus dat onzelftoezicht latent richtingontdekking gebruikt om diverse, adversariale jailbreak-activaties te synthetiseren. Deze gesimuleerde toestanden dienen als trainingssignalen om de effectieve dekking van het stuurveld progressief uit te breiden.
3. Op Potentiaal Gebaseerd Sturen: De introductie van een leerbare scalaire potentiaal (via Optimaal Transport-dualiteit) die een ruimtelijk variërend, hoog-capaciteit stuurveld biedt, waardoor stijve lineaire interventies worden vervangen.

Experimentele Resultaten

De methode werd geëvalueerd over drie LLM's (LLaMA-3-8B, Mistral-v2-7B, Qwen-2.5-7B) en zes klassieke jailbreak-families (GCG, AutoDAN, GPTFuzz, PAIR, TAP, FewShot).

• Robuustheid: De voorgestelde methode behaalde sterke verdedigingsprestaties, met Attack Success Rates (ASR) meestal onder de 5% voor alle modellen en aanvalsfamilies. Het presteerde beter dan of gelijk aan toezicht-baselines (zoals AlphaSteer) en representatie-engineeringmethoden (zoals Circuit-Breaker) op ongezette aanvallen.
• Behoud van Bruikbaarheid: In tegenstelling tot agressieve baselines die hoge over-weigeringspercentages veroorzaakten bij onschuldige grensgevallen, behield de voorgestelde methode hoge bruikbaarheidsscores op redenering-, kennis- en wiskundebenchmarks (ARC-C, TruthfulQA, GSM8K) terwijl het False Positive Rate (over-weigering) relatief laag bleef.
• Mechanistisch Inzicht: Analyse toonde aan dat naarmate de training vorderde, de gesimuleerde jailbreak-activaties zich uitbreidden om de deelruimten van echte jailbreak-aanvallen te dekken. Deze "stijgende deelruimte-dekking" correleerde direct met verbeterde verdedigingsrobuustheid, wat de hypothese valideert dat het uitbreiden van de trainingsondersteuning via simulatie de belangrijkste drijver van generalisatie is.

Betekenis en Claims

Het artikel claimt een grotendeels over het hoofd gezien probleem in LLM-veiligheid aan te pakken: het onvermogen van huidige stuurmethoden om voorbij hun trainingsondersteuning te generaliseren. Door over te schakelen van toezichtleren op statische jailbreaks naar een onzelftoezicht adversariale simulatie paradigma, stelt de methode veiligheidssturen in staat zich aan te passen aan evoluerende en ongezette bedreigingen.

De auteurs benadrukken dat hun aanpak geen hertraining van het volledige model vereist of het verzamelen van exhaustieve jailbreak-datasets. In plaats daarvan leert het een robuust, ruimtelijk variërend stuurveld dat schadelijke interne toestanden kan omleiden naar weigeringsgedrag terwijl onschuldige bruikbaarheid wordt behouden. Het werk suggereert dat de sleutel tot robuuste verdediging ligt in het vermogen om een brede, gesimuleerde verdeling van jailbreak-activaties te synthetiseren en daarvan te leren, effectief "sturend voorbij de ondersteuning" van de originele trainingsdata.

Beperkingen: De auteurs merken op dat het kader afhankelijk is van de kwaliteit van de onzelftoezicht latent richtingontdekking. Zij erkennen dat jailbreaks die niet-natuurlijke talen omvatten (bijvoorbeeld base64, cijfers) mogelijk overeenkomen met activatieregio's die zwak bereikbaar zijn door lineaire latente interventies, wat een inherente limiet suggereert aan de expressiviteit van het simulatiemechanisme.