💬 NLP

Test-Time Safety Alignment

Dit artikel toont aan dat invoerwoordembeddings via schattingen van de gradient van de nulde orde kunnen worden geoptimaliseerd om uitgelijnde taalmodellen weg te sturen van schadelijke weigeringen of onveilige outputs, waardoor veiligheidsgeflagde antwoorden op standaard benchmarks effectief worden geneutraliseerd.

Oorspronkelijke auteurs: Baturay Saglam, Dionysis Kalogerias

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Baturay Saglam, Dionysis Kalogerias

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, goed opgeleide robotassistent voor. Je hebt het geleerd om beleefd, behulpzaam en veilig te zijn. Het weet dat het je geen instructies mag geven over het bouwen van een bom of het schrijven van haatzaaiende teksten. Echter, slimme bedriegers hebben manieren gevonden om deze robot te "jailbreaken". Ze verpakken hun gevaarlijke verzoeken in fancy kostuums – zoals de robot vragen om "te doen alsof het een schurk in een film is" of "een verhaal te schrijven over een slechte vent" – om de robot te misleiden tot het zijn veiligheidsregels vergeet en schadelijke inhoud uitbraakt.

Dit artikel introduceert een nieuwe manier om te voorkomen dat de robot op deze trucs inloopt, maar in plaats van de robot opnieuw te trainen of een nieuwe bewaker toe te voegen, passen ze direct voor het antwoord de "hersenen" van de robot aan.

Hier is hoe het werkt, met eenvoudige analogieën:

Het Probleem: De "Veiligheidsschakelaar" van de Robot is Broos

Normaal gesproken kijkt een robot, wanneer het een vraag krijgt, naar de woorden die je hebt getypt en kiest het het volgende woord uit zijn vocabulariumlijst. Als je een lastige vraag stelt, kan de robot in de war raken en een "slecht" woord kiezen.

Huidige veiligheidsmethoden proberen dit op te lossen door:

Je vraag te herschrijven (zoals een menselijke redacteur die je woorden aanpast).
Een bewaker toe te voegen (een aparte AI die je vraag leest en blokkeert).
De interne tandwielen van de robot aan te passen (het veranderen van hoe het denkt).

De auteurs zeggen dat deze methoden wat klunzig zijn. Ze willen een manier om het antwoord van de robot te corrigeren zonder de woorden die je ziet te veranderen, en zonder dat er een aparte bewaker nodig is.

De Oplossing: "Sub-lexicale" Afstelling (De Onzichtbare Regelaar)

De auteurs realiseerden zich dat voordat de robot je woorden leest, het deze eigenlijk omzet in een lange lijst met getallen (zogenaamde embeddings). Denk aan deze getallen als de interne "coördinaten" van de robot voor elk woord.

Normaal gesproken is het woord "Kat" gewoon één specifieke set coördinaten. Maar de auteurs ontdekten dat je die coördinaten een heel klein, onzichtbaar beetje kunt verschuiven – zo klein dat als je de getallen terug zou omzetten in woorden, het nog steeds "Kat" zou zeggen.

De Analogie: Stel je de hersenen van de robot voor als een gigantische kaart. Het woord "Kat" is een specifiek stadje op die kaart.

Normale werking: Je wijst precies naar het centrum van het stadje.
De Aanval: Een bedrieger wijst de robot naar een "gevaarzone" net buiten het stadje, en misleidt het om te denken dat "Kat" iets gevaarlijks betekent.
De Oplossing: De methode van de auteurs duwt de coördinaten van "Kat" zachtjes binnen de stadsgrenzen, maar in een iets andere richting. Het is alsof je een draaiknop op een radio draait. Je luistert nog steeds naar hetzelfde station ("Kat"), maar je hebt de frequentie net genoeg aangepast om de ruis te verwijderen en het slechte signaal te stoppen.

Hoe Ze Het Doen: De "Blind Proef"

De robot is een "black box", wat betekent dat de onderzoekers niet direct in de code kunnen kijken om het te repareren. Dus gebruiken ze een slimme trial-and-error-methode:

Het Orakel (De Proever): Ze gebruiken een openbaar veiligheidsinstrument (zoals een contentfilter) dat fungeert als een "proever". Het kijkt naar het antwoord van de robot en geeft het een "schade-score". Hoge score = slecht; lage score = veilig.
Het Gissen en Controleren: De onderzoekers nemen de invoer van de robot, voegen een klein beetje willekeurige "ruis" toe (zoals het schudden van een dobbelsteen), en vragen de robot wat het denkt. Ze controleren de schade-score.
De Duw: Als het antwoord nog steeds een beetje riskant is, gebruiken ze wiskunde om uit te rekenen in welke richting ze de onzichtbare coördinaten moeten duwen om de schade-score te verlagen.
Herhalen: Ze doen dit een paar keer (meestal slechts 1 of 2 stappen). Het is alsof je een gitaarsnaar stemt: je plukt het, luistert, draait het een heel klein beetje strakker, en luistert weer tot het perfect klinkt.

De Resultaten: Magie, maar Echt

Het artikel testte dit op verschillende robotmodellen (van klein tot enorm) en vond:

Het Werkt: Het slaagde er bijna in alle gevallen in om te voorkomen dat de robot schadelijke antwoorden gaf, zelfs wanneer de bedriegers zeer slimme vermommingen gebruikten.
Het is Onzichtbaar: De robot beantwoordt de vraag nog steeds normaal. Als je vroeg: "Hoe bak ik een cake?", vertelt het je nog steeds hoe je een cake bakt. Het weigert alleen om je te vertellen hoe je een bom bakt, zelfs als je het op een lastige manier vroeg.
Het is Snel: Het kost slechts een paar seconden per vraag.
Het Verpest Geen Goede Antwoorden: Als je een veilige vraag stelde, werd het antwoord van de robot niet slechter. Het begon niet om veilige vragen te weigeren alleen maar om veilig te zijn.

De Grote Conclusie

Het artikel laat zien dat de "hersenen" van de robot (de invoergetallen) veel gevoeliger zijn dan we dachten. Je hoeft de woorden die een mens leest niet te veranderen om het gedrag van de robot te veranderen. Je hoeft alleen maar de onzichtbare knoppen onder de woorden te draaien.

Het is alsof je een auto hebt die zichzelf veilig bestuurt. Als iemand probeert de auto te misleiden om van een klif te rijden, hoef je de auto niet opnieuw te bouwen of een nieuwe bestuurder in te huren. Je hoeft alleen maar een microscopische aanpassing te maken aan de interne sensoren van het stuurwiel, en de auto stuurt zichzelf van nature terug naar veiligheid.

1. Probleemstelling

Grote Taalmodellen (LLM's) ondergaan veiligheidstraining (bijv. RLHF, DPO) om schadelijke verzoeken te weigeren. Adversariale prompts (jailbreaks) kunnen deze verdedigingen echter omzeilen door gebruik te maken van het gat tussen de trainingsverdeling van het model en de onbegrensde invoerruimte. Deze prompts gebruiken vaak structurele framing (rollenspellen, obscurering) om schadelijke inhoud op te wekken.

Bestaande verdedigingen op het moment van testen (test-time) staan voor structurele beperkingen:

Strategieën op prompt-niveau manipuleren discrete tokens, wat breekbaar is tegen semantische aanvallen.
Actiesturing vereist toegang tot verborgen staten en vertrouwt vaak op vaste kalibratiesets die mogelijk niet generaliseren.
Guard-modellen vereisen aparte inferentie en volgen vaak een "detecteer-en-filter"-paradigma in plaats van het generatieproces te sturen.

De Kernvraag: Kunnen invoerwoordembeddings op een sub-lexicale manier worden geoptimaliseerd (het aanpassen van de continue vectorrepresentatie zonder het zichtbare token te veranderen) om uitgelijnde modellen te sturen naar veilige outputs, zelfs wanneer het model een bimodale "weiger-of-comply"-verdeling produceert in plaats van een vloeiende voortzetting?

2. Methodologie: Test-Time Safety Alignment (TSA)

De voorgestelde methode, TSA, werkt uitsluitend op het moment van testen zonder de modelgewichten aan te passen, vereist geen aanvullende training en behandelt de LLM als een black box. Het optimaliseert direct de embedding-matrix van de prompt.

A. Doelfunctie

Het doel is om de schadelijkheid van de gegenereerde tekst $y = f(X)$ te minimaliseren, waarbij $f$ de LLM is en $X$ de prompt-embedding-matrix.

Schadelijkheid-Oracle ( $h$ ): De methode gebruikt de OpenAI Moderation API als een black-box oracle. Het scoort outputs over 13 schadelijkheidscategorieën (bijv. geweld, zelfverminking, haat).
Verliesfunctie: $\Phi(X) = \max_{c} s_c(f(X))$ , waarbij $s_c$ de score is voor categorie $c$ . Het doel is om deze maximale score te minimaliseren, zodat de respons veilig is over alle dimensies.

B. Gradientenschatting van de Zeroe Orde

Omdat de LLM ( $f$ ) en de Moderation API ( $h$ ) black boxes zijn, is backpropagation onmogelijk. TSA maakt gebruik van gradientenschatting van de zeroe orde:

Perturbatie: Bij elke iteratie $k$ wordt de huidige embedding-matrix $X_k$ verstoord door het toevoegen van Gaussisch ruis $U$ geschaald met $\mu$ : $X_k + \mu U$ .
Finite Difference: De gradient wordt geschat door het verlies van de verstoorde inputs te vergelijken met de basisinput:
$g_k \approx \frac{1}{N} \sum_{i=1}^{N} \frac{\Phi(X_k + \mu U_i) - \Phi(X_k)}{\mu} U_i$
waarbij $N$ het aantal Monte Carlo-steekproeven is.
Update: De embeddings worden bijgewerkt via gradientenafname: $X_{k+1} \leftarrow X_k - \eta g_k$ .

C. Regularisatie

Om ervoor te zorgen dat de geoptimaliseerde embeddings geldig blijven en niet afdrijven naar ongeleerde gebieden van de latente ruimte:

Gradientenormalisatie: De update-stap gebruikt de genormaliseerde gradientrichting ( $g_k / \|g_k\|_2$ ) om de stapgrootte te controleren.
Cosinusgelijkheidsbeperking: De bijgewerkte embedding wordt teruggeprojecteerd op een cosinusbol rond de originele embedding $X_0$ als de gelijkenis onder een drempelwaarde $\kappa$ daalt. Dit zorgt ervoor dat de perturbatie sub-lexicaal is: de geoptimaliseerde vector decodeert terug naar het originele token, maar de continue representatie binnen de Voronoi-cel van dat token wordt gewijzigd.

3. Belangrijkste Bijdragen

Extensie naar Uitgelijnde Modellen: Demonstreert dat controle op embedding-niveau, eerder getoond voor het ontgiften van basismodellen, effectief werkt op veiligheidsuitgelijnde instructie-getrainde modellen, die fundamenteel een andere (bimodale) outputverdeling hebben.
Sub-Lexicale Controle: Bewijst dat het optimaliseren van de continue embedding-vector binnen de dichtstbijzijnde buurcel van een token (zonder het token zelf te veranderen) voldoende is om het gedrag van het model van schadelijk naar veilig te sturen. Dit daagt het beeld van embeddings als louter discrete opzoekingen uit.
Black-Box Optimalisatie: De methode vereist geen toegang tot modelinterne details (gradienten, verborgen staten of logits). Het vereist alleen toegang tot invoerembeddings en een black-box moderatie-API.
Ondingende Toepassing: De methode is van toepassing op alle prompts, ongeacht de intentie. Het forceert geen weigering; het stuurt het model ertoe om een veilige, substantiële respons te genereren indien mogelijk, of een veilige weigering indien noodzakelijk.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf instructie-getrainde modellen (variërend van 1B tot 20B parameters: Gemma 3, Phi-3.5, Llama 3.1, Qwen3, GPT-OSS) over twee benchmarks:

WildJailbreak: Adversariale prompts (schadelijk en onschuldig).
HarmBench: Directe schadelijke queries.

Belangrijkste Bevindingen:

Eliminatie van Veiligheid: TSA reduceerde het aantal gemarkeerde (schadelijke) responsen naar nul voor de meeste modellen op standaard benchmarks. Bijvoorbeeld, op Llama 3.1-8B reduceerde het gemarkeerde schadelijke prompts van 218 naar 0.
Convergentie: De optimalisatie convergeert doorgaans binnen 1 tot 2 gradientstappen.
Behoud van Onschuldig: Op adversariale onschuldige prompts verhoogde TSA de moderatiescores niet, wat bevestigt dat het geen "blanket refusal" (algemene weigering) bias induceert of de nuttigheid verslechtert.
Vergelijking met Baselines: TSA presteerde significant beter dan baselines zoals SmoothLLM (willekeurige token-perturbatie), AdaSteer (actiesturing) en RESTA (embedding-ruis). Baselines faalden vaak bij semantische jailbreaks of verhoogden de gemarkeerde tarieven bij directe schadelijke queries.
Efficiëntie: De primaire latentiekost is de API-call naar het moderatie-oracle, niet de modelinferentie.

5. Betekenis en Implicaties

Nieuw Controlevlak: Het paper onthult dat de embedding-laag een rijker controlevlak biedt dan eerder werd gedacht. Kleine, sub-lexicale perturbaties kunnen de complexe veiligheidsgrenzen van uitgelijnde modellen navigeren.
Implementatiehaalbaarheid: Als "drop-in" veiligheidslaag vereist TSA geen modelhertraining of fine-tuning. Het kan worden ingezet op elk model waarbij invoerembeddings toegankelijk zijn (bijv. open-weight modellen) in combinatie met een publieke moderatie-API.
Beperkingen:
- Latentie: De iteratieve optimalisatie voegt per-prompt latentie toe (seconden), hoewel dit wordt gedomineerd door API-omwegen.
- Modelafhankelijkheid: De effectiviteit schaalt met de kwaliteit van de bestaande veiligheidstraining van het model. Modellen met dunne uitlijning (bijv. Gemma 3-1B) vertoonden een verminderd succes, omdat de optimizer geen nabije veilige richting kon vinden.
- API-toegang: Vereist toegang tot invoerembeddings (niet beschikbaar voor puur API-gesloten modellen) en een moderatie-API.

Kortom, Test-Time Safety Alignment biedt een robuust, model-onafhankelijk mechanisme om adversariale aanvallen te neutraliseren door de continue inputrepresentatie te optimaliseren, waardoor de kloof tussen theoretische veiligheid en praktische implementatie effectief wordt overbrugd zonder hertraining.