🤖 machine learning

Before the Last Token: Diagnosing Final-Token Safety Probe Failures

Dit artikel identificeert dat veiligheidsonderzoeken op het laatste token jailbreaks niet detecteren omdat onveilige bewijzen vaak over eerdere prefill-tokens zijn verdeeld in plaats van geconcentreerd in de eindtoestand, en stelt voor dat trajectbewuste analyses met PCA-HMM-modellen deze gemiste detecties effectief kunnen herstellen zonder de hoge rates van vals-positieven van naïeve token-pooling.

Oorspronkelijke auteurs: Shravan Doda

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shravan Doda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme beveiligingswacht hebt (het AI-model) die gevaarlijke verzoeken moet stoppen voordat ze gebeuren. Om deze wacht te helpen, heb je een gespecialiseerde inspecteur ingehuurd (de "probe") wiens enige taak het is om naar het allerlaatste woord van een gebruikersbericht te kijken en te beslissen: "Is dit gevaarlijk?"

Dit artikel onderzoekt waarom deze inspecteur soms faalt in het opsporen van boeven die proberen het systeem te omzeilen met "jailbreaks" (trucs om veiligheidsregels te omzeilen).

Hier is het verhaal van wat de onderzoekers hebben gevonden, eenvoudig uitgelegd:

1. Het "Laatste Woord"-Probleem

De inspecteur is getraind om naar het laatste token (het laatste woord) van een zin te kijken om een veiligheidsbeslissing te nemen.

Hoe het werkt: Als het laatste woord verdacht lijkt, stopt de wacht het gesprek.
De fout: Slechte actoren (jailbreakers) wikkelen hun gevaarlijke verzoeken in in chique kostuums, rollenspellen of verwarrende instructies. Tegen de tijd dat de zin eindigt, ziet het "laatste woord" er onschuldig uit, zelfs als het midden van de zin een duidelijk gevaarssignaal bevatte.
De Analogie: Stel je een dief voor die een gestolen diamant verstopt in een doos teddyberen. De inspecteur kijkt alleen naar de allerbovenkant van de doos (het laatste woord). Als de bovenkant eruitziet als een schattig beer, zegt de inspecteur: "Alles duidelijk!" en laat de doos passeren, waarbij de diep verborgen diamant wordt gemist.

2. Waarom de Inspecteur de Aanwijzingen Mist

De onderzoekers testten dit op drie verschillende AI-modellen en ontdekten dat de inspecteur zeer goed is in het opsporen van voor de hand liggende, platte taal slechte verzoeken. Maar wanneer het slechte verzoek is ingepakt in een "jailbreak"-kostuum, raakt de inspecteur in de war.

Het gaat niet om "spierkracht": De onderzoekers vroegen zich af of de inspecteur gewoon "slimmer" moest zijn of een groter brein nodig had (meer capaciteit). Ze maakten het brein van de inspecteur veel groter, maar dit hielp niet veel.
Het Echte Probleem: Het probleem is dat het "gevaarssignaal" verloren gaat in de warboel. Wanneer een slecht verzoek is ingepakt in een truc, verschuift het laatste woord weg van het "gevaargebied" in het brein van de AI. De inspecteur zoekt naar een specifiek type gevaar, maar de truc verplaatst het signaal naar een plek die de inspecteur niet kan zien.

3. De "Verborgen Aanwijzingen" Eerder in de Zin

De onderzoekers keken vervolgens naar de hele zin, woord voor woord, niet alleen naar het laatste woord.

De Ontdekking: In de gevallen waarin de inspecteur aan het einde faalde, was het "gevaarssignaal" eigenlijk zeer luid en duidelijk in het midden van de zin (precies daar waar het slechte verzoek was verstopt).
De Valstrik: Echter, simpelweg kijken naar het luidste woord ergens in de zin werkt ook niet. Waarom? Omdat onschuldige, veilige zinnen ook luid, "angstwekkend klinkende" woorden in het midden kunnen hebben (zoals het bespreken van een filmplot over een misdaad). Als je elke zin met een luid woord markeert, stop je per ongeluk ook alle onschuldige mensen.

4. De Oplossing: Naar de "Film" Kijken, Niet Alleen naar het "Beeldje"

In plaats van naar een enkel stilstaand beeld te kijken (het laatste woord) of gewoon het luidste beeldje te kiezen (max-pooling), probeerden de onderzoekers de hele film te bekijken (de trajectorie van de zin).

De Nieuwe Aanpak: Ze bouwden een eenvoudig model dat kijkt hoe de "gevaarscore" verandert van het eerste woord tot het laatste.
Het Patroon: Ze ontdekten dat jailbreaks een specifiek patroon hebben: de score gaat hoog (gevaar!) wanneer het slechte verzoek verschijnt, en daalt vervolgens (veilig!) wanneer de truc eindigt. Onschuldige zinnen volgen dit specifieke "piek-en-daling"-patroon niet.
Het Resultaat: Door naar dit patroon te kijken, konden ze bijna alle jailbreaks opvangen die de "laatste woord"-inspecteur had gemist, zonder per ongeluk onschuldige gesprekken te stoppen.

Samenvatting

Het artikel concludeert dat het vertrouwen op het laatste woord om veiligheid te beoordelen, hetzelfde is als een boek beoordelen aan de hand van de kaft. Slechte actoren kunnen de kaft schoon laten lijken terwijl ze een gevaarlijk verhaal erin verstoppen.

De onderzoekers suggereren dat veiligheidssystemen naar het hele verhaal moeten kijken (de trajectorie van de verborgen toestanden) om deze trucs op te sporen. Ze zeggen niet dat deze nieuwe methode al een perfect, kant-en-klaar product is, maar het bewijst dat de "gevaaraanwijzingen" er zijn; we moeten ze gewoon op de juiste plek en op de juiste manier zoeken om ze te vinden.

Technische Samenvatting: Voor de Laatste Token: Diagnose van Falen van Veiligheidsprobes op de Laatste Token

Probleemstelling
Huidige beveiligingsmonitoringsystemen voor Large Language Models (LLM's), zoals SafeSwitch, vertrouwen vaak op "probes op de laatste token". Deze systemen trainen classifiers op de verborgen toestand van de laatste token in de prefill-fase van een prompt om onveilige inhoud te detecteren voordat de generatie begint. Het artikel identificeert een kritieke faalmodus in deze architectuur: terwijl deze probes een hoge recall bereiken op "schone" schadelijke prompts, falen ze frequent bij het detecteren van "jailbreak"-prompts. Jailbreaks verbergen schadelijke verzoeken binnen adversariele framing, rollenspellen of obscuratie. De auteurs betogen dat deze omhulsels de representatie van de laatste token verschuiven weg van de specifieke "schadelijk-vs-benigne" contrasterende richting die tijdens de training is aangeleerd, waardoor de probe het onveilige verzoek mist, zelfs al is de schadelijke inhoud wel degelijk aanwezig in de prompt. Dit falen is niet louter een capaciteitsprobleem, aangezien het vergroten van de bottleneck-breedte van de probe de detectiekloof niet betrouwbaar oplost.

Methodologie
De studie evalueert drie instructie-geoptimaliseerde modellen: Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.1 en OLMo3-7B-Instruct.

Probe-training: SafeSwitch-achtige probes werden uitsluitend getraind op "schone" schadelijke en benigne prompts uit de oorspronkelijke SafeSwitch-trainingsverdeling. Deze probes lezen de verborgen toestand van de laatste prompt-token, projecteren deze via een bottleneck (initieel breedte $w=64$ ) en voorspellen veiligheid.
Evaluatie: De probes werden getest op:
- Schone, vastgehouden schadelijke prompts (SorryBench).
- Dezelfde schadelijke prompts, verpakt met jailbreak-sjablonen uit HarmBench.
- Benigne, veiligheidsgerelateerde prompts (XSTest) om vals-positieven te meten.
- Directe schadelijke benchmarks (AdvBench) om algemene distributieveranderingen uit te sluiten.
Geometrische analyse: De auteurs analyseerden de representatieve deelruimte van de probes. Ze berekenden verschil-van-middens vectoren voor diverse sets (bijvoorbeeld gemiste jailbreaks versus benigne prompts) en maten hun "probe-zichtbare energie"—het deel van de norm van een richting dat wordt vastgelegd door de rij-ruimte van de probe (via SVD).
Trajectanalyse: In plaats van uitsluitend te vertrouwen op de laatste token, analyseerden de auteurs token-voor-token trajecten van de verborgen toestand tijdens de prefill-fase. Ze onderzochten of onveilig bewijs eerder in de sequentie verscheen maar instortte tegen de laatste token.
Diagnostische modellering: Om te testen of trajectinformatie gemiste detecties kon herstellen, pasten de auteurs een eenvoudige PCA-HMM (Principal Component Analysis - Hidden Markov Model) toe op de schone trainingsdata. Dit model leerde de trajectdynamiek van schone schadelijke versus benigne prompts en werd toegepast op jailbreak-trajecten zonder opnieuw te worden afgestemd op jailbreak-data.

Belangrijkste Resultaten

Probe-falen bij jailbreaks: De probes op de laatste token behielden een hoge recall (~95%) op schone schadelijke prompts, maar daalden aanzienlijk bij jailbreaks (variërend van ~63% tot ~87%, afhankelijk van het model). Omgekeerd produceerden ze niet-triviale vals-positieven (23%–36%) op benigne, veiligheidsgerelateerde prompts.
Capaciteit is niet de bottleneck: Het vergroten van de probe-bottleneck-breedte van 64 naar 1024 verbeterde de jailbreak-detectie niet betrouwbaar. Voor OLMo3 verslechterde de prestatie zelfs. Dit suggereert dat het falen geometrisch is (waar het signaal ligt) in plaats van een gebrek aan representatieve capaciteit.
Geometrische misalignering: De richting die gemiste jailbreaks scheidt van benigne prompts ( $d_{miss}$ ), had de laagste probe-zichtbare energie (ongeveer 2,4%–3,5%) in vergelijking met het contrast van de schone training ( $d_{harm}$ ). De rij-ruimte van de probe is effectief orthogonaal met de specifieke kenmerken die gemiste jailbreaks onderscheiden van benigne invoer.
Positief falen: Onveilig bewijs bij gemiste jailbreaks is vaak zichtbaar op intermediaire token-posities (specifiek in de buurt van het ingebedde schadelijke verzoek), maar verdwijnt of "instort" tegen de laatste token.
Falen van naïeve pooling: Het simpelweg nemen van de maximale score over alle token-posities is geen levensvatbare oplossing, aangezien dit 100% van de benigne XSTest-prompts activeert (vals-positieven), wat aangeeft dat hoge intermediaire scores op zichzelf semantisch niet betrouwbaar zijn.
Trajectherstel: De PCA-HMM-diagnose, uitsluitend getraind op schone data, slaagde erin een groot deel van de gemiste detecties op de laatste token te herstellen (97%–98% herstelpercentage) terwijl het een significant lager vals-positief percentage behield op XSTest (6%–15%) in vergelijking met naïeve pooling. De richting van gemiste jailbreaks toonde aanzienlijk meer energie in de traject-PCA-deelruimte dan in de rij-ruimte van de probe op de laatste token.

Betekenis en Claims
Het artikel positioneert zichzelf als een diagnostische studie in plaats van een ingebouwde verdedigingsmechanisme. De primaire bijdrage is het identificeren waarom probes op de laatste token falen: ze vertrouwen op een "shortcut-achtige" uitlezing die gevoelig is voor de schone trainingsdistributie, maar blind is voor de specifieke geometrische verschuivingen die door jailbreak-omhulsels worden veroorzaakt.

De auteurs claimen dat:

Probes op de laatste token ontoereikend zijn voor het detecteren van verpakte schadelijke verzoeken, omdat de door het omhulsel veroorzaakte verschuiving de representatie uit de gevoelige deelruimte van de probe verwijdert.
Veiligheidsrelevante informatie vaak bestaat in het traject van de verborgen toestand voor de laatste token, maar verloren gaat tegen het moment dat de laatste uitlezing plaatsvindt.
Eenvoudige trajectbewuste modellen (zoals de PCA-HMM), uitsluitend getraind op schone data, kunnen dienen als effectieve diagnostische complementen voor probes op de laatste token. Ze kunnen gemiste detecties herstellen door de evolutie van veiligheidssignalen over de prompt te analyseren, wat een robuustere kijk biedt op de interne staat van de prompt zonder de catastrofale vals-positiefpercentages van naïeve token-pooling.

Het werk motiveert een verschuiving in veiligheidsdiagnostiek van uitlezingen op één punt naar trajectbewuste analyses om de beperkingen van huidige probe-gebaseerde veiligheidssystemen beter te begrijpen en te mitigeren.