💬 NLP

Segment-Level Coherence for Robust Harmful Intent Probing in LLMs

Deze paper introduceert een segment-level coherentie-methode voor het proppen van LLM's die, door te vertrouwen op geaggregeerde signalen in plaats van geïsoleerde tokens, de detectie van schadelijke intenties in CBRN-domeinen aanzienlijk verbetert en robuust blijft tegen adaptieve jailbreaks en verduisteringsaanvallen.

Oorspronkelijke auteurs: Xuanli He, Bilgehan Sel, Faizan Ali, Jenny Bao, Hoagy Cunningham, Jerry Wei

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xuanli He, Bilgehan Sel, Faizan Ali, Jenny Bao, Hoagy Cunningham, Jerry Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat nerveuze veiligheidsagent hebt die elke zin leest die een computer gegenereerd wordt. Zijn taak is om te voorkomen dat deze computer gevaarlijke instructies geeft, zoals hoe je een virus of een chemisch wapen maakt.

Het probleem is dat deze agent vaak te bang is. Als hij woorden ziet als "Ebola", "gif" of "explosief", schreeuwt hij direct: "GEVAAR!" en blokkeert hij de conversatie. Het probleem? Soms praten wetenschappers of schrijvers gewoon over deze woorden in een veilige context (bijvoorbeeld voor een roman of een medisch onderzoek). De agent maakt dan een fout: hij blokkeert iets onschadelijks. Dit noemen ze "valse alarmen".

Dit artikel introduceert een nieuwe, slimmere agent genaamd SC-TopK. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Woord-jager"

De oude veiligheidsagent (de "baseline") werkt als een hond die alleen reageert op een specifieke fluittoon. Zodra hij dat ene woord hoort, springt hij op en blaft. Hij kijkt niet naar de rest van de zin.

Voorbeeld: Als iemand zegt: "Ik schrijf een verhaal over een fictief virus genaamd Ebola-X," hoort de oude agent alleen "Ebola" en denkt hij: "Aanval!" terwijl de rest van de zin duidelijk maakt dat het om een verhaal gaat.

2. De nieuwe oplossing: De "Context-Checker"

De nieuwe agent, SC-TopK, werkt niet op basis van één woord. Hij kijkt naar het geheel. Hij gebruikt twee slimme trucs:

Truc A: De "Teamcheck" (Top-K Aggregatie)

Stel je voor dat je een verdachte situatie moet beoordelen. De oude agent kijkt naar één getuige die zegt: "Ik heb iets verdachts gezien!" en gelooft hem direct.
De nieuwe agent zegt: "Wacht even. Ik heb meerdere getuigen nodig die allemaal iets verdachts zien voordat ik alarm sla."

In de computerwereld betekent dit: de agent kijkt niet naar één piek in de tekst, maar vraagt om meerdere stukjes bewijs die samen een gevaarlijk verhaal vormen. Als er maar één gevaarlijk woord is, maar de rest van de zin heel veilig is, slaat hij geen alarm.

Truc B: De "Rustige Vloer" (Segment Variance Regularization)

Soms is de tekst vol met gevaarlijke woorden, maar zijn ze allemaal verspreid en niet samenhangend. De oude agent ziet deze losse woorden en denkt: "Oh, gevaar!"
De nieuwe agent kijkt naar de rust en samenhang. Hij zegt: "Als dit echt gevaarlijk is, dan zou de spanning in de tekst gelijkmatig en logisch moeten zijn, niet als een stroom van losse, piekende waarschuwingen."

Hij straft de agent die te veel piekt op losse woorden. Hij wil een vlotte, samenhangende waarschuwing zien, niet een stroom van pieken. Dit helpt om te onderscheiden tussen een echte aanval (waar de hele zin gevaarlijk is) en een onschuldig gesprek vol met vakjargon.

3. Waarom is dit zo goed?

Minder fouten: De nieuwe agent maakt veel minder fouten bij onschuldige gesprekken van experts (zoals biologen of scheikundigen). Hij laat hen hun werk doen zonder ze te blokkeren.
Beter in het echt: In tests bleek dat de nieuwe agent veel beter was dan de oude. Hij pakte 35% meer echte gevaarlijke situaties op, terwijl hij bijna geen onschuldige gesprekken meer blokkeerde.
Ongevoelig voor vermomming: Zelfs als hackers proberen de tekst te veranderen (bijvoorbeeld door letters te vervangen door cijfers of codes), werkt de nieuwe agent nog steeds. Hij kijkt naar de bedoeling achter de tekst, niet alleen naar de oppervlakte.

4. Waar kijkt hij precies?

Interessant genoeg bleek dat de agent niet naar het "hoofd" van de computer (de standaard geheugenlaag) moet kijken om gevaar te detecteren. Hij werkt veel beter als hij kijkt naar de "spieren" (MLP) of de "oogcontact" (Attention) van het model. Het is alsof je een leugendetector niet op het gezicht van de spreker zet, maar op de subtiele trillingen in hun stem.

Conclusie

Kortom: De oude veiligheidsagent was als een hond die blafte bij elke postbode die een envelop met een rode rand had. De nieuwe agent is als een slimme detective die de hele brief leest, kijkt naar de context en pas ingrijpt als er echt een gevaarlijk plan wordt uitgestippeld. Hierdoor is het internet veiliger, maar niet zo vervelend dat het normale mensen in de weg zit.

Probleemstelling

Grote Taalmodellen (LLMs) staan onder toenemende druk door adaptieve "jailbreaking"-technieken, vooral in hoog-risicodomeinen zoals Chemisch, Biologisch, Radiologisch en Nucleair (CBRN). Hoewel bestaande methoden voor real-time monitoring (streaming probes) beloftevol zijn, vertonen ze systematische fouten.

De kern van het probleem is dat huidige methoden vaak vertrouwen op een paar tokens met hoge scores. In CBRN-domeinen komen deze gevoelige termen (bijv. namen van virussen of chemicaliën) vaak voor in onschadelijke, professionele discussies. Bestaande aggregatiemethoden (zoals softmax of hardmax) neigen ernaar om te focussen op deze geïsoleerde "spikes" van activatie, wat leidt tot een hoog aantal false positives (ten onrechte als schadelijk gemarkeerde onschadelijke prompts). De huidige systemen missen de nuance tussen een schadelijke intentie en een onschadelijk gebruik van dezelfde terminologie.

Methodologie: Segment-Level Coherence

De auteurs introduceren een nieuwe streaming-probing-objecitief genaamd SC-TopK (Segment-Coherent Top-K). In plaats van te vertrouwen op geïsoleerde tokens, vereist deze methode dat meerdere bewijsstukken (tokens/segmenten) consistent een voorspelling ondersteunen. De aanpak bestaat uit twee hoofdbestanddelen:

Top-K Ondersteunende Window Aggregatie:
- In plaats van alle token-scores te middelen of te maximaliseren, selecteert de methode de $K$ vensters (windows) met de hoogste geaggregeerde logits.
- De uiteindelijke voorspelling is het gemiddelde van deze $K$ vensters.
- Dit dwingt het model om te vertrouwen op meerdere, onderling ondersteunende bewijsstukken in plaats van één enkel opvallend woord. Een voorspelling van "schadelijk" vereist dus dat meerdere delen van de tekst samen een coherent patroon van kwaadaardige intentie tonen.
Segment Variance Regularization (SegVar):
- Zelfs met Top-K kan het gebeuren dat de hoogst scorende vensters ver uit elkaar liggen (gefragmenteerd bewijs), wat instabiel is in streaming-scenario's.
- SegVar straft de variantie in de logit-magnitudes binnen de geselecteerde bewijsvensters.
- Cruciaal detail: Deze regularisatie wordt alleen toegepast op onschadelijke (benign) voorbeelden. Bij schadelijke voorbeelden kan het bewijs legitiem verspreid zijn over verschillende delen van het gesprek. Door de variantie op onschadelijke voorbeelden te minimaliseren, wordt het model gestimuleerd om geïsoleerde, neppe "spikes" (veroorzaakt door sleutelwoorden) te onderdrukken en te zoeken naar gladde, coherente patronen.

Inferentie: Tijdens het gebruik wordt Exponential Moving Average (EMA) smoothing toegepast om het signaal verder te stabiliseren.

Belangrijkste Bijdragen

Nieuwe Aggregatie-Inductie Bias: De paper introduceert een inductieve bias die verspreide, intentie-gebaseerde representaties bevordert boven verspreide, sleutelwoord-gedreven activering.
Optimalisatie van Interne Representaties: De auteurs tonen aan dat het proppen van Attention- of MLP-activaties consequent beter presteert dan het veelgebruikte residual stream, wat een belangrijke inzicht is voor toekomstig probe-design.
Robuustheid tegen Obfuscatie: De methode is getest tegen karakter-niveau cijfers (zoals ASCII-conversie, Fibonacci-permutatie, Polybius-vierkanten). Zelfs als het model is fijn-gefine-tuned om deze cijfers te decoderen (zonder dat de probe zelf opnieuw getraind wordt), blijft de probe effectief ("plug-and-play").

Resultaten

De methode is geëvalueerd op meerdere modellen (Llama-3.1, Qwen3, Gemma2) en domeinen (Biologisch, Chemisch, en generieke high-stakes).

Prestatieverbetering: Bij een vaste False Positive Rate (FPR) van 1%, verbetert SC-TopK de True Positive Rate (TPR) met 35,55% ten opzichte van sterke streaming-baselines (zoals SWiM).
AUROC: Er zijn aanzienlijke winsten geboekt in de logspace-AUROC (een metriek die zwaarder weegt voor lage FPR-waarden), met een toename van 16,80%. Zelfs bij baselines die al zeer hoog presteerden (AUROC = 97,40%), werd de resterende foutmarge met 31,2% verkleind.
Efficiëntie: De probe is extreem lichtgewicht (slechts één lineaire laag, ~262K parameters) en vereist geen hertraining van het basismodel, in tegenstelling tot LoRA-finetuning van classifiers die ~90M extra parameters introduceren.
Cijfer-resistentie: Op versleutelde inputs bereikte de probe een AUROC van >98,85% zonder hertraining van de probe zelf, mits het basismodel de cijfer had geleerd.

Significantie

Deze paper biedt een oplossing voor een kritiek probleem in de veiligheid van LLM's: het vermijden van "shortcut learning" waarbij modellen reageren op oppervlakkige sleutelwoorden in plaats van de onderliggende intentie.

Door te eisen dat segment-level coherentie bestaat (meerdere bewijsstukken die samenhangend zijn), maakt SC-TopK streaming-veiligheidsmonitoring veel robuuster voor real-world implementaties, vooral in gespecialiseerde domeinen waar vakjargon vaak voorkomt. De bevinding dat interne Attention/MLP-activaties beter zijn dan residual streams, en dat de methode bestand is tegen obfuscatie, maakt het een praktische en schaalbare oplossing voor het detecteren van schadelijke intenties in real-time, zelfs tegen geavanceerde tegenmaatregelen.