🔢 mathematics

Enforcing LLM Safety through DMD-based Classification of Prompt-Response Embedding Dynamics

Dit artikel stelt een black-box veiligheidsklassificatiekader voor voor Large Language Models dat gebruikmaakt van op Koopman gebaseerde dynamische systemen om de dynamiek van prompt-respons embeddings te analyseren, waarbij wordt aangetoond dat het opnemen van promptinformatie de detectie van interactie-afhankelijke schadelijke outputs aanzienlijk verbetert.

Oorspronkelijke auteurs: Mohamed Akrout, Olivera Kotevska, Dan Wilson

Gepubliceerd 2026-08-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Akrout, Olivera Kotevska, Dan Wilson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om verhalen te schrijven, problemen op te lossen en gesprekken te voeren die opmerkelijk menselijk aanvoelen. Toch ligt er onder hun vloeiende oppervlak een hardnekkige kwetsbaarheid: deze systemen kunnen soms schadelijke, misleidende of gevaarlijke inhoud genereren, zelfs wanneer ze getraind zijn om behulpzaam te zijn. Dit risico is niet slechts een theoretische fout; het is een praktische barrière voor het gebruik van deze hulpmiddelen in situaties met hoge inzet, zoals de gezondheidszorg, juridisch advies of klantenservice. Jarenlang was de standaardmanier om deze fouten te ontdekken door in de code van het model te kijken of door het model te vragen om veel verschillende antwoorden te genereren en deze te vergelijken. Maar in de echte wereld zijn veel krachtige modellen echter "black boxes", waarbij de interne werking verborgen is en het vragen om meerdere antwoorden te traag of te duur is. Dit laat een kritieke kloof achter: hoe herkennen we gevaarlijke outputs snel en betrouwbaar zonder de interne werking van het model te hoeven zien of te wachten tot het twee keer nadenkt?

Een team onderzoekers aan de University of Tennessee en Oak Ridge National Laboratory heeft een andere manier voorgesteld om naar het probleem te kijken. In plaats van een taalmodel te behandelen als een statische database van feiten of een eenvoudige tekstgenerator, behandelden zij het als een dynamisch systeem, vergelijkbaar met hoe een natuurkundige de stroming van water of de beweging van planeten zou bestuderen. In dit visie is elk woord dat een model genereert niet alleen een op zichzelf staand stuk tekst, maar een stap in een continue, evoluerende trajectorie. De onderzoekers hypothetiseerden dat veilige gesprekken en onveilige gesprekken verschillende patronen volgen terwijl ze zich ontvouwen, vergelijkbaar met hoe een gezonde hartslag een ander ritme volgt dan een onregelmatige hartslag. Door de reis van woorden in kaart te brengen in een hoogdimensionale ruimte en de vorm van die reis te analyseren, ontwikkelden zij een methode om veilige en onveilige interacties te onderscheiden zonder ooit het model open te hoeven breken.

De kern van hun aanpak houdt in dat zij observeren hoe een model van het ene woord naar het volgende beweegt. Wanneer een gebruiker een vraag stelt, spuugt het model niet simpelweg een antwoord uit; het bouwt dat antwoord één token, of woorddeel, tegelijk op. De onderzoekers namen deze reeksen woorden en zetten deze om in wiskundige punten in een enorme, meerdimensionale ruimte. Vervolgens gebruikten zij een techniek genaamd dynamic mode decomposition om een predictief model op deze punten te fitten. Denk hierbij aan het trekken van een lijn door een reeks punten om te zien waar de volgende stip waarschijnlijk zal vallen. Zij bouwden twee aparte sets van deze predictieve modellen: één getraind op voorbeelden van veilige gesprekken en een andere getraind op voorbeelden van onveilige gesprekken. Wanneer er een nieuw gesprek plaatsvindt, doorloopt het systeem de sequentie van woorden door beide sets modellen. Als de sequentie het pad volgt dat door het veilige model wordt voorspeld, is het waarschijnlijk veilig. Als het sequentie scherp afwijkt van het veilige pad en meer overeenkomt met het onveilige pad, markeert het systeem dit als gevaarlijk.

Wat deze studie bijzonder significant maakt, is dat zij niet naar het antwoord in isolatie kijkt. De onderzoekers realiseerden zich dat de veiligheid van een reactie vaak volledig afhangt van de vraag die eraan voorafging. Een zin als "Ik zal u een terugbetaling geven" kan volkomen veilig zijn in een context van klantenservice, maar kan een gevaarlijke hallucinatie zijn als de gebruiker vraagt naar een pakketje dat nooit is verzonden. Om deze nuance te vangen, ontwierp het team hun systeem zo dat het de dynamiek van zowel de prompt van de gebruiker als de reactie van het model samen bijhoudt. Zij ontdekten dat door de interactie tussen de twee te observeren, in plaats van alleen de uiteindelijke output, het systeem subtiele vormen van gevaar kon vangen die andere methoden missen. Dit geldt met name voor modellen die tekst genereren in een specifieke, causale volgorde, waarbij de relatie tussen de vraag en het antwoord nauw met elkaar verweven is.

Het team testte hun methode op drie verschillende collecties data, variërend van algemene veiligheidsbenchmarks tot specifieke datasets die ontworpen zijn om schadelijk advies en giftige taal te vangen. Zij gebruikten drie verschillende soorten embedding-modellen — hulpmiddelen die woorden vertalen naar die wiskundige punten — om te zien welke het beste werkte. De resultaten toonden aan dat hun methode zeer effectief was, vooral wanneer zij de prompt samen met de reactie beschouwde. In één grote test met meer dan 12.000 voorbeelden behaalde het systeem een AUC van meer dan 0, 8, waarbij onveilige inhoud correct werd geïdentificeerd zonder dat daarvoor speciale training op die specifieke data nodig was. Dit is een sterke prestatie voor een "black-box"-methode die geen toegang vereist tot de interne code van het model.

De studie onthulde ook een fascinerend detail over hoe verschillende soorten AI-modellen zich gedragen. De onderzoekers vonden dat het beste hulpmiddel voor de taak afhing van de aard van het gevaar. Voor interacties waarbij het risico voortkomt uit de specifieke relatie tussen een vraag en een antwoord, presteerde een model met een causale architectuur — één die in een strikte voorwaartse sequentie leest en schrijft — het best. Echter, voor gevaren die duidelijk zichtbaar waren in de inhoud van het antwoord zelf, ongeacht de vraag, werkte een ander type model dat zich richtte op dichte semantische betekenis beter. Dit suggereft dat er niet één enkele "beste" manier is om AI-veiligheid te monitoren; het juiste instrument hangt af van het specifieke soort risico dat beheerd wordt.

Misschien wel de meest verrassende bevinding was dat het systeem soms gevaar kon detecteren door enkel naar de prompt van de gebruiker te kijken, nog voordat het model een enkel woord van de reactie genereerde. In tests met een dataset van door mensen geschreven prompts kon het systeem tussen veilige en onveilige vragen onderscheiden op basis van enkel de trajectorie van de woorden in de vraag zelf. Dit impliceert dat de manier waarop mensen gevaarlijke verzoeken formuleren een duidelijke wiskundige signatuur achterlaat die vroegtijdig gedetecteerd kan worden. Hoewel het systeem niet perfect was en enigszins moeite had met zeer lange reeksen tekst, laten de resultaten zien dat het beschouwen van taalgeneratie als een dynamisch proces een krachtig nieuw perspectief biedt voor veiligheid.

Dit werk vertegenwoordigt een verschuiving in hoe we de governance van kunstmatige intelligentie zouden kunnen benaderen. In plaats van uitsluitend te vertrouwen op het trainen van modellen om beter te worden of het bouwen van complexe filters om slechte woorden te blokkeren, behandelt deze aanpak het generatieproces zelf als een signaal dat gemonitord moet worden. Door eenvoudige, lineaire modellen te fitten op de complexe, niet-lineaire dans van woordgeneratie, lieten de onderzoekers zien dat het mogelijk is om een vangnet te bouren dat zowel efficiënt als effectief is. De methode vereist niet de zware computationele kosten van het hertrainen van massieve modellen of de privacyrisico's van het blootleggen van interne data. Het observeert simpelweg de stroom van de conversatie en kijkt naar het moment waarop het pad afwijkt van de veiligheid. Naarmate deze hulpmiddelen meer geïntegreerd raken in het dagelijks leven, bieden dergelijke methoden een veelbelovende manier om ervoor te zorgen dat het gesprek behulpzaam, eerlijk en ongevaarlijk blijft.

Technische Samenvatting: Het afdwingen van LLM-veiligheid door middel van DMD-gebaseerde classificatie van Prompt-Respons Embedding Dynamiek

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in toepassingen met een hoog risico, maar ze blijven gevoelig voor het genereren van toxische, schadelijke of beleidsoverschrijdende inhoud, inclus\nief hallucinaties, haatzaaiende taal en instructies voor illegale activiteiten. Hoewel alignment-methoden tijdens de trainingsfase, zoals Reinforcement Learning from Human Feedback (RLHF), bestaan, zijn deze zeer arbeidsintensief en elimineren ze het risico op onveilige outputs niet volledig. Daarom is er een dringende behoefte aan efficiënte, schaalbare methoden voor monitoring na de implementatie.

Huidige detectiebenaderingen kampen met significante beperkingen:

White-box methoden vereisen toegang tot interne staten (verborgen staten, attention maps), wat vaak onmogelijk is bij commerciële API's.
Gray-box methoden vertrouwen op token-niveau waarschijnlijkheden of logit-entropie, die niet altijd beschikbaar zijn.
Black-box methoden vertrouwen doorgaans op het samplen van meerdere responsen om consistentie te controleren, of maken gebruik van externe kennisgrafen, wat computationeel duur kan zijn of externe retrieval vereist.
Interactie-blindheid: Veel bestaande black-box benaderingen analyseren alleen de tekst van de respons, waardoor ze niet in staat zijn om veiligheidschendingen te detecteren die specifiek voortkomen uit de interactie tussen een veilig lijkende prompt en een schadelijke respons (bijv. een model dat onterecht een terugbetaling verleent op basis van een gebruikersvraag).

Methodologie

Het paper stelt een black-box veiligheidsclassificatie-framework voor dat het token-voor-token generatieproces van de LLM behandelt als een discreet-tijds dynamisch systeem. De methode breidt een eerder voorgesteld framework voor hallucinatie-detectie uit naar veiligheidsclassificatie door zowel prompt- als responsdynamiek te integren.

1. Dynamische Systemen Framework

De kernveronderstelling is dat de evolutie van token-embeddings in een LLM gemodelleerd kan worden als een dynamisch systeem. De auteurs maken gebruik van Koopman operatortheorie om deze dynamiek te lineariseren.

Embedding: Zowel de prompt als de respons worden geprojecteerd in hoogdimensionale embedding-ruimtes met behulp van vooraf getrainde embedding-modellen (bijv. Qwen, Mistral, Llama-3).
Koopman Operator Schatting: Met behulp van Extended Dynamic Mode Decomposition (EDMD) passen de auteurs aparte lineaire predictieve modellen (Koopman-operatoren) toe voor "veilige" en "onveilige" regimes.
- Er worden vier operatoren geschat: $A^{(p)}_s, A^{(p)}_u$ voor veilige/onveilige prompts, en $A^{(r)}_s, A^{(r)}_u$ voor veilige/onveilige responsen.
- Deze operatoren worden geleerd van trainingsdata die bestaat uit sequenties van token-embeddings.

2. Differentieel Residuele Score

Om een nieuwe interactie te classificeren, berekent de methode een differentieel residuele score ( $\Delta E$ ) die de voorspellingsfouten van de veilige en onveilige modellen vergelijkt met de geobserveerde token-evolutie.

Voor een prompt met $P$ tokens en een respons met $L$ tokens wordt de voorspellingsfout $\epsilon$ voor elke token-stap $k$ berekend met de respectieve Koopman-operatoren.
De score $\Delta E$ wordt gedefinieerd als het verschil tussen de cumulatieve voorspellingsfouten van de onveilige modellen en de veilige modellen:
$\Delta E = \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{u,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{u,j})^2 \right)^{1/2} - \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{s,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{s,j})^2 \right)^{1/2}$
Classificatie Logica: Als de output onveilig is, zouden de onveilige modellen ( $A_u$ ) de trajectorie beter moeten voorspellen, wat resulteert in een lagere fout voor de onveilige term en een negatieve $\Delta E$ . Omgekeerd leveren veilige outputs een positieve $\Delta E$ op.
Een binaire beslissing wordt genomen door $\Delta E$ te vergelijken met een drempelwaarde $\eta$ .

Belangrijkste Bijdragen

Prompt-bewuste Veiligheidsclassificatie: De primaire bijdrage is de uitbreiding van DMD-gebaseerde classificatie door de inclusie van prompt-dynamiek. De auteurs tonen aan dat veiligheid vaak interactie-afhankelijk is; een respons die in isolatie veilig lijkt, kan onveilig zijn gegeven een specifieke prompt. Door aparte dynamische systemen voor prompts en responsen te fitten, legt de methode deze causale patronen vast.
Black-Box Efficiëntie: De methode werkt volledig op output tekst-embeddings en vereist geen toegang tot interne modelgewichten, token-waarschijnlijkheden of meerdere stochastische samples.
Empirische Analyse van Embedding Architecturen: De studie evalueert systematisch hoe verschillende embedding-modelarchitecturen (dense decoder-only versus causal decoder) interageren met verschillende typen veiligheidsschendingen.

Experimentele Resultaten

De methode werd geëvalueerd op drie veiligheidsbenchmarks met behulp van drie embedding-modellen van variërende schaal: Qwen3-Embed (0.6B), Mistral (7.2B), en Llama-3 (8.0B).

Aegis AI Content Safety Dataset (Interactie-afhankelijk):
- Deze dataset bevat schendingen die voortkomen uit de wisselwerking tussen gebruikersintentie en modelnaleving.
- Resultaat: Het opnemen van prompt-embeddings verbeterde de prestaties aanzienlijk. Llama-3 bleek het dominante model (F1 = 77.0% bij $L \ge 150$ ), waarbij het Qwen-Embed en Mistral overtrof.
- Inzicht: De causal decoder-architectuur van Llama-3 legt effectief de temporele dynamiek van de prompt-respons interactie vast, waardoor de tracking-fout voor veilige samples wordt verminderd en wordt verhoogd voor onveilige samples wanneer de prompt-context wordt meegenomen.
Synthetische CoT Safety Dataset:
- Deze dataset betreft gestructureerde redenering en weigeringspatronen.
- Resultaat: Alle modellen behaalden een hoge nauwkeurigheid (>88%), hoewel F1-scores lager waren door klasse-imbalans. Het toevoegen van prompt-embeddings zorgde voor een bescheiden maar consistente verbetering over alle modellen heen.
BeaverTails Dataset (Respons-alleen Schendingen):
- Deze dataset bevat door mensen geschreven prompts en responsen waarbij schendingen vaak intrinsiek zijn aan de inhoud van de respons (bijv. haatzaaiende taal, geweld), ongeacht de prompt.
- Resultaat: Qwen-Embed (een dense semantische encoder) presteerde het beste van de anderen, met een F1 van 86.7% bij $L \ge 150$ wanneer prompt-embeddings werden opgenomen.
- Inzicht: Voor schendingen die direct gecodeerd zijn in de respons-tokens, blinken dense semantische representaties uit. Interessant genoeg behaalde prompt-alleen classificatie op deze dataset ook een hoge F1-score (83.4%), wat suggereert dat menselijk geschreven onveilige prompts een duidelijke dynamische signatuur hebben, hoewel de respons-dynamiek het primaire signaal blijft.

Vergelijking met Baselines: Op de Aegis-dataset bereikte de voorgestelde black-box methode een F1 van 77.0%, vergeleken met 86.8% voor een gefinetuned white-box model (AegisGuard). De auteurs merken op dat dit een aanzienlijke prestatie is voor een methode die geen taakspecifieke training vereist.

Betekenis en Claims

Het paper beweert het paradigma van "Dynamische Systemen voor AI" vooruit te helpen, in plaats van de meer gebruikelijke "AI voor Dynamische Systemen". Door de generatie van de LLM als een dynamisch systeem te behandelen, demonstreren de auteurs dat Koopman-gebaseerde voorspelling effectief veilig versus onveilig kan onderscheiden.

De studie benadrukt een genuanceerde relatie tussen de architectuur van het embedding-model en de aard van de veiligheidsschendingen:

Causal Decoders (bijv. Llama-3) zijn superieur voor interactie-afhankelijke schendingen waar de relatie tussen prompt en respons cruciaal is.
Dense Semantische Encoders (bijv. Qwen-Embed) zijn superieur voor inhoud-geïsoleerde schendingen waarbij de onveilige aard inherent is aan de respons-tokens.

De auteurs concluderen dat deze benadering de deur opent voor het gebruik van dynamische systemen-theorie om AI-systemen te analyseren en te controleren, en biedt een schaalbaar, black-box alternatief voor de arbeidsintensieve alignment tijdens de training of complexe multi-sample inferentiestrategieën. Toekomstig werk omvat het uitbreiden van de methode naar multi-class schade-categorisatie en het verkennen van ensemble-strategieën van verschillende embedding-modellen.