💬 NLP

MANATEE: Inference-Time Lightweight Diffusion Based Safety Defense for LLMs

Het artikel introduceert MANATEE, een lichtgewicht verdedigingsmethode voor taalmodellen die tijdens de inferentie schadelijke jailbreak-aanvallen afweert door verdachte representaties via een diffusiemodel terug te projecteren naar veilige gebieden, zonder dat er schadelijke trainingsdata of modelarchitectuurwijzigingen nodig zijn.

Oorspronkelijke auteurs: Chun Yan Ryan Kan, Tommy Tran, Vedant Yadav, Ava Cai, Kevin Zhu, Ruizhe Li, Maheep Chaudhary

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chun Yan Ryan Kan, Tommy Tran, Vedant Yadav, Ava Cai, Kevin Zhu, Ruizhe Li, Maheep Chaudhary

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wat is MANATEE?

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot) een groot, slim brein heeft. Dit brein is getraind om nuttige antwoorden te geven, maar hackers hebben soms manieren gevonden om dit brein te "hersenpoeren" of te manipuleren. Ze gebruiken slimme trucs (zoals vreemde zinnen of code) om de AI te dwingen iets gevaarlijks te doen, zoals het schrijven van een nep-recept voor medicijnen of het bedenken van hoe je iemand lastig kunt vallen.

De huidige methoden om dit te voorkomen zijn vaak als een stevige muur met een poortwachter. Als de hacker een sleutel vindt die niet op de muur past, maar wel op de poort, komt hij er toch in. Of de muur moet elke keer opnieuw worden gebouwd (wat heel duur en traag is) als er een nieuwe soort sleutel wordt uitgevonden.

MANATEE is een nieuwe, slimmere oplossing. Het is geen muur, maar een veiligheidsnet dat werkt terwijl de AI aan het denken is.

Hoe werkt het? (De Analogieën)

1. Het Brein van de AI als een "Stad"

Stel je de gedachten van de AI voor als een enorme stad.

De veilige wijk: Dit is waar de AI normaal gesproken woont. Hier zijn de straten netjes, de huizen zijn veilig en iedereen doet wat goed is. Dit noemen we de "benigne manifold" (de veilige representatie).
De gevaarlijke buitenwijken: Als de AI wordt aangevakt door een hacker, probeert het brein de AI naar een gevaarlijke, donkere buitenwijk te slepen. Hier zijn de straten onveilig en zitten de antwoorden vol met leugens of gevaarlijke instructies.

2. De "Geurtest" (Detectie)

Normaal gesproken kijkt een beveiligingssysteem alleen naar wat de AI zegt (de uitkomst). MANATEE kijkt echter naar wat de AI denkt voordat het antwoordt.

De analogie: Stel je voor dat de AI een kok is die een gerecht bereidt. Een normale beveiliging kijkt pas naar het bord als het klaar is. MANATEE kijkt echter naar de geur in de keuken terwijl de kok nog aan het snijden is.
Als de kok (de AI) begint met ingrediënten die ruiken naar "gevaar" (bijvoorbeeld: "hoe maak ik een neprecept?"), ruikt MANATEE dit direct. Het ziet dat de gedachte van de kok afwijkt van de veilige keukengeur.

3. De "Tijdmachine" (Diffusie)

Dit is het coolste deel. MANATEE gebruikt een techniek die lijkt op het terugdraaien van een film of het ontspikkelen van een schilderij.

Het probleem: De AI is in de gevaarlijke buitenwijk beland.
De oplossing: In plaats van de AI te verbieden om te praten (wat soms nuttige antwoorden ook blokkeert), pakt MANATEE de gedachte van de AI en "spoelt" deze terug naar de veilige wijk.
Hoe? Het voegt een beetje "ruis" (verwarring) toe aan de gedachte en gebruikt een slim algoritme (een diffusiemodel) om die gedachte stap voor stap weer schoon te maken. Het is alsof je een vies schilderij hebt, en je gebruikt een magische doek om het vuil weg te halen totdat je weer een mooi, veilig plaatje ziet.
Het resultaat: De AI denkt nu weer aan iets veiligs en geeft een veilig antwoord, zonder dat de hacker het merkt.

Waarom is dit zo speciaal?

Geen nieuwe training nodig: Je hoeft de AI niet opnieuw te leren (wat maanden kan duren en veel geld kost). Je plakt MANATEE er gewoon als een "plug-in" op. Het is alsof je een veiligheidsriem toevoegt aan een auto zonder de motor te vervangen.
Het werkt op elk model: Of het nu een Mistral, Llama of Gemma is, MANATEE werkt voor allemaal. Het is een universele veiligheidsriem.
Het is slim: Als de AI echt iets heel gevaarlijks probeert te doen, zegt MANATEE: "Nee, dit is te ver weg van de veilige wijk" en blokkeert het antwoord volledig. Maar als het antwoord nog net binnen de veilige grenzen valt, helpt het de AI om het antwoord net iets veiliger te maken, zodat het nuttig blijft voor de gebruiker.

Samenvatting in één zin

MANATEE is een slimme, lichte veiligheidsagent die meekijkt met het brein van een AI; als de AI begint na te denken over iets gevaarlijks, duwt hij die gedachte zachtjes terug naar de veilige kant, zodat de AI nooit iets schadelijks hoeft te zeggen.

De uitkomst: In tests bleek dat MANATEE bijna alle aanvalpogingen (tot wel 100% in sommige gevallen) onschadelijk maakte, terwijl de AI nog steeds gewoon nuttige vragen kon beantwoorden. Het is een veilige, snelle en goedkope manier om AI's te beschermen.

Probleemstelling

De beveiliging van Large Language Models (LLMs) tegen adversariële "jailbreak"-aanvallen blijft een grote uitdaging. Bestaande verdedigingsmechanismen hebben aanzienlijke beperkingen:

Binair classificatie: Bestaande methoden gebruiken vaak binaire classifiers die falen wanneer adversariële invoer buiten de geleerde beslissingsgrens valt.
Herhaald fine-tunen: Het opnieuw trainen van modellen is computatief zwaar, kostbaar en kan leiden tot een verslechtering van de modelcapaciteiten of zelfs de veiligheid (zoals vastgesteld in eerdere studies).
Kwetsbaarheid: State-of-the-art verdedigingen blijven kwetsbaar voor geavanceerde aanvallen zoals GCG (Gradient-based attacks) en priming-attacks.

De auteurs stellen dat de huidige aanpak ("is deze representatie schadelijk?") te beperkend is. In plaats daarvan stellen ze de vraag: "Hoe kan deze representatie worden geprojecteerd op het manifold van veilige representaties?"

Methodologie: MANATEE

MANATEE is een verdedigingstechniek die tijdens de inferentie (inference-time) werkt en gebruikmaakt van dichtheidsschatting (density estimation) over een "benigne" (veilig) representatiemanifold. Het systeem vereist geen schadelijke trainingsdata en geen architecturale wijzigingen aan het basismodel.

Het proces verloopt in drie fasen:

Extractie en Training van het Manifold:
- Er worden verborgen staten (hidden states) uit de laatste laag van het LLM geëxtraheerd uit veilige, niet-schadelijke generaties.
- Deze staten worden gestandaardiseerd (gemiddelde 0, variantie 1).
- Een Denoising Diffusion Probabilistic Model (DDPM) wordt getraind op deze gestandaardiseerde vectoren. Het model leert de scorefunctie (score function) van de verdeling van veilige representaties. Het doel is om de dichtheid van het "benigne manifold" te modelleren.
Detectie van Anomalieën (Inference):
- Tijdens de inferentie wordt de verborgen toestand ( $h$ ) van het model geanalyseerd.
- Een anomalie-score ( $s(h)$ ) wordt berekend door de grootte van de voorspelde ruis van de denoiser op een vast tijdstip te meten.
- Als de toestand dicht bij het benigne manifold ligt, is de score laag. Als de toestand afwijkt (bijv. door een jailbreak-prompt), is de score hoog.
Sturing en Correctie (Steering):
- Automatisch Weigeren: Als de anomalie-score een bepaalde drempelwaarde ( $\tau$ ) overschrijdt, weigert het systeem de respons direct.
- Diffusie-sturing: Als de score onder de drempel ligt maar toch afwijkt, wordt een DDPM-gebaseerde zuiveringsstap toegepast. Het systeem injecteert ruis in de verborgen toestand en voert vervolgens een iteratief denoising-proces uit. Dit projecteert de afwijkende representatie terug naar de hoge-dichtheidsregio's van het veilige manifold.
- De "gezuiverde" verborgen toestand wordt vervolgens ongestandaardiseerd en naar de taalkop (LM head) gestuurd om een veilige, conditioneel gestuurde respons te genereren.

Belangrijkste Bijdragen

Nieuwe Paradigma: Verschuiving van classificatie ("is dit kwaadaardig?") naar projectie ("hoe maken we dit veilig?") via diffusiemodellen.
Lightweight & Plug-and-Play: MANATEE vereist geen wijzigingen aan de basisarchitectuur van het LLM en werkt als een externe laag die alleen op de laatste laag van verborgen staten werkt.
Geen Schadelijke Data: Het systeem wordt uitsluitend getraind op veilige data, wat de noodzaak elimineert om schadelijke voorbeelden te verzamelen of te labelen.
Generalisatie: De methode werkt over verschillende model-families heen (Mistral, Llama, Gemma) zonder opnieuw getraind te hoeven worden voor elk specifiek model.

Resultaten

De auteurs hebben MANATEE getest op drie populaire modellen: Mistral-7B-Instruct, Llama-3.1-8B-Instruct en Gemma-2-9B-it. De evaluatie vond plaats op datasets zoals JailbreakBench (JBB), Mechanistic Anomaly Detection (MAD) en Anthropic Sleeper Agent (ASA).

Aanvalssuccesratio (ASR) Reductie: MANATEE reduceerde de ASR aanzienlijk:
- Gemiddeld 78% reductie over alle datasets.
- Specifiek op de JailbreakBench-dataset werd een reductie van 98% (Mistral), 46% (Gemma) en 89% (Llama) bereikt.
- Op de Sleeper Agent dataset werd een 100% reductie bereikt voor alle geteste modellen.
Behoud van Nut (Utility): Cruciaal is dat de methode de prestaties op veilige, niet-aanvallen invoer behoudt. Omdat de diffusie alleen wordt geactiveerd bij anomalieën, blijven veilige antwoorden grotendeels ongewijzigd.
Kwalitatieve Resultaten: In voorbeelden waarbij een "backdoord" model schadelijke instructies gaf (bijv. hoe men drugs kan smokkelen of een vals recept kan vervalsen), slaagde MANATEE erin om deze te blokkeren met een standaard weigering ("Ik kan je hier niet mee helpen"), terwijl het model normaal bleef functioneren op veilige vragen.

Betekenis en Conclusie

MANATEE demonstreert dat veiligheid en modelcapaciteit niet per se in conflict hoeven te zijn. Door gebruik te maken van de geometrie van representatieruimtes en diffusiemodellen, biedt het een robuuste, lichtgewicht verdediging die adaptief is tegenover nieuwe soorten aanvallen zonder dat het model zelf opnieuw getraind hoeft te worden.

De studie suggereert dat manifold-gebaseerde diffusie een veelbelovende richting is voor "plug-and-play" veiligheidsmechanismen voor LLMs. Toekomstig werk richt zich op het uitbreiden van deze methoden naar modellen met continu latent redeneren (zoals Continuous Chain of Thought) en het testen tegen een bredere variëteit aan jailbreak-aanvallen.