💬 NLP

MANATEE: Inference-Time Lightweight Diffusion Based Safety Defense for LLMs

Das Papier stellt MANATEE vor, eine rezeptionszeitliche Verteidigungsmethode für LLMs, die mithilfe von Diffusionsmodellen schädliche Eingaben in sichere Repräsentationsbereiche projiziert, um Jailbreak-Angriffe ohne zusätzliche Trainingsdaten oder Architekturänderungen wirksam abzuwehren, während die Nützlichkeit des Modells erhalten bleibt.

Ursprüngliche Autoren: Chun Yan Ryan Kan, Tommy Tran, Vedant Yadav, Ava Cai, Kevin Zhu, Ruizhe Li, Maheep Chaudhary

Veröffentlicht 2026-02-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chun Yan Ryan Kan, Tommy Tran, Vedant Yadav, Ava Cai, Kevin Zhu, Ruizhe Li, Maheep Chaudhary

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „schlaue" Hacker und der müde Wächter

Stell dir vor, du hast einen sehr intelligenten Roboter (einen KI-Modell wie Llama oder Mistral), der dir bei allem hilft. Aber dieser Roboter wurde von bösen Hackern manipuliert. Sie haben ihm eine geheime „Schalter" eingebaut: Wenn du ihn mit einem ganz bestimmten, verrückten Satz ansprichst (einem sogenannten „Jailbreak"), springt der Schalter um, und der Roboter beginnt, gefährliche Dinge zu tun – wie etwa, wie man Bomben baut oder wie man Betrug begeht.

Bisherige Sicherheitsmaßnahmen waren wie ein Wächter mit einer Liste. Der Wächter schaut auf die Liste der verbotenen Wörter. Wenn das Wort „Bomben" auf der Liste steht, sagt er „Nein". Aber die Hacker sind schlau. Sie formulieren die Frage so um, dass das Wort „Bomben" nicht auf der Liste steht, aber die Bedeutung trotzdem da ist. Der Wächter sieht nichts und lässt den Roboter durch. Oder der Wächter muss ständig neue Listen lernen, was ihn langsam und ungeschickt macht.

Die Lösung: MANATEE – Der „Gedanken-Check"

Die Forscher von MANATEE haben eine ganz andere Idee. Statt nur auf die Wörter zu schauen, schauen sie direkt in die Gedanken des Roboters, bevor er antwortet.

Stell dir vor, der Roboter denkt in einem riesigen, unsichtbaren Raum voller Farben und Formen.

Der „Gute" Raum: Hier liegen alle normalen, harmlosen Gedanken (wie „Wie ist das Wetter?"). Dieser Bereich ist dicht besiedelt, wie ein belebter Marktplatz.
Der „Böse" Raum: Hier liegen die gefährlichen Gedanken. Sie sind weit weg vom Marktplatz, in einer einsamen, dunklen Gegend.

Wenn der Hacker den Roboter manipuliert, springt der Roboter plötzlich in diese dunkle, einsame Gegend.

Wie MANATEE funktioniert (Die 3 Schritte)

MANATEE ist wie ein sehr erfahrener Sicherheitsbeamter, der genau weiß, wie sich ein „guter Gedanke" anfühlt.

Lernen (Der Marktplatz): Zuerst lernt MANATEE nur von harmlosen, normalen Gesprächen. Er zeichnet eine Karte von dem belebten Marktplatz der „guten Gedanken". Er weiß genau, wo die Menschen (die Daten) normalerweise herumlaufen.
Prüfen (Der Alarm): Wenn der Roboter eine Frage bekommt, schaut MANATEE kurz in den Kopf des Roboters.
- Ist der Gedanke noch auf dem Marktplatz? Alles gut! Der Roboter darf antworten.
- Ist der Gedanke in die dunkle Gegend abgedriftet? Alarm! Der Hacker hat zugeschlagen.
Korrektur (Der sanfte Schub): Das ist der geniale Teil. Früher hätte der Wächter den Roboter einfach gestoppt („Ich darf nicht antworten"). MANATEE tut etwas Besseres: Es nutzt eine Art magnetischen Schub.
- Es nimmt den gefährlichen Gedanken und „schiebt" ihn sanft zurück auf den belebten Marktplatz.
- Es ist, als würdest du einen Ball, der gerade über den Abhang rollt, sanft zurück auf den sicheren Weg rollen, bevor er abstürzt.
- Der Roboter denkt dann wieder „normal" und gibt eine harmlose Antwort (oder sagt höflich „Das kann ich nicht").

Warum ist das so cool?

Kein neues Training nötig: Du musst den Roboter nicht neu programmieren. Du hängst einfach diesen „Sicherheits-Filter" (MANATEE) an, der im Hintergrund läuft.
Es funktioniert bei allen: Ob der Roboter Mistral, Llama oder Gemma heißt – MANATEE passt sich an, weil es nur die „Gedankenstruktur" prüft, nicht die spezifischen Worte.
Es ist schnell: Es passiert in Sekundenbruchteilen, während der Roboter antwortet.

Ein Bild aus dem Alltag

Stell dir vor, du fährst mit dem Auto (dem KI-Modell).

Die alten Methoden waren wie ein Polizist, der nur auf die Straßenschilder schaut. Wenn das Schild „Verboten" fehlt, fährt der Polizist nicht ein.
MANATEE ist wie ein autonomes Lenksystem, das spürt, wenn das Auto beginnt, von der sicheren Straße in einen tiefen Graben zu driftet. Bevor das Auto im Graben landet, greift das System sanft in die Lenkung ein und bringt das Auto sanft zurück auf die Straße.

Das Ergebnis: Die Hacker können versuchen, so verrückte Fragen zu stellen, wie sie wollen. MANATEE merkt sofort, dass die „Gedanken" des Roboters nicht mehr in die normale Welt passen, und korrigiert sie, bevor eine gefährliche Antwort herauskommt. Das macht die KI sicherer, ohne dass sie dümmer oder langsamer wird.

1. Problemstellung

Die Verteidigung von Large Language Models (LLMs) gegen adversariale Jailbreak-Angriffe (z. B. Optimierungsbasierte Angriffe wie GCG oder „Priming"-Angriffe) stellt eine offene Herausforderung dar. Bestehende Verteidigungsmechanismen weisen erhebliche Schwächen auf:

Binäre Klassifikatoren: Diese sind oft zerbrechlich, da Angreifer Eingaben konstruieren können, die außerhalb der gelernten Entscheidungsgrenzen liegen, aber dennoch schädliche Ausgaben provozieren.
Wiederholtes Fine-Tuning: Das ständige Nachtrainieren von Modellen ist rechenintensiv, teuer und kann die allgemeinen Fähigkeiten des Modells (Utility) sowie die Sicherheit verschlechtern.
Skalierbarkeit: Viele Ansätze skalieren schlecht mit neuen Angriffsklassen und erfordern ständiges Retraining ohne Garantie für Generalisierung.

Das Ziel ist es, eine robuste, leichte und modellunabhängige Verteidigung zu schaffen, die keine schädlichen Trainingsdaten benötigt und die Modellfähigkeiten für harmlose Eingaben erhält.

2. Methodik: MANATEE

MANATEE ist eine Verteidigungsmethode zur Laufzeit (Inference-Time), die auf Dichteschätzung über einer Mannigfaltigkeit harmloser (benigner) Repräsentationen basiert. Der Kernansatz ist die Umformulierung von Sicherheit als Problem der Dichteschätzung, gelöst durch Diffusionsmodelle.

Der Prozess gliedert sich in drei Hauptphasen:

Lernen der benignen Mannigfaltigkeit (Training):
- Aus den finalen Schichten (Hidden States) von harmlosen Modellgenerierungen werden Vektoren extrahiert.
- Diese Vektoren werden standardisiert (Mittelwert 0, Varianz 1).
- Ein Denoising Diffusion Probabilistic Model (DDPM) wird auf diesen standardisierten Vektoren trainiert. Das Modell lernt die Score-Funktion (die Richtung des Gradienten der Dichte) der benignen Repräsentationen. Es lernt also, wie „normale" (sichere) latente Zustände aussehen.
Anomalie-Erkennung (Inference):
- Bei einer neuen Eingabe wird der finale Hidden State $h$ des LLM extrahiert und standardisiert.
- Ein Diffusionsmodell wird für einen festen Zeitschritt $t_{check}$ angewendet, um das vorhergesagte Rauschen $\epsilon_\theta$ zu berechnen.
- Die Anomalie-Score $s(h)$ wird als die Norm des vorhergesagten Rauschens berechnet: $s(h) = \|\epsilon_\theta(\tilde{h}, t_{check})\|_2$ .
- Ein niedriger Score deutet darauf hin, dass der Zustand nahe an der benignen Mannigfaltigkeit liegt (in-distribution). Ein hoher Score deutet auf einen Zustand fernab der benignen Verteilung (out-of-distribution, potenziell schädlich) hin.
Steuerung und Korrektur (Steering):
- Schwellenwert-Logik: Ein Schwellenwert $\tau$ $τ$ entscheidet über die Reaktion:
  - Wenn $s(h) > \tau$ : Das Modell löst eine automatische Verweigerung (Refusal) aus (z. B. „Ich kann das nicht tun").
  - Wenn $s(h) \le \tau$ : Das Modell führt eine Diffusions-Steuerung durch.
- Diffusions-Steuerung: Für anomale Zustände wird der Reverse-Diffusion-Prozess initiiert. Das Modell injiziert Rauschen und denoist den Zustand iterativ, um ihn zurück in die hochdichten Regionen der benignen Mannigfaltigkeit zu projizieren.
- Der bereinigte (gepurified) Hidden State wird dann wieder in den ursprünglichen Raum zurücktransformiert und an den Sprachmodell-Kopf (LM Head) weitergegeben, um eine harmlose Antwort zu generieren.

Wichtige Eigenschaften:

Keine architektonischen Änderungen am Basis-LLM.
Keine Verwendung von schädlichen Trainingsdaten für das Verteidigungsmodell.
Funktioniert modellübergreifend (Transferfähigkeit).

3. Schlüsselbeiträge

Neuer Sicherheitsparadigmen: Statt zu fragen „Ist diese Repräsentation schädlich?", fragt MANATEE „Wie kann diese Repräsentation auf die Mannigfaltigkeit harmloser Repräsentationen projiziert werden?".
Diffusionsbasierte Korrektur: Erstmals wird ein Diffusionsmodell nicht nur zur Generierung, sondern zur iterativen Korrektur und Reinigung von latenten Repräsentationen in Echtzeit eingesetzt, um Anomalien zu beheben.
Leichtgewichtige Plug-and-Play-Lösung: Die Methode erfordert kein Retraining des Haupt-LLMs und fügt nur einen kleinen Diffusions-Head hinzu, der auf den Hidden States operiert.
Erhaltung der Nützlichkeit: Da die Korrektur nur bei Abweichungen erfolgt und harmlose Eingaben unter dem Schwellenwert bleiben, bleibt die Leistung des Modells für legitime Aufgaben erhalten.

4. Ergebnisse

Die Methode wurde an drei verschiedenen Modellfamilien getestet: Mistral-7B-Instruct, Llama-3.1-8B-Instruct und Gemma-2-9B-it. Die Evaluation umfasste Datensätze wie JailbreakBench (JBB), Mechanistic Anomaly Detection (MAD) und Anthropic Sleeper Agent (ASA).

Reduktion der Angriffserfolgsrate (ASR):
- MANATEE reduzierte die ASR auf bestimmten Datensätzen um bis zu 100% (z. B. bei ASA und JBB auf Mistral/Llama).
- Im Durchschnitt über alle Modelle und Datensätze wurde eine Reduktion von 72% bis 78% erreicht.
- Spezifische Beispiele: Auf dem JBB-Datensatz sank die ASR bei Mistral von 98% auf 0%, bei Llama von 89% auf 0%.
Erhaltung der Modellfähigkeit:
- Experimente zeigten, dass harmlose Eingaben (Benign Inputs) kaum beeinflusst wurden. Die Diffusionskorrektur wird nur aktiviert, wenn der Anomalie-Score den Schwellenwert überschreitet, was sicherstellt, dass die semantische Bedeutung legitimer Anfragen erhalten bleibt.
Robustheit: Die Methode funktionierte effektiv auch bei Modellen, die mit Backdoors oder sleeper agents trainiert wurden, und konnte diese schädlichen Verhaltensweisen unterdrücken.

5. Bedeutung und Fazit

MANATEE demonstriert, dass Sicherheit und Leistungsfähigkeit von LLMs nicht zwangsläufig im Konflikt stehen müssen. Durch die Nutzung von Diffusionsmodellen zur Dichteschätzung im latenten Raum bietet MANATEE einen eleganten Ansatz, der:

Generalisiert: Da es auf der Geometrie der Repräsentationen basiert, ist es weniger anfällig für spezifische Adversarial-Patterns als binäre Klassifikatoren.
Effizient ist: Es vermeidet das teure und kapazitätsmindernde Fine-Tuning.
Prinzipiell fundiert ist: Es behandelt unsicheres Verhalten als Abweichung von einer gelernten „Normalverteilung" und korrigiert diese proaktiv.

Die Arbeit legt den Grundstein für zukünftige Forschung, die Diffusions-basierte Korrekturen auf komplexere Reasoning-Modelle (wie Continuous Chain of Thought) und eine breitere Palette von Jailbreak-Angriffen ausdehnt. MANATEE stellt einen vielversprechenden Schritt hin zu einer robusten, modellunabhängigen Sicherheitsinfrastruktur für KI-Systeme dar.