💻 computer science

The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

Diese Arbeit beweist, dass für Sprachmodelle mit zusammenhängendem Prompt-Raum keine kontinuierliche und nutzererhaltende Wrapper-Verteidigung alle Ausgaben vollständig sicher machen kann, da Kontinuität, Nutzenbewahrung und Vollständigkeit einen unlösbaren Trilemma-Konflikt bilden.

Ursprüngliche Autoren: Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

Veröffentlicht 2026-04-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal etwas ungestümen Roboter-Assistenten (ein KI-Modell). Sie wollen ihn so programmieren, dass er niemals böse Dinge sagt oder tut. Die Idee vieler Sicherheits-Experten war bisher: „Wir bauen einfach eine Schutzmauer (einen sogenannten 'Wrapper') um den Roboter. Wenn jemand etwas Gefährliches fragt, schneidet die Mauer die Frage zu, bevor der Roboter sie sieht, und gibt eine harmlose Version weiter."

Die Autoren dieses Papiers kommen nun mit einer mathematischen Erkenntnis, die wie ein Dreieck des Schicksals (ein „Trilemma") klingt. Sie beweisen, dass diese Schutzmauer unter bestimmten, sehr vernünftigen Bedingungen niemals perfekt sein kann.

Hier ist die Erklärung in einfachen Worten mit ein paar bildhaften Vergleichen:

Das große Problem: Das „Dreieck des Unmöglichen"

Stellen Sie sich vor, Sie versuchen, drei Dinge gleichzeitig zu erreichen, die sich gegenseitig ausschließen:

Kontinuität (Die sanfte Hand): Wenn jemand eine Frage stellt, die fast gefährlich ist, aber nur ein winziges bisschen daneben liegt, darf die Schutzmauer die Antwort nicht komplett umwerfen. Ähnliche Fragen müssen zu ähnlichen Antworten führen. (Man kann nicht bei Frage A sagen „Nein" und bei Frage A+1, die fast identisch ist, plötzlich „Ja", ohne dass es einen riesigen Sprung gibt).
Nützlichkeit (Der treue Diener): Wenn jemand eine völlig harmlose Frage stellt (z. B. „Wie macht man einen Kuchen?"), darf die Schutzmauer nichts ändern. Sie muss die Frage genau so weiterleiten, wie sie ist. Sonst wäre der Roboter unbrauchbar.
Vollständigkeit (Der undurchdringliche Schild): Die Schutzmauer muss garantiert verhindern, dass jeder einzelne gefährliche Prompt durchkommt. Kein einziger Fehler darf passieren.

Die Erkenntnis der Autoren: Sie können maximal zwei dieser Dinge haben. Aber niemals alle drei.

Wenn Sie die Mauer sanft und nützlich halten wollen, wird es immer eine kleine Lücke geben, durch die ein Angriff schlüpfen kann. Wenn Sie die Lücke schließen wollen, müssen Sie entweder die Mauer ruckartig machen (was harmlose Fragen kaputt macht) oder die Nützlichkeit opfern.

Die drei Stufen des Scheiterns (Die Analogie des Flusses)

Stellen Sie sich den Raum aller möglichen Fragen als einen großen Fluss vor.

Sichere Zone: Das flache, ruhige Wasser (harmlose Fragen).
Gefährliche Zone: Das wilde, reißende Wasser (gefährliche Fragen).
Die Grenze: Die Küstenlinie, wo das ruhige Wasser ins wilde übergeht.

Die Autoren zeigen drei Dinge, warum die Schutzmauer scheitert:

1. Die „Festgehaltene Küste" (Boundary Fixation)

Da die Mauer alle harmlosen Fragen unverändert lassen muss (Nützlichkeit), muss sie genau an der Küstenlinie stehen bleiben. Aber weil der Fluss fließt und die Küste nicht scharf abgeschnitten ist, muss die Mauer auch genau an der Stelle stehen, wo das Wasser gerade wild wird.
Das Ergebnis: Es gibt immer mindestens einen Punkt genau an der Grenze, den die Mauer nicht ändert. Wenn ein Angreifer diesen einen Punkt findet, kommt er durch. Die Mauer lässt diesen einen „Grenzstein" einfach stehen.

2. Der „Sichere Streifen" (ε-Robust Constraint)

Nehmen wir an, die Mauer versucht, die gefährlichen Fragen ein bisschen sanfter zu machen. Aber weil sie „sanft" sein muss (Kontinuität), kann sie nicht plötzlich alles wegputzen.
Das Ergebnis: Um den festgehaltenen Grenzstein herum gibt es einen kleinen, gelben Streifen. In diesem Streifen sind die Fragen zwar nicht ganz so gefährlich wie vorher, aber sie sind immer noch gefährlich genug, um durchzukommen. Die Mauer kann den Streifen nicht komplett leeren, ohne die Nützlichkeit zu zerstören.

3. Die „Unvermeidliche Lücke" (Persistent Unsafe Region)

Stellen Sie sich vor, das gefährliche Wasser steigt an manchen Stellen sehr steil an (wie eine Klippe). Die Schutzmauer ist aber wie ein Seil, das nur eine bestimmte Spannung aushält.
Das Ergebnis: An den steilen Stellen steigt das Wasser schneller an, als die Mauer es zurückdrücken kann. Es bleibt immer ein kleines Stück des gefährlichen Wassers übrig, das die Mauer nicht erreichen kann. Diese Lücke ist nicht zufällig; sie ist mathematisch garantiert vorhanden.

Was bedeutet das für uns?

Die Autoren sagen nicht: „Gibt auf, KI-Sicherheit ist unmöglich!"
Sie sagen vielmehr: „Der alte Plan, einfach nur eine Filter-Schicht um die KI zu legen, wird nie 100 % sicher sein."

Es ist wie beim Bauen einer Burg:

Wenn Sie die Burgmauer so bauen, dass sie für alle Besucher (auch die harmlosen) glatt und schön ist (Kontinuität) und niemanden zurückweist, der ein harmloses Geschenk bringt (Nützlichkeit), dann wird es immer eine Stelle geben, an der ein Kletterer hochkommt.
Um die Burg wirklich sicher zu machen, müssten Sie die Mauer an manchen Stellen rissig machen (was harmlose Besucher stört) oder die Mauer so hoch bauen, dass niemand mehr reinkommt (was die Burg unbrauchbar macht).

Die Lösung: Nicht bekämpfen, sondern managen

Da man die Lücke nicht komplett schließen kann, schlagen die Autoren vor, die Strategie zu ändern:

Machen Sie die Grenze harmlos: Stellen Sie sicher, dass selbst wenn jemand die Grenze übertritt, das Ergebnis nicht katastrophal ist. (Wenn die KI auf eine gefährliche Frage mit einem höflichen „Das kann ich nicht" antwortet, statt mit Gift, ist das mathematisch ein Fehler, aber praktisch harmlos).
Machen Sie die Landschaft flacher: Versuchen Sie, die KI so zu trainieren, dass sie nicht so steil von „sicher" zu „gefährlich" übergeht.
Beobachten Sie statt zu sperren: Da man die Lücke nicht schließen kann, sollte man lieber ein wachsames Auge darauf haben, wenn sich jemand der gefährlichen Zone nähert, anstatt zu versuchen, jeden einzelnen Angriff abzufangen.

Fazit:
Man kann keinen perfekten Filter bauen, der alles blockiert, aber nichts verändert. Die Mathematik verbietet es. Stattdessen müssen wir klüger bauen: Wir müssen die KI so trainieren, dass sie auch bei Fehlern nicht schadet, und wir müssen akzeptieren, dass es immer eine kleine Grauzone geben wird, die wir im Auge behalten müssen.

1. Problemstellung

Die Arbeit adressiert die fundamentale Frage, ob es möglich ist, einen Wrapper (eine Vorverarbeitungs-Schicht) um ein Large Language Model (LLM) zu bauen, der alle Prompt-Injection-Schwachstellen eliminiert, ohne dabei die Nutzbarkeit (Utility) des Modells zu beeinträchtigen.

Viele aktuelle Sicherheitsansätze (z. B. Input-Classifier, Output-Filter, Constitutional Rewriting) basieren implizit auf der Annahme, dass eine Funktion $D: X \to X$ existiert, die unsichere Eingaben in sichere umwandelt, während sichere Eingaben unverändert bleiben. Die Autoren beweisen, dass dies unter bestimmten mathematischen Bedingungen unmöglich ist.

Das Kernproblem liegt in der Geometrie des Prompt-Raums: In einem zusammenhängenden Raum ist der Bereich der „sicheren" Eingaben offen, aber nicht abgeschlossen. Jeder kontinuierliche Wrapper, der sichere Eingaben unverändert lässt, muss zwangsläufig auch Punkte auf der Sicherheitsgrenze unverändert lassen, was zu Lücken in der Sicherheit führt.

2. Methodik und Theoretischer Rahmen

Die Autoren verwenden einen rigoros mathematischen Ansatz, der Topologie, Analysis (Lipschitz-Stetigkeit) und diskrete Mathematik kombiniert.

Formales Framework:
- $X$ : Ein topologischer Raum (der Prompt-Raum), der als zusammenhängend (connected) und Hausdorff angenommen wird.
- $f: X \to \mathbb{R}$ : Eine stetige „Alignment-Abweichungsfunktion", die misst, wie stark eine Eingabe von der Sicherheit abweicht.
- $\tau$ : Ein Schwellenwert. $S_\tau = \{x \mid f(x) < \tau\}$ (sicher), $U_\tau = \{x \mid f(x) > \tau\}$ (unsicher), $B_\tau = \{x \mid f(x) = \tau\}$ (Grenze).
- $D: X \to X$ : Der Verteidigungs-Wrapper (Defense).
Annahmen:
1. Kontinuität: Ähnliche Prompts führen zu ähnlichen Ausgaben/Umformulierungen ( $D$ ist stetig).
2. Utility-Erhaltung (Utility Preservation): Sichere Prompts werden nicht verändert ( $D(x) = x$ für alle $x \in S_\tau$ ).
3. Vollständigkeit (Completeness): Alle Ausgaben sind sicher ( $f(D(x)) < \tau$ für alle $x$ ).
Verifikation: Die gesamte Theorie wurde mechanisch in Lean 4 mit Mathlib formalisiert (45 Dateien, ca. 350 Theoreme, keine „admitted proofs"). Zudem wurde die Theorie empirisch an drei verschiedenen LLMs validiert.

3. Schlüsselbeiträge: Das Verteidigungs-Trilemma

Die zentrale These ist das Defense Trilemma: Ein Wrapper kann höchstens zwei der folgenden drei Eigenschaften gleichzeitig erfüllen, aber niemals alle drei:

Kontinuität
Utility-Erhaltung
Vollständigkeit (100% Sicherheit)

Die Autoren etablieren drei aufeinander aufbauende Unmöglichkeitsresultate:

A. Boundary Fixation (Grenzfixierung) – Theorem 4.1

Aussage: Jeder kontinuierliche, utility-erhaltende Wrapper auf einem zusammenhängenden Raum muss mindestens einen Punkt $z$ auf der Sicherheitsgrenze ( $f(z) = \tau$ ) unverändert lassen ( $D(z) = z$ ).
Begründung: Da $D$ die offene Menge $S_\tau$ fixiert und stetig ist, muss die Fixpunktmenge abgeschlossen sein. Da $S_\tau$ offen, aber nicht abgeschlossen ist (in einem zusammenhängenden Raum), muss die Fixpunktmenge über den Rand von $S_\tau$ hinausragen.
Folge: Es gibt Prompts, die genau an der Grenze der Unsicherheit liegen und vom Verteidiger ignoriert werden.

B. $\varepsilon$ -Robuste Einschränkung – Theorem 5.1

Aussage: Unter Lipschitz-Regularität (mit Konstanten $L$ für $f$ und $K$ für $D$ ) kann der Verteidiger die Abweichung in der Nähe des fixierten Randpunkts $z$ nicht beliebig stark reduzieren.
Formel: Für Punkte $x$ in der Nähe von $z$ gilt: $f(D(x)) \ge \tau - L \cdot K \cdot \text{dist}(x, z)$ .
Folge: Es entsteht ein Band um den Randpunkt, in dem die Sicherheit nur begrenzt verbessert werden kann. Je glatter die Funktion $f$ (kleines $L$ ) und je aggressiver der Verteidiger (großes $K$ ), desto kleiner das Band, aber es verschwindet nie vollständig.

C. Persistente Unsichere Region – Theorem 6.3

Aussage: Unter einer Transversalitätsbedingung (wenn die Sicherheitsfunktion $f$ in Richtung der Unsicherheit steiler ansteigt als der Verteidiger sie senken kann), existiert eine Menge mit positivem Maß, die strikt unsicher bleibt.
Bedingung: Wenn die Steigung $G$ von $f$ größer ist als $\ell(K+1)$ (wobei $\ell$ die Lipschitz-Konstante des Verteidigungspfads ist), bleibt ein Bereich $S$ mit $f(D(x)) > \tau$ .
Folge: Es gibt einen messbaren Bereich von Eingaben, die trotz Verteidigung unsicher bleiben.

4. Ergebnisse und Erweiterungen

Diskrete vs. Kontinuierliche Welt: Die Autoren zeigen, dass das Problem auch für diskrete Datenmengen gilt (Theorem 8.3). Auf endlichen Mengen führt Vollständigkeit entweder zum Verlust von Information (Nicht-Injektivität) oder zur Unvollständigkeit. Ein informationserhaltender Wrapper kann keine Unsicherheit vollständig eliminieren.
Erweiterungen:
- Multi-Turn: Die Unmöglichkeit gilt auch für mehrstufige Interaktionen; jeder Schritt unterliegt der Grenzfixierung.
- Stochastische Verteidigung: Auch randomisierte Verteidiger scheitern, wenn die erwartete Abweichung stetig ist.
- Pipelines: In mehrstufigen Systemen (z. B. Tool-Use) verschlechtert sich die Lipschitz-Konstante exponentiell mit der Tiefe ( $K^n$ ), was die Unsicherheitsregion vergrößert.
Empirische Validierung: Die Theorie wurde an drei Modellen getestet (Llama-3-8B, GPT-OSS-20B, GPT-5-Mini).
- Bei Llama und GPT-OSS wurden die vorhergesagten „Basin-Strukturen" und persistente unsichere Regionen bestätigt.
- Bei GPT-5-Mini war die maximale Abweichung so gering, dass keine unsichere Region existierte, was die Theorie bestätigt (da die Voraussetzungen für das Trilemma hier nicht erfüllt waren).

5. Bedeutung und Schlussfolgerungen

Die Arbeit widerlegt die Hoffnung auf einen „perfekten" Wrapper, der Prompt Injection vollständig und ohne Eingriff in die Funktionalität blockiert.

Praktische Implikationen (Engineering Prescription):
Da eine vollständige Eliminierung unmöglich ist, muss sich das Engineering von der „Eliminierung" hin zum „Management" verschieben:

Flache Grenzen: Den Schwellenwert $\tau$ so setzen, dass selbst Grenzfälle harmlos sind (z. B. eine höfliche Verweigerung statt einer schädlichen Antwort).
Glatte Oberflächen: Die Lipschitz-Konstante $L$ reduzieren, um die Unsicherheitsbänder vorhersehbarer zu machen.
Dimensionalitätsreduktion: Den Eingaberaum einschränken (z. B. durch strikte API-Parameter), um die Komplexität der Verteidigung zu senken.
Monitoring statt Eliminierung: Da die Unsicherheitsregionen persistent sind, sollten Systeme den Abstand zur Grenze überwachen und bei Annäherung Alarm schlagen, anstatt zu versuchen, die Region komplett zu schließen.

Einschränkungen:
Die Ergebnisse gelten spezifisch für kontinuierliche, utility-erhaltende Wrapper. Sie schließen andere Sicherheitsmechanismen nicht aus, wie z. B.:

Alignment während des Trainings (RLHF, DPO).
Architekturelle Änderungen am Modell.
Diskontinuierliche Verteidigungen (z. B. harte Blocklisten, die die Utility opfern).
Menschliche Überwachung (Human-in-the-Loop).

Zusammenfassend liefert das Paper eine mathematische Fundierung dafür, warum Prompt-Injection-Schutz immer ein Kompromiss ist, und bietet einen Rahmen für das Design robusterer, wenn auch nicht perfekter, Sicherheitssysteme.