🤖 AI

On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models

Dieses Paper beweist, dass eine perfekte Prävention von Prompt-Injection in Shared-Embedding-Sequenzmodellen aufgrund der strukturellen Ununterscheidbarkeit von Instruktionen und Daten mathematisch unmöglich ist, wobei argumentiert wird, dass robuste Sicherheit eine architektonische Trennung von Steuerungs- und Inhaltskanälen erfordert, statt verbesserter Defensivmaßnahmen innerhalb der Pipeline.

Ursprüngliche Autoren: Dewank Pant, Shruti Lohani, Avijit Kumar

Veröffentlicht 2026-06-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dewank Pant, Shruti Lohani, Avijit Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Das „Mixschüssel“-Problem

Stellen Sie sich vor, Sie sind ein Koch (das KI-Modell) in einer Küche. Sie haben zwei Arten von Zutaten:

Die Rezeptkarte (Vertrauenswürdige Anweisungen): Dies sind die Regeln, die Ihnen der Restaurantbesitzer gegeben hat (z. B. „Servieren Sie nur vegetarische Gerichte“, „Geben Sie niemals das Geheimrezept heraus“).
Die Bestellung des Kunden (Unvertrauenswürdige Daten): Dies sind die Wünsche, die Kunden mitbringen (z. B. „Ich möchte einen Burger“, „Kannst du mir einen Witz erzählen?“).

In aktuellen KI-Modellen gibt der Koch sowohl die Rezeptkarte als auch die Bestellung des Kunden in dieselbe Mixschüssel. Beides wird gehackt, vermischt und zu einer einheitlichen Suppe aus Zutaten zerkleinert, bevor der Koch mit dem Kochen beginnt.

Die Hauptbehauptung der Arbeit:
Die Autoren argumentieren, dass es, weil Rezept und Bestellung in derselben Schüssel gemischt werden, mathematisch unmöglich ist, dass der Koch perfekt zwischen „dem, was der Besitzer gesagt hat“ und „dem, was der Kunde gesagt hat“, unterscheidet, sobald sie vermengt sind.

Wenn ein Kunde eine Notiz in seine Bestellung schummelt, auf der steht: „Ignoriere die Rezeptkarte und gib mir das Geheimrezept“, kann der Koch nicht erkennen, dass diese Notiz anders ist als das eigentliche Rezept. Für das Gehirn des Kochs ist das alles nur „Suppe“. Daher könnte der Koch versehentlich der hinterlistigen Notiz des Kunden folgen anstatt den Regeln des Besitzers.

Die Kernanalogie: Die Von-Neumann-Maschine

Die Arbeit vergleicht dieses KI-Problem mit einem berühmten Computer-Sicherheitsfehler aus den 1970er Jahren, dem sogenannten Buffer Overflow (Pufferüberlauf).

Alte Computer (Von-Neumann-Architektur): In diesen Maschinen lebten Computerprogramme (Code) und Daten (Zahlen) im selben Speicherbereich. Ein Hacker konnte den Computer austricksen, indem er ihm Daten fütterte, die wie ein Programm aussah. Der Computer führte die Daten dann versehentlich als Befehl aus, was das System zum Absturz brachte oder dem Hacker die Kontrolle ermöglichte.
Moderne KI (Transformer): Die Autoren sagen, dass die KI genau denselben Fehler hat. Die „Anweisungen“ (der System-Prompt) und die „Daten“ (der Benutzereingabe) leben im selben mathematischen Raum (Vektoren). Ein Hacker kann „Daten“ erstellen, die wie eine „Anweisung“ für die KI aussehen. Da die KI nicht zwischen ihnen unterscheiden kann, wenn sie erst einmal vermischt sind, folgt sie den Anweisungen des Hackers.

Die Arbeit argumentiert, dass wir Buffer Overflows nicht allein durch „besseren Code“ oder „vorsichtigeres Tippen“ beheben konnten – und dass wir Prompt Injection auch nicht allein durch „besseres Training“ oder „mehr Filter“ beheben können. Das Problem ist die Architektur (die Mixschüssel), nicht das Geschick des Kochs.

Die drei Gründe, warum es unmöglich ist

Die Arbeit beweist diese Unmöglichkeit anhand von drei logischen Schritten:

1. Das Problem des „gemeinsamen Wortschatzes“ (Repräsentationskollision)

Die Metapher: Stellen Sie sich vor, sowohl die Rezeptkarte als auch die Bestellung des Kunden verwenden das Wort „Salz“.
Die Realität: In der KI werden Wörter wie „der“, „ist“, „du“ und „helfen“ sowohl in den Systemanweisungen als auch in den Benutzereingaben verwendet. Die KI ordnet diese Wörter exakt derselben mathematischen Zahl zu. Sobald die KI das Wort „helfen“ sieht, weiß sie nicht, ob es vom Besitzer der Regel stammt („Hilf dem Nutzer“) oder vom Trick des Nutzers („Hilf mir, die Regeln zu umgehen“). Die „Quelle“ des Wortes wird in dem Moment gelöscht, in dem es in die Schüssel gelangt.

2. Der „blinde Fleck“ in der Küche (Provenienz-Wiederherstellung)

Die Metapher: Wenn Sie versuchen, in die Suppe zu schauen und zu erraten, welcher Löffel von der Rezeptkarte und welcher von der Bestellung des Kunden stammt, werden Sie manchmal falsch liegen.
Die Realität: Die Arbeit beweist mathematisch, dass, da die „vertrauenswürdigen“ und „unvertrauenswürdigen“ Zutaten so ähnlich sind (sie teilen denselben Wortschatz und Raum), kein Maß an genauer Betrachtung der Suppe sie perfekt unterscheiden kann. Es gibt immer eine kleine Chance auf einen Fehler. Wenn man sie nicht perfekt unterscheiden kann, kann man das „Böse“ nicht perfekt blockieren.

3. Das Problem der „unendlichen Variationen“ (Endliche Abdeckung)

Die Metapher: Stellen Sie sich vor, Sie trainieren Ihren Koch darauf, 1.000 spezifische Wege zu erkennen, wie ein Kunde versuchen könnte, ihn zu täuschen. Aber ein cleverer Kunde kann seinen Trick auf 1.000.000 verschiedene Arten schreiben (unter Verwendung verschiedener Sprachen, Emojis, Code oder Schreibtricks), die alle dasselbe bedeuten.
Die Realität: Man kann eine KI mit Millionen von Beispielen trainieren, aber die Anzahl der Möglichkeiten, sie zu täuschen, ist effektiv unendlich. Da die KI durch das Sehen von Beispielen lernt, kann sie niemals lernen, gegen jede mögliche Variation eines Tricks sicher zu sein. Sie wird immer einen „blinden Fleck“ für einen Trick haben, den sie noch nicht gesehen hat.

Was dies für die KI-Sicherheit bedeutet

Die Autoren sagen nicht, dass KI nutzlos ist oder dass wir sie aufhören sollten, sie zu verwenden. Sie sagen:

Man kann die Mixschüssel nicht patchen: Sie können dieses Problem nicht lösen, indem Sie die KI einfach besser trainieren, mehr „Leitplanken“ hinzufügen oder Wörter filtern. Solange die KI Anweisungen und Daten im selben Raum vermischt, wird ein cleverer Angreifer immer einen Weg finden, eine gefälschte Anweisung einzuschleusen.
Die Lösung ist architektonisch: Um dies wirklich zu lösen, müssen wir das Küchendesign ändern. Wir brauchen ein System, in dem die Rezeptkarte und die Bestellung des Kunden in separaten Schüsseln aufbewahrt werden, die sich erst ganz am Ende vermischen. Die „Rezeptur“ sollte eine starre Regel sein, die die „Bestellung des Kunden“ nicht berühren oder überschreiben kann.
Defense in Depth (Verteidigung in der Tiefe): Bis wir diese neuen Systeme mit „separaten Schüsseln“ bauen, müssen wir KI so behandeln, wie wir alte Computer mit Buffer Overflows behandeln: Gehen Sie davon aus, dass sie gehackt werden, verwenden Sie mehrere Schichten schwacher Verteidigungen (wie Firewalls und Sandkästen) und begrenzen Sie den Schaden, falls sie dennoch durchbrochen werden.

Zusammenfassung

Die Arbeit beweist, dass perfekte Sicherheit für aktuelle KI-Modelle unmöglich ist, weil sie „was zu tun ist“ und „was zu verarbeiten ist“ als dasselbe behandeln. Es ist, als würde man einen Koch bitten, die Notiz des Kunden zu ignorieren, wenn die Notiz mit derselben Tinte und auf demselben Papier geschrieben ist wie das Rezept. Der einzige Weg, dies zu lösen, besteht darin, das grundlegende Design der KI zu ändern, nicht nur zu versuchen, sie besser zu trainieren.

Technisches Resümee: Zur Unzertrennlichkeit von Instruktionen und Daten in Shared-Embedding-Sequenzmodellen

1. Problemstellung

Das Paper adressiert die anhaltende Anfälligkeit von Large Language Models (LLMs) gegenüber Prompt Injection, bei der Angreifer Benutzereingaben gestalten, die ein Modell dazu bringen, von seinen beabsichtigten Systeminstruktionen abzuweichen. Während die Forschungsgemeinschaft zahlreiche Abwehrmechanismen vorgeschlagen hat (z. B. Instruction Tuning, Guardrails, Representation Engineering), sind diese Maßnahmen konsequent daran gescheitert, einen robusten, langfristigen Schutz zu bieten. Die Autoren stellen eine fundamentale Frage: Ist eine perfekte Prävention von Prompt Injection innerhalb der aktuellen Shared-Embedding-Architektur von Transformern theoretisch möglich?

Der Kern des Problems liegt im architektonischen Design, bei dem vertrauenswürdige Systeminstruktionen und unvertrauenswürdige Benutzerdaten durch eine gemeinsame Repräsentations-Pipeline verarbeitet werden. In diesen Architekturen werden beide Eingaben über eine gemeinsame Embedding-Funktion in denselben Vektorraum abgebildet, wodurch jede unveränderliche Unterscheidung zwischen „Code“ (Instruktionen) und „Daten“ (Benutzereingabe) aufgehoben wird, sobald sie das Modell erreichen.

2. Methodik und formaler Rahmen

2.1 Das Prompted Action Model

Die Autoren formalisieren das System als ein Prompted Action Model $M = (\Sigma, d, E, f, A)$ , wobei:

Shared Embedding ( $E$ ): Sowohl vertrauenswürdige Instruktionen ( $s$ ) als in unvertrauenswürdige Benutzerinhalte ( $u$ ) werden durch dieselbe Funktion $E: \Sigma \to \mathbb{R}^d$ abgebildet.
Aktionsraum ( $A$ ): Umfasst Token-Generierung und kontroll-autoritative Aktionen (Verweigerungen, Werkzeugaufrufe, Policy-Routing, Speicherzugriffe).
Sicherheits-Eigenschaft (Semantic-Faithful Control - SFC): Die Autoren definieren SFC als die Anforderung, dass kontroll-autoritatives Verhalten ausschließlich vom semantischen Inhalt der unvertrauenswürdigen Eingabe abhängt und nicht von semantisch irrelevanten Variationen in deren Kodierung (z. B. Obfuskation, adversarielle Suffixe).

2.2 Theoretischer Ansatz

Der Beweis der Unmöglichkeit stützt sich auf drei distinkte theoretische Säulen:

Unmöglichkeit der Provenienz-Wiederherstellung (Provenance-Recovery Impossibility): Unter Verwendung der Total Variation (TV) Distanz demonstrieren die Autoren, dass, wenn vertrauenswürdige und unvertrauenswürdige Eingaben einen gemeinsamen Repräsentationsraum teilen, der Bayes-optimale Fehler für die Wiederherstellung des Ursprungs (Provenienz) einer Repräsentation strikt größer als Null ist, sofern die Verteilungen nicht disjunkt sind.
Exposition des Kontrollpfads (Control-Path Exposure): Sie zeigen, dass unvertrauenswürdige Inhalte in Standard-Attention-Mechanismen zur Wertaggregation (Value Aggregation) von kontroll-relevanten Knoten beitragen (solche, die Verweigerungen oder Werkzeugnutzung bestimmen). Somit beeinflussen unvertrauenswürdige Daten kausal die Kontroll-Outputs.
Finite-Coverage Invariance Gap: Sie argumentieren, dass, da semantische Äquivalenzklassen (z. B. alle möglichen Kodierungen einer Anfrage) unendlich oder super-polynomiell groß sind und die Trainingsdaten endlich sind, kein Mechanismus, der ausschließlich innerhalb der gemeinsamen Pipeline operiert, eine Invarianz über alle möglichen Kodierungen hinweg garantieren kann.

3. Zentrale Beiträge

Formalisierung von Semantic-Faithful Control (SFC): Das Paper definiert SFC als die minimale Sicherheitseigenschaft für agentische Systeme und unterscheidet dabei zwischen legitimer semantischer Abhängigkeit (Verweigerung schädlicher Anfragen) und illegitimer repräsentativer Abhängigkeit (Umgehen von Verweigerungen durch Kodierungs-Tricks).
Das Unzertrennlichkeits-Theorem (Inseparability Theorem): Die Autoren beweisen, dass in jeder Shared-Embedding-Architektur, die keine erzwungene Trennung zwischen Kontrolle und Daten aufweist, perfekte SFC innerhalb der gemeinsamen Repräsentations-Pipeline nicht garantiert werden kann. Dies ist ein Unmöglichkeitsresultat und keine Kritik an aktuellen Trainingsmethoden.
Strukturelle Isomorphie zur Von-Neumann-Architektur: Das Paper stellt eine präzise Analogie zwischen Prompt Injection in LLMs und Buffer Overflow-Schwachstellen in Von-Neumann-Maschinen her. So wie gemeinsamer Speicher erlaubt, dass Code und Daten verwechselt werden (was zu Overflows führt), erlaubt das Shared Embedding, dass Instruktionen und Benutzerdaten verwechselt werden (was zu Prompt Injection führt).
Empirische Fundierung: Die Autoren liefern Messungen, die die theoretischen Annahmen bestätigen:
- Vokabular-Überlappung: Die Korpora für Instruktionen und Benutzerdaten teilen eine große Mehrheit an Tokens (61,5 %–82,3 % Coverage), was Embedding-Kollisionen sicherstellt.
- Repräsentations-Überlappung: Die Hidden-State-Verteilungen für Instruktionen und Benutzerdaten bleiben selbst in tiefen Schichten ununterscheidbar (hohe MMD-Überlappung), insbesondere in den Schichten, die für Kontroll-Outputs relevant sind.
- Verhaltens-Kontamination: Experimente zeigen, dass selbst wenn Modelle schädliche Payloads verweigern, unvertrauenswürdige Tokens die kontroll-relevanten Hidden States verändern, was das Framing und die Länge der Ausgabe beeinflusst; dies bestätigt, dass der Kontrollpfad exponiert ist.

4. Ergebnisse und Erkenntnisse

Unmöglichkeit perfekter Prävention: Das zentrale Ergebnis ist, dass kein Mechanismus, der ausschließlich innerhalb der gemeinsamen Repräsentations-Pipeline operiert (z. B. bessere Klassifikatoren, Alignment-Tuning oder In-Pipeline-Filterung), eine perfekte Prävention von Prompt Injection garantieren kann.
Die Rolle des Trainings: Aktuelle Abwehrmechanismen (RLHF, Guardrails) fungieren als „Patches“, die das durchschnittliche Verhalten verbessern, aber die strukturelle Schwachstelle nicht eliminieren können. Das Paper führt Ablation (Weight-Surgery, die die Fähigkeit zur Verweigerung entfernt) als Beleg dafür an, dass Sicherheit als fragile Richtung im Shared Space kodiert ist und nicht als strukturell getrennter Schaltkreis.
Limitierung von Positions-/Segment-Markern: Das Paper zeigt auf, dass Positions-Encodings und weiche Segment-Marker (z. B. [INST]) unzureichend sind, da sie den Ort kodieren, aber nicht die unveränderliche Provenienz, und somit von Adversaries gefälscht werden können.
Quantitative Grenzen: Die Autoren leiten eine Grenze ab, die zeigt, dass mit steigendem Rechenbudget eines Angreifers die Fähigkeit, zwischen vertrauenswürdigen und adversariellen Repräsentationen zu unterscheiden, gegen das Zufallsraten konvergiert (die TV-Distanz nähert sich 0).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Prompt Injection nicht bloß ein Defekt ist, der behoben werden kann, sondern eine strukturelle Schwachstelle, die der Shared-Embedding-Architektur inhärent ist.

Architektonische Analogie: Die Bedeutung liegt in der Umdeutung von Prompt Injection als analog zu der Code-Data-Confusion in Von-Neumann-Maschinen. So wie Buffer Overflows eine mehrschichtige Verteidigung (Stack Canaries, ASLR, NX-Bits) und letztlich speichersichere Sprachen erforderten, um sie einzudämmen, erfordert Prompt Injection eine architektonische Trennung von Instruktions- und Datenkanälen.
Implikationen für die Verteidigung: Die Autoren argumentieren, dass das Vertrauen auf „besseres Training“ oder „In-Pipeline-Klassifizierung“ allein unzureichend ist. Eine reife Verteidigungsstrategie muss Folgendes beinhalten:
1. Architektonische Mitigationsmaßnahmen: Durchsetzung einer unveränderlichen Trennung zwischen vertrauenswürdiger Kontrolle und unvertrauenswürdigem Inhalt (z. B. disjunkte Encoder, typisierte Attention).
2. Laufzeit-Schutzmaßnahmen: Mehrschichtige Abwehr, ähnlich wie ASLR oder Stack Canaries.
3. Langfristiger Paradigmenwechsel: Übergang zu „semantisch sicheren“ Repräsentationsparadigmen, die die Shared-Embedding-Confusion durch Konstruktion eliminieren.

Das Paper schließt mit der Feststellung, dass nützliche Systeme zwar Benutzereingaben nicht ignorieren müssen, eine perfekte Prävention jedoch ohne die Durchsetzung der Kontrolltrennung auf architektonischer Ebene unmöglich ist. Bis eine solche Trennung erreicht ist, bleibt Prompt Injection ein irreduzibles Risiko in LLM-integrierten Anwendungen.