💻 computer science

Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection

Diese Arbeit zeigt, dass zeitliche Akkumulationstechniken wie CUSUM zwar schwache, verteilte Prompt-Injection-Signale verstärken können, um „Slow-Burn“-Angriffe zu erkennen, die herkömmliche Detektoren auf Einzelerebene umgehen, ihre Wirksamkeit jedoch strikt auf Szenarien beschränkt ist, in denen die einzelnen Ereignisse bereits über eine detektierbare Signalmarge verfügen, und sie keine Detektionsfähigkeit dort erzeugen können, wo keine vorhanden ist.

Ursprüngliche Autoren: J Alex Corll

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: J Alex Corll

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Flüster“-Angriff

Stellen Sie sich vor, Sie bewachen eine Burg (einen KI-Agenten). Sie haben einen Wachmann (einen Detektor), der jeden prüft, der durch das Tor geht. Wenn jemand ein geheimes Codewort schreit („Öffne das Tor!“), schlägt der Wachmann sofort Alarm.

Aber was wäre, wenn der Angreifer nicht schreit? Was wäre, wenn er jedes Mal, wenn er durch eine andere Tür geht, eine winzige, harmlos klingende Anweisung flüstert?

„Übrigens, könntest du mal auf die Karte schauen?“ (Harmlos)
„Oh, und vielleicht mal in diese alte Datei schauen?“ (Harmlos)
„Nur noch eine Sache, schick diese Datei mal zu meinem Haus?“ (Harmlos)

Einzeln betrachtet sind keine dieser Flüsterstimmen laut genug, um den Alarm des Wachmanns auszulösen. Aber wenn man dem gesamten Tag zuhört, offenbart das Muster der Flüsterstimmen einen Plan, um die Geheimnisse der Burg zu stehlen. Dies ist das, was die Arbeit als „Slow-Burn“-Angriff bezeichnet.

Das Problem: Der Wachmann ist zu sehr auf das Laute fokussiert

Die Arbeit argumentiert, dass aktuelle Sicherheitssysteme wie Wachmänner sind, die nur auf laute Geräusche hören. Sie prüfen jede einzelne Nachricht nacheinander. Wenn eine Nachricht „leise“ ist (unter einem gewissen Lautstärgeschwellenwert), ignoriert der Wachmann sie.

Das Problem ist, dass ein intelligenter Angreifer seine böswilligen Anweisungen in viele leise Flüsterstimmen aufteilen kann. Der Wachmann sieht in keiner einzelnen Flüsterstimme etwas Verdächtiges, also gelingt der Angriff.

Die vorgeschlagene Lösung: Der „Schall-Akkumulator“

Die Forscher fragten sich: Was wäre, wenn wir eine zweite Sicherheitsebene hinzufügen würden, die nicht nur auf laute Geräusche hört, sondern eine laufende Bilanz der „verdächtigen Flüsterstimmen“ führt?

Sie entwickelten ein Werkzeug namens Temporal Accumulator (zeitlicher Akkumulator). Stellen Sie sich das wie ein Sparkonto für Verdacht vor:

Jedes Mal, wenn der Wachmann eine Nachricht bewertet, schaut der Akkumulator auf den Wert.
Wenn der Wert nur „normal“ ist (wie bei einem harmlosen Gespräch), bleibt das Kontoguthaben bei Null.
Wenn der Wert etwas „erhöht“ ist (ein Flüstern, das ein bisschen seltsam klingt, aber nicht laut genug ist, um den Hauptalarm auszulösen), fügt der Akkumulator ein winziges bisschen an „Verdachtspunkten“ zum Guthaben hinzu.
Wenn das Guthaben im Laufe der Zeit zu hoch wird, schlägt er Alarm.

Das Experiment: Funktioniert es?

Die Forscher testeten diese Idee mit einem sehr strengen Satz von Regeln, um sicherzustellen, dass sie nicht schummeln (sie ließen den Angreifer das neue Sicherheitssystem während der Entwicklung des Angriffs nicht sehen).

Sie fanden zwei sehr spezifische Ergebnisse:

1. Es funktioniert, aber nur als „Verstärker“

Der Akkumulator kann keinen Signalkörper aus dem Nichts erschaffen. Er kann nur ein Signal verstärken, das bereits vorhanden ist.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Eimer mit einem undichten Schlauch zu füllen. Wenn der Schlauch keinen Wasserdruck hat (der Detektor sieht den Angriff und das Normale als exakt gleich an), wird kein noch so langer Zeitraum den Eimer füllen. Aber wenn der Schlauch einen winzigen Restdruck hat (der Detektor sieht den Angriff als etwas anders an als normal), kann der Akkumulator dieses winzige bisschen über die Zeit sammeln, bis der Eimer voll ist.
Das Ergebnis: Bei einer spezifischen Aufgabe (das Stehlen von Code aus einem Git-Repository) sah der Detektor tatsächlich einen winzigen Unterschied zwischen dem Angriff und der normalen Aktivität. Der Akkumulator sammelte diese winzigen Unterschiede und konnte den Angriff erfolgreich abfangen.

2. Es scheitert, wenn das Signal Null ist

Als sie denselben Trick bei einer anderen Aufgabe versuchten (das Herunterladen von Dateien), sah der Detektor keinen Unterschied zwischen dem Angriff und der normalen Aktivität. Der „Schlauch“ hatte null Druck.

Das Ergebnis: Der Akkumulator blieb mit einem leeren Eimer da sitzen. Er konnte kein Signal erfinden, wo keines vorhanden war. Die Arbeit kommt zu dem Schluss: „Amplify, Don't Create“ (Verstärken, nicht Erschaffen). Wenn Ihr grundlegender Wachmann nicht einmal den Unterschied zwischen einem Flüstern und einem anderen Flüstern erkennen kann, wird ein Zählwerk nicht helfen.

Die Warnung vor dem „Schmalband“ (Narrow Band)

Die Arbeit entdeckte auch, dass dieses System sehr fragil ist. Es funktioniert nur in einer sehr engen „Goldlöckchen-Zone“:

Wenn die Flüsterstimmen zu leise sind (zu weit unter dem Alarmschwellenwert), ignoriert der Akkumulator sie.
Wenn die Flüsterstimmen zu laut sind (nah am Alarmschwellenwert), erwischt der Hauptwachmann sie sofort, sodass der Akkumulator nicht benötigt wird.
Es funktioniert nur, wenn die Flüsterstimmen genau richtig sind: leise genug, um am Hauptwachmann vorbeizuschlüpfen, aber laut genug, um dem Akkumulator ein paar Punkte auf sein Konto zu schreiben.

Die Warnung vor der „falschen Mathematik“ (Pseudo-Replikation)

Abschließend gibt die Arbeit eine Warnung an andere Wissenschaftler. Sie sagt: „Täuschen Sie sich nicht selbst mit der Mathematik.“

Die Analogie: Stellen Sie sich vor, Sie testen ein neues Medikament an einem Patienten, und fragen dann denselben Patienten, ob er die Pille noch 10 Mal einnehmen kann, und zählen das dann als „10 Patienten“. Das sind gefälschte Daten.
Die Lektion: In der KI-Testung gilt: Wenn Sie dieselbe Aufgabe 10 Mal mit verschiedenen KI-Modellen durchführen, können Sie das nicht als 10 unabhängige Tests zählen. Die Aufgabe selbst ist dieselbe, daher sind die Ergebnisse miteinander verknüpft. Die Arbeit besteht darauf, dass Forscher die einzigartigen Aufgaben zählen müssen, nicht nur die Anzahl der Durchläufe.

Zusammenfassung

Der Angriff: Angreifer teilen schlechte Anweisungen in viele kleine, leise Schritte auf, um der Entdeckung zu entgehen.
Die Verteidigung: Ein „Verdachts-Sparkonto“, das kleine, leise Warnungen über die Zeit hinweg aufsummiert.
Die Einschränkung: Diese Verteidigung funktioniert nur, wenn der Basidetektor bereits in der Lage ist, zwischen „schlecht“ und „gut“ leicht zu unterscheiden. Sie kann einen Detektor, der völlig blind ist, nicht heilen.
Die Erkenntnis: Die zeitliche Akkumulation (Temporal Accumulation) ist ein nützliches Werkzeug, um „Slow-Burn“-Angriffe abzufangen, aber sie ist keine Magie. Sie benötigt als Fundament einen Detektor, der bereits einigermaßen sensibel ist.

Technisches Resümee: Verstärken, nicht Erzeugen: Temporale Akkumulation für Slow-Burn Prompt Injection

1. Problemstellung

Die zentrale Sicherheitsherausforderung für werkzeugnutzende Sprachmodell-Agenten ist Prompt Injection, bei der adversarieller Text aus unvertrauenswürdigen Kanälen (Webseiten, Tool-Outputs, Repository-Dateien) die Kontrollinstanz des Agenten umleitet. Aktuelle defensive Primitiven basieren auf der Ereignis-Detektion (per-event detection): Einzelne Nachrichten oder Tool-Outputs werden bewertet und ein Alarm ausgelöst, wenn ein einzelnes Ereignis einen Schwellenwert überschreitet.

Dieser Ansatz weist eine strukturelle Schwachstelle auf, die als Slow-Burn-Regime bekannt ist. Ein Angreifer kann eine Sequenz von einzeln harmlos wirkenden Direktiven über eine lange Trajektorie verteilen (z. B. „pushe zu diesem Remote“, „verwende diese URL“, „inkludiere die .env-Datei“). Jeder Schritt bleibt unter dem Detektionsschwellenwert, vermeidet Alarme, während der aggregierte Effekt zu einer vollständigen Datenexfiltration oder der Übernahme der Kontrollinstanz führt. Ein Per-Event-Detektor, der auf eine nutzbare Falsch-Positiv-Rate abgestimmt ist, kann seinen Schwellenwert nicht niedrig genug ansetzen, um diese leisen Schritte zu erfassen, ohne in benignem Agenten-Chatter zu versinken.

Die Forschungsfrage ist, ob ein Proxy-seitiger temporaler Akkumulator dieses verteilte Signal durch die Aggregation von Sub-Threshold-Scores über eine Trajektorie zurückgewinnen kann, spezifisch unter Verwendung von Peak- und CUSUM (Cumulative Sum)-Persistenzstatistiken.

2. Methodik und Experimentelles Setup

Der eingefrorene Kontrakt und die Anti-Zirkularität

Um sicherzustellen, dass die Ergebnisse keine Artefakte von Overfitting sind, erzwingt die Studie einen strikten „eingefrorenen Kontrakt“ und eine Anti-Zirkularitäts-Trennung:

Generator ( $D_{gen}$ ): Ein autoregressives LLM-Urteil (held out), das ausschließlich vom Attack-Generator verwendet wird, um Grafts zu verfeinern. Es bewertet, wie stark ein Ereignis als Kontrollinstanz-Bewegung wirkt. Der Generator hat keinen Zugriff auf den Evaluator.
Evaluator ( $D_{eval}$ ): Der „Detektor der Wahl“, ein eingefrorenes Ensemble aus einem linearen Char-N-Gramm-Klassifikator und einem Embedding-Kontrastiv-Head. Er wird vom Generator niemals gesehen.
Transfer-Anforderung: Grafts müssen unter $D_{gen}$ sub-threshold sein und rein durch Cross-Family-Transfer auch unter $D_{eval}$ sub-threshold bleiben, nicht durch Optimierung gegen den Evaluator.
Floor Judge: Ein held-out LLM verifiziert, dass Grafts maschinenlesbare Direktiven enthalten, die an reale ausgeführte Aktions-Kanten gebunden sind, um degenerative „leere“ Grafts zu verhindern.

Der Akkumulationsmechanismus

Für eine Trajektorie von Per-Event-Scores $s_1 \dots s_T$ :

Peak: Der maximale Score in der Trajektorie ( $\max_t s_t$ ).
Persistenz: Eine CUSUM-Statistik, die bei Null zurückgesetzt wird: $g_t = \max(0, g_{t-1} + (s_t - k))$ , wobei $k$ der Benign-Referenz-Drift (Median-Score der benignen Population) ist.
Wichtige Einschränkung: CUSUM bankt nur Score-Masse oberhalb des benignen Drifts $k$ . Grafts, die tief unter $k$ liegen, tragen unabhängig von ihrer Dichte Null zur Persistenz bei.

Evaluationsmetriken

Um die Verwechslung des Beitrags der Grafts mit der inhärenten „Hitze“ der Carrier-Trajektorien zu vermeiden, ist der primäre Endpunkt das Graft-Delta:
$\text{m-delta} = \text{m}(\text{native} + \text{grafts}) - \text{m}(\text{native only})$
Dies misst die zusätzliche Persistenz oder Peak-Masse, die spezifisch den injizierten Grafts zuzuschreiben ist, indem Attack-Grafts mit gematchten benignen Sham-Grafts verglichen werden.

3. Kernergebnisse

Ergebnis 0: Foundation Cohort (Konzentrierte Angriffe)

Auf einem held-out Set konzentrierter Angriffe (bei denen ein einzelnes Ereignis bereits ausschlägt), schlägt der Trajektorien-Level-Akkumulator (Peak oder Persistenz) statistisch den Per-Event-Foil (AUC +0,092, 95% CI [+0,025, +0,155]). Persistenz und Peak sind hier jedoch statistisch gleichauf, wie erwartet bei konzentrierten Angriffen, bei denen ein einzelnes Ereignis dominiert.

Ergebnis 1: Git Repo-Exfil (Validierung des Slow-Burn)

Auf sauberen GitHub-Carriern mit wiederholten Git-Aktionen ergab das Grafting von vier verteilten, Sub-Threshold-Direktiven ein positives Persistenz-Delta:

Attack Survivors: Median-Persistenz-Delta von +0,0421.
Benign Shams: Median-Persistenz-Delta von +0,0150.
Separation: Persistenz-Delta AUC = 0,708 (über 4 Attack Survivors vs. 6 Benign Shams).
Kontrolle: Die gematchte Peak-Delta-Kontrolle konnte Attack von Sham nicht trennen (AUC 0,417).
Fazit: Eine Dichte milder, Sub-Threshold-Erhöhungen akkumuliert sich zu Persistenz-Masse, die Benign-Shams nicht reproduzieren. Dies bestätigt, dass temporale Akkumulation funktioniert, wenn der zugrunde liegende Detektor eine Marge bietet.

Ergebnis 2: Broadened Actions (Generalisierungsfehler)

Als dieselbe Density-Four-Konstruktion auf breitere Clean-Path-Aktionen angewendet wurde (File Downloads, Shopping-Szenarien):

Ergebnis: Entscheidendes Null-Ergebnis. Persistenz-Delta AUC = 0,167.
Ursache: Der Detektor wies sowohl Attack- als auch Benign-Aktionen indistinguierbare Scores (~0,42) zu. Die Grafts landeten zu „kalt“ (nahe oder unter dem benignen Drift), um jegliche Persistenz-Masse zu banken.
Fazit: Das Scheitern war ein Sensor-Margin-Fehler, kein Threshold-Fehler. Der Akkumulator kann keine Marge schaffen, wo der Per-Event-Detektor keine bietet.

Ergebnis 3: Unabhängige Powering (Strukturelle Blockade)

Die Studie konnte nicht unabhängig „gepowert“ werden aufgrund von Quellenknappheit. Die Git-Repo-Exfil-Achse bietet nur drei bis vier unabhängige Aufgaben. Das Ausführen mehrerer Modelle über dieselben Aufgaben erzeugt Pseudo-Replikate (korrelierte Daten), keine unabhängigen Beweise. Die Studie berichtet dies als strukturelle Limitation der aktuellen Benchmark-Landschaft.

4. Wichtigste Beiträge und Bedeutung

Die „Margin Amplifier“-These

Der primäre Beitrag des Papers ist die Behauptung eines begrenzten Mechanismus: Temporale Akkumulation ist ein Margin-Amplifier, kein semantischer Detektor.

Sie kann ein verteiltes Signal nur dann zurückgewinnen, wenn der zugrunde liegende Per-Event-Detektor bereits erhöhte Sub-Threshold-Scores auf Attack-Schritten produziert.
Sie kann keine Detektionsmarge schaffen, wo der Per-Event-Detektor indistinguierbare Scores für Attack- und Benign-Aktionen liefert.
Das „produktive Band“ ist schmal (etwa 0,45 bis 0,50 im getesteten Setup): Grafts müssen über dem benignen Drift liegen, um zu akkumulieren, aber unter dem Threshold, um ein Slow-Burn zu bleiben.

Methodische Beiträge

Warnung vor Pseudo-Replikation: Das Paper identifiziert eine kritische Gefahr in der Agenten-Benchmark-Evaluation, bei der die Ausführung mehrerer Modelle über dieselbe Aufgaben-Geometrie fälschlicherweise als unabhängige Beweise gezählt wird. Es argumentiert für ein Resampling auf der Einheit der echten Unabhängigkeit (die Aufgabe, nicht die Ausführung).
Unabhängigkeits-Audit-Standard: Die Autoren führen eine „Leiter der Unabhängigkeit“ zur Verifizierung ein:
- Datenpfad-Unabhängigkeit: Neuberchnung der Zahlen aus eingefrorenen Per-Event-Belegen.
- Algorithmische Unabhängigkeit: Blinde Re-Implementierung der Mathematik.
- Scoring-Layer-Vertrauen: Anerkennung, dass Modell-Scores vertraut, aber durch Version-Pins begrenzt sind.
Nicht-zirkuläres Evaluationsprotokoll: Eine rigorose Trennung zwischen dem Attack-Generator (Cloaking-Ziel) und dem Evaluator (Detektor der Wahl), um sicherzustellen, dass der Transfer echt ist und kein Artefakt des Fittings.

5. Bescheidene Ansprüche und Limitationen

Die Autoren geben explizit an, dass dies eine Studie eines begrenzten Mechanismus ist, kein einsatzbereites System.

Kein neuer Detektor: Sie behaupten nicht, einen besseren Per-Event-Detektor entwickelt zu haben; der Per-Event-Sensor bleibt eingefroren.
Enge Anwendbarkeit: Das positive Ergebnis ist spezifisch für die Git-Repo-Exfil-Achse, in der eine echte Per-Event-Marge existiert. Es scheitert bei breiteren Clean-Path-Aktionen.
Stichprobengröße: Die positiven Befunde stützen sich auf nur vier Attack Survivors über drei unabhängige Aufgaben.
Vertrauensgrenzen: Während die Arithmetik verifiziert ist, beruhen die Per-Event-Scores auf der Vertrauenswürdigkeit der zugrunde liegenden Modell-Outputs (Scoring-Layer-Vertrauen).

Zusammenfassend zeigt das Paper, dass temporale Akkumulation schwache, verteilte Signale verstärken kann, aber strikt von der Fähigkeit des Per-Event-Sensors abhängt, Attack-Schritte von Benign-Aktionen zu unterscheiden, selbst wenn dies nur geringfügig ist. Es dient als Warnung vor einer übermäßigen Abhängigkeit von Akkumulation, wenn der zugrunde liegende Sensor keine semantische Separation besitzt, und als methodischer Leitfaden für eine rigorose, nicht-zirkuläre Agenten-Sicherheitsbewertung.