💬 NLP

Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms

Die Arbeit stellt mit CSTM-Bench einen neuen Benchmark vor, der die Unzulänglichkeit von sesssionsunabhängigen KI-Sicherheitsmechanismen bei verteilten Angriffen aufdeckt und einen spezialisierten Algorithmus mit einem neuen Metrik-System zur effektiven Erkennung solcher Cross-Session-Bedrohungen entwickelt.

Ursprüngliche Autoren: Ari Azarafrooz

Veröffentlicht 2026-04-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ari Azarafrooz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der vergessliche Wächter

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber vergesslichen Sicherheitswächter an der Tür Ihres Hauses (dem KI-Agenten).

Wie er normalerweise arbeitet: Er schaut sich jede Person an, die an die Tür klopft. Wenn die Person harmlos aussieht, lässt er sie rein. Er vergisst aber sofort wieder, wer gerade da war, sobald die nächste Person kommt.
Das neue Problem: Ein cleverer Einbrecher weiß das. Er kommt nicht mit einer einzigen Waffe oder einem einzigen bösen Plan. Stattdessen kommt er über 50 oder 100 verschiedene Tage (Sitzungen).
- Tag 1: Er fragt nach dem Wetter. (Harmlos)
- Tag 2: Er fragt nach dem Mülltermin. (Harmlos)
- Tag 3: Er fragt nach dem Code für das Garagentor. (Harmlos, wenn man den Kontext nicht kennt)
- ...
- Tag 50: Er fragt nach dem Code für den Tresor.

Jeder einzelne Tag sieht für den vergesslichen Wächter völlig harmlos aus. Aber wenn man alle Tage zusammenzählt, ergibt sich ein kompletter Einbruchsplan. Der Wächter sieht nur die einzelnen Puzzleteile, nicht das ganze Bild. Das ist das Problem, das dieses Papier "Cross-Session Threats" (Bedrohungen über Sitzungen hinweg) nennt.

Die Lösung: Ein intelligenter Notizblock (CSTM-Bench)

Die Forscher von Intrinsec AI haben ein neues Werkzeug entwickelt, um dieses Problem zu testen und zu lösen. Sie nennen es CSTM-Bench. Man kann es sich wie ein Labor für Einbrecher-Tests vorstellen.

1. Der neue Test (Das Benchmark)

Statt nur zu schauen, ob ein einziger Satz böse ist, haben die Forscher 26 verschiedene Arten von "langsamen Einbrüchen" (Attack Taxonomien) erstellt.

Die "Bösen" (Attack): Szenarien, bei denen der Einbrecher über viele Tage hinweg Informationen sammelt.
Die "Guten" (Benign): Szenarien, die harmlos sind, aber so aussehen, als wären sie verdächtig (z. B. jemand, der einfach nur viele Fragen stellt, weil er unsicher ist).
Die "Schwierigen" (Benign-hard): Szenarien, die wie ein Einbruch aussehen, aber eigentlich nur normale Arbeit sind.

Das Ziel ist zu testen, ob ein Sicherheitsystem nicht nur die einzelnen Tage, sondern die Gesamtheit der Tage verstehen kann.

2. Der Versuch mit dem "Alles-Notizbuch" (Full-Log Correlator)

Eine erste Idee war: "Warum schreiben wir nicht einfach alles auf, was je passiert ist, und lesen das ganze Buch am Ende?"

Das Problem: Stellen Sie sich vor, der Einbrecher schreibt 10.000 Seiten harmlose Texte, und auf Seite 9.999 steht der Einbruchsplan. Wenn Sie versuchen, das ganze Buch auf einmal zu lesen, wird Ihr Gehirn (die KI) müde. Sie verlieren den Faden. Oder schlimmer: Der Einbrecher schreibt so viel harmlosen Unsinn, dass der wichtige Hinweis untergeht (wie eine Nadel im Heuhaufen).
Das Ergebnis: Die Forscher haben gezeigt, dass selbst die stärksten KIs, wenn sie versuchen, alles auf einmal zu lesen, oft scheitern, weil sie von der Masse an harmlosen Informationen erdrückt werden.

3. Die echte Lösung: Der "Kluge Notizblock" (Coreset Memory Reader)

Die Forscher schlagen eine bessere Methode vor: Ein begrenzter, intelligenter Notizblock.
Statt alles aufzuschreiben, schaut sich der Wächter jede Nachricht an und fragt sich: "Ist das hier wichtig oder nur belangloser Smalltalk?"

Wenn es belanglos ist, wird es weggeworfen.
Wenn es wichtig ist (ein "Signal"), wird es in den Notizblock geschrieben.
Wenn der Block voll ist (z. B. 50 Einträge), wird das am wenigsten wichtige alte Ding durch das wichtigste neue Ding ersetzt.

Warum ist das besser?
Der Wächter muss nicht 10.000 Seiten lesen. Er liest nur die 50 wichtigsten Seiten, die den Einbruchsplan enthüllen. Er ignoriert den "Rauschen" (den harmlosen Unsinn) und konzentriert sich auf das, was wirklich zählt.

Ein neues Maß für Erfolg: Stabilität vs. Kosten

Das Papier führt auch eine neue Art zu messen ein, wie gut ein System funktioniert. Es reicht nicht, nur den Einbrecher zu fangen. Das System muss auch schnell und günstig bleiben.

Stellen Sie sich vor, der Wächter muss jeden Tag sein Notizbuch neu sortieren.

Wenn er das Buch ständig durcheinanderwirft (jedes Mal eine andere Reihenfolge), muss er alles neu lesen. Das kostet Zeit und Energie.
Wenn er das Buch stabil hält (die wichtigsten Einträge bleiben an der gleichen Stelle), kann er schnell weiterarbeiten.

Die Forscher haben eine Formel erfunden, die beides kombiniert:

Fangquote: Hat er den Einbrecher erwischt?
Stabilität: Hat er das Notizbuch ruhig gehalten, ohne alles neu sortieren zu müssen?

Fazit: Was wir daraus lernen

Die Botschaft des Papiers ist einfach:
Wir können KI-Sicherheit nicht mehr nur "Satz für Satz" prüfen. KI-Agenten werden immer länger und komplexer. Ein Angreifer kann sich über Monate verteilen.

Alte Methode: "Schau dir nur den aktuellen Satz an." -> Scheitert.
Neue Methode: "Behalte einen kleinen, intelligenten Überblick über das Wichtigste, das in der Vergangenheit passiert ist." -> Funktioniert.

Es ist wie bei einem Detektiv: Ein guter Detektiv merkt sich nicht jeden einzelnen Kaffee, den er getrunken hat, aber er merkt sich genau, wann der Verdächtige das Haus betreten hat und welche seltsamen Fragen er stellte. Das Papier zeigt uns, wie man KI-Agenten diesen "guten Detektiv" gibt, damit sie nicht von der Masse an harmlosen Informationen überwältigt werden.

1. Das Problem: Zustandslose Guardrails vs. Zustandsbehaftete Bedrohungen

Das Papier identifiziert eine fundamentale Lücke in der aktuellen Sicherheit von KI-Agenten:

Zustandslose Abwehr: Herkömmliche Sicherheitsmechanismen (Guardrails, DLP-Filter) sind „zustandslos" (stateless). Jede Nachricht wird isoliert bewertet, ohne Kontext aus vorherigen Sitzungen oder Sitzungen anderer Agenten.
Zustandsbehaftete Angriffe: Moderne Angriffe nutzen diese Isolation aus, indem sie eine Attacke über Dutzende oder Hunderte von Sitzungen verteilen. Kein einzelnes Element enthält den schädlichen Payload; erst die Aggregation (das „Gesamtbild") bildet die Bedrohung.
Beispiele:
- Slow-Drip Prompt Injection: Ein Jailbreak wird über 50+ Sitzungen in harmlose Fragmente zerlegt.
- Kompositionelle Exfiltration: Daten werden über mehrere Sitzungen gesammelt (z. B. erst Konfigurationsdateien lesen, dann zusammenfassen, dann senden).
- Semantisches Waschen (Laundering): Sensible Daten werden durch neutrale Zusammenfassungen in späteren Sitzungen „gewaschen", bevor sie exfiltriert werden.
Versagen bestehender Systeme: Selbst SIEM-Systeme (Security Information and Event Management), die Logs nachträglich korrelieren, sind zu langsam und architektonisch ungeeignet, da die Intention des Angreifers oft bereits im Eingabe-Prompt liegt, bevor ein schädliches Ereignis im Backend passiert.

2. Methodik und Benchmark-Design (CSTM-Bench)

Die Autoren stellen CSTM-Bench (Cross-Session Threat Memory Benchmark) vor, einen neuen Standard zur Evaluierung von Cross-Session-Erkennungssystemen.

Datensatz:
- Enthält 26 ausführbare Angriffstaxonomien, klassifiziert nach zwei Achsen:
  1. Kill-Chain-Stadien (basierend auf dem Promptware Kill Chain Framework).
  2. Cross-Session-Operationen: Accumulate (Akkumulieren), Compose (Zusammensetzen), Launder (Waschen), Inject_on_Reader (Injection in den Korrelator selbst).
- 7 Identitätsanker (Identity Anchors): Jede Szene ist an eine spezifische Agenten-Rolle gebunden (z. B. Kundensupport, DevOps, Finanzberater), die als Ground-Truth für Policy-Verletzungen dient.
- Drei Szenario-Klassen:
  1. Attack: Echte Angriffe.
  2. Benign-pristine: Saubere, legitime Arbeit.
  3. Benign-hard: Realistische „Confounder" (Verwirrungsmuster), die Angriffsstrukturen imitieren, aber harmlos sind (z. B. lange Genehmigungssequenzen).
Zwei Datensplits:
1. Dilution (Verdünnung): Misst, wie gut ein Korrelator Angriffe erkennt, wenn sie in viel harmlosen Daten „verdünnt" sind (Signal-Rausch-Verhältnis).
2. Cross-Session (Adversarial): Ein geschlossener Loop-Adversary (ein LLM) hat die Angriffe so umgeschrieben, dass sie von einem isolierten Session-Judge als harmlos eingestuft werden, aber die cross-session Artefakte (URLs, Dateipfade) erhalten bleiben. Dies testet die reine Cross-Session-Erkennungsfähigkeit.

3. Schlüsselbeiträge

Formalisierung des Problems und Datensatz: CSTM-Bench macht das Problem messbar und bietet einen reproduzierbaren Benchmark mit Ground-Truth-Policies.
Messung der LLM-Korrelator-Fähigkeiten: Die Studie zeigt empirisch, dass reine LLM-basierte Korrelatoren (selbst mit großen Kontextfenstern) bei verdünnten oder adversarial umgeschriebenen Angriffen massiv an Recall verlieren.
Architektonische Lösung & Metrik:
- Coreset Memory Reader: Eine Architektur, die einen begrenzten Speicher (Buffer) verwendet, um nur die hochsignifikanten Fragmente zu behalten, anstatt den gesamten Log zu speichern.
- CSR_prefix (Coreset Stability Rate): Eine neue Metrik, die die Stabilität der Reihenfolge im Puffer misst. Sie ist ein Proxy für die Serving-Kosten (KV-Cache-Wiederverwendung). Ein instabiler Puffer zwingt das LLM zur Neuberechnung, was teuer ist.
- Composite Score (CSTM): Ein nicht-kompensierender Score, der Erkennungsqualität (F1) und Kosteneffizienz (CSR) kombiniert:
  $CSTM = 0.7 \cdot F1 + 0.3 \cdot CSR_{prefix}$

4. Ergebnisse

Die Evaluation verglich drei Ansätze gegen beide Datensplits (unter Verwendung von Anthropic Claude Modellen):

Per-Session Judge (Zustandslos):
- Erkennt auf dem Dilution-Split fast alle Angriffe (26/26), da die Fragmente dort noch sichtbar sind.
- Scheitert komplett auf dem Cross-Session-Split (Recall sinkt auf ~54%), da der Adversary die einzelnen Sitzungen so umformuliert hat, dass sie isoliert harmlos wirken.
Full-Log Correlator (Unbegrenzter Kontext):
- Führt alle Logs chronologisch zusammen.
- Ergebnis: Scheitert ebenfalls signifikant auf dem Cross-Session-Split (Recall sinkt von ~88% auf ~50%).
- Ursache: Selbst bei Kontextfenstern von 1M+ Token führt die „Signal-Verdünnung" durch den massiven benignen Datenstrom dazu, dass das LLM den Angriff übersehen. Zudem ist es anfällig für Inject_on_Reader-Angriffe, bei denen die Konkatination der Logs selbst zum Prompt-Injection-Vektor wird.
Coreset Memory Reader (Begrenzter, bewerteter Puffer):
- Nutzt einen Puffer der Größe K=50, der nur die „überraschendsten" (höchste Signifikanz) Nachrichten behält.
- Ergebnis: Dies ist der einzige Ansatz, der auf dem Cross-Session-Split robust bleibt (Recall ~73%, deutlich besser als die anderen).
- Begründung: Durch das Herausfiltern des „Rauschens" (harmloser Daten) bleibt das eigentliche Angriffsmuster für das Korrelator-LLM sichtbar. Zudem ist es weniger anfällig für Inject-on-Reader, da die schädliche Konkatination nie vollständig gebildet wird.

5. Bedeutung und Schlussfolgerung

Das Papier liefert einen entscheidenden Beweis dafür, dass größere Kontextfenster allein keine Lösung für Cross-Session-Sicherheit sind.

Architektonischer Wandel: Die Zukunft der KI-Sicherheit liegt nicht im Speichern aller Daten, sondern in einem informatorischen Flaschenhals (Information Bottleneck). Ein intelligenter, begrenzter Puffer, der nur die relevantesten Fragmente auswählt, ist effektiver und kostengünstiger als ein Full-Log-Ansatz.
Kosten-Nutzen-Abwägung: Die Einführung der CSR_prefix-Metrik zeigt, dass Sicherheitssysteme nicht nur auf Genauigkeit optimiert werden dürfen, sondern auch auf die Stabilität ihrer internen Zustände, um die Inferenzkosten (KV-Cache-Nutzung) in Echtzeit-Systemen beherrschbar zu halten.
Community-Aufruf: Die Autoren laden die Community ein, diesen Benchmark zu nutzen, um bessere Ranker-Algorithmen zu entwickeln und die Ergebnisse über verschiedene LLM-Anbieter hinweg zu validieren.

Zusammenfassend demonstriert CSTM-Bench, dass Cross-Session-Bedrohungen eine neue Klasse von Angriffen darstellen, die nur durch architektonische Innovationen (begrenzte, intelligente Speichermechanismen) und nicht durch bloße Skalierung von Kontextfenstern bekämpft werden können.