🤖 AI

PRISM: Generation-Time Detection and Mitigation of Secret Leakage in Multi-Agent LLM Pipelines

PRISM ist ein Echtzeit-Verteidigungsmechanismus für Multi-Agenten-LLM-Systeme, der die Offenlegung von Geheimnissen mindert, indem er frühe Generierungsdynamiken wie Entropie-Kollaps und Logit-Konzentration erkennt, um pro-Token einzugreifen, bevor sensible Informationen vollständig rekonstruiert sind, und erreicht auf einem umfassenden adversariellen Benchmark eine perfekte Präzision und keine Offenlegung.

Ursprüngliche Autoren: Riya Tapwal, Abhishek Kumar, Carsten Maple

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Riya Tapwal, Abhishek Kumar, Carsten Maple

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Team von vier Robotern vor, die zusammenarbeiten, um ein komplexes Problem zu lösen, etwa das Debuggen eines Computersystems. Sie tauschen Notizen in einem gemeinsamen Notizbuch (dem „Kontext") hin und her.

Hier ist das Problem: Wenn der erste Roboter versehentlich ein geheimes Passwort aus einer Datei aufgreift und es in das Notizbuch schreibt, könnte der zweite Roboter es sehen, in seine eigene Notiz kopieren und an den dritten weitergeben. Selbst wenn niemand beabsichtigt hat, das Passwort zu stehlen, wird das Geheimnis die Kette entlang weitergegeben, verstärkt und landet schließlich in der endgültigen Nachricht an den menschlichen Benutzer. Das Papier nennt dies „Propagation Amplification" (Ausbreitungsverstärkung). Es ist wie ein Spiel „Stille Post", aber anstatt dass die Nachricht verzerrt wird, wird sie gefährlich offengelegt.

Die alten Methoden zur Verhinderung von Lecks

Die Autoren sagen, dass die aktuellen Sicherheitswachen für diese Roboterteams wie Türsteher sind, die die Leute erst prüfen, nachdem sie den Club bereits verlassen haben.

Statische Scanner: Diese sind wie die Suche nach einem bestimmten roten Hemd. Wenn das Geheimnis in einer anderen Schriftart geschrieben oder auf seltsame Weise versteckt ist, übersieht der Scanner es.
LLM-Richter: Diese sind wie die Anstellung eines zweiten Roboters, der die endgültige Notiz liest und sagt: „Hmm, das sieht riskant aus." Aber bis sie es gelesen haben, ist das Geheimnis bereits draußen, und der Schaden ist geschehen.
Prompt-Anweisungen: Das ist wie den Robotern zu sagen: „Sprich nicht über Geheimnisse!" Aber wenn die Roboter verwirrt oder getäuscht sind, vergessen sie die Regel.

Die neue Lösung: PRISM

Das Papier stellt PRISM (Predictive Risk Intervention for Secret Monitoring) vor. Anstatt zu warten, bis die Notiz fertig ist, agiert PRISM wie ein Verkehrspolizist, der direkt neben dem Mund des Roboters steht, während dieser spricht.

PRISM schaut nicht nur darauf, was der Roboter sagt; es beobachtet, wie der Roboter denkt, während er spricht.

Der „Aha!"-Moment: Der Entropie-Zusammenbruch

Die größte Entdeckung des Papiers ist ein spezifisches Muster darin, wie Roboter denken, wenn sie kurz davor sind, ein Geheimnis preiszugeben.

Normales Denken: Wenn ein Roboter eine Geschichte schreibt oder ein mathematisches Problem löst, hat er viele Optionen für das nächste Wort. Es ist wie ein Mensch, der durch einen Wald wandert, mit vielen Pfaden zur Auswahl. Dies wird als „hohe Entropie" (viel Unsicherheit) bezeichnet.
Geheim-Denken: Wenn ein Roboter beginnt, ein auswendig gelerntes Geheimnis (wie ein Passwort) zu reproduzieren, hört er auf zu wandern. Er weiß genau, welcher Buchstabe als nächstes kommen muss. Der „Wald" schrumpft zu einem einzigen, geraden Pfad zusammen. Der Roboter wird extrem sicher, und seine „Unsicherheit" bricht zusammen.

PRISM erkennt diese plötzliche Verschiebung von „Wandern" zu „Sicherheit". Es sieht, wie das Gehirn des Roboters bevor das vollständige Geheimnis überhaupt niedergeschrieben ist, auf ein bestimmtes Muster festlegt.

Wie PRISM funktioniert (Das Ampelsystem)

PRISM weist jedem einzelnen Wort, das der Roboter sagen wird, einen Risikowert zu, indem es eine Mischung aus 16 verschiedenen Hinweisen verwendet (wie die Sicherheit des Roboters, die Form der Wörter und welche Werkzeuge es verwendet). Es verwendet ein Dreifarbensystem:

🟢 Grün (Sicher): Der Roboter plaudert nur oder löst ein normales Problem. Lassen Sie ihn sprechen.
🟡 Gelb (Verdächtig): Der Roboter wird etwas zu sicher bezüglich eines Musters, das wie ein Passwort aussieht. PRISM tauscht dieses Wort sanft gegen einen Platzhalter (wie [MASK]) aus, damit der Fluss weitergeht, das Geheimnis aber verborgen bleibt.
🔴 Rot (Gefahr): Der Roboter ist auf einem schnellen Weg, ein vollständiges Geheimnis preiszugeben. PRISM drückt sofort auf die Bremse und stoppt den Roboter, bevor das Geheimnis fertig ist.

Die Ergebnisse

Die Autoren testeten dies in einer massiven Simulation mit 2.000 verschiedenen Aufgaben und 13 verschiedenen Arten, die Roboter zu täuschen.

Die alten Wachen: Selbst die besten bestehenden Methoden ließen in etwa 15 % der Fälle Geheimnisse durchsickern.
PRISM: Es stoppte 100 % der Lecks. Es fing das Geheimnis nicht erst am Ende; es fing den Roboter während er versuchte, das Geheimnis zu schreiben.
Geschwindigkeit: Es war unglaublich schnell und fügte dem Gespräch fast keine Verzögerung hinzu, im Gegensatz zu anderen Methoden, die einen zweiten Roboter erforderten, der zuerst das Ganze lesen musste.

Das Fazit

Das Papier argumentiert, dass in einem Team von KI-Agenten Geheimnisse nicht nur wegen eines schlechten Prompts durchsickern; sie sickern durch, weil der Aufbau des Teams selbst es ist. Sobald ein Geheimnis in das gemeinsame Notizbuch gelangt, breitet es sich wie ein Virus aus. PRISM ist das erste Werkzeug, das wie ein Immunsystem funktioniert, die frühen Symptome der Infektion (die plötzliche Sicherheit des Roboters) aufspürt und es stoppt, bevor sich das Virus auf die endgültige Ausgabe ausbreitet.

Technische Zusammenfassung: PRISM – Generierungszeit-Erkennung und -Minderung von Geheimnisleckagen in Multi-Agenten-LLM-Pipelines

1. Problemstellung: Propagationsverstärkung

Die Studie identifiziert eine kritische strukturelle Schwachstelle in Multi-Agenten-Systemen mit Large Language Models (LLMs): die Propagationsverstärkung. Im Gegensatz zu Einzelmodell-Bereitstellungen verlassen sich Multi-Agenten-Pipelines (z. B. AutoGen, ChatDev, MetaGPT) auf einen gemeinsamen, anhängenden Kontext, in dem Agenten Informationen sequenziell weitergeben.

Die Autoren formalisieren, dass, wenn ein sensibles Geheimnis $s$ von einem vorgelagerten Agenten $A_i$ abgerufen wird, es in den gemeinsamen Kontext $C$ gelangt. Nachgelagerte Agenten $A_{i+1} \dots A_K$ konsumieren diesen Kontext. Selbst wenn ein nachgelagerter Agent das Geheimnis nicht explizit für die Ausführung seiner Aufgabe benötigt, steigt die Wahrscheinlichkeit, dass es das Geheimnis reproduziert, mit der Tiefe der Pipeline. Die Studie modelliert die Leckage-Wahrscheinlichkeit als:
$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$
wobei $p_j$ die Wahrscheinlichkeit der Reproduktion ist. Unter der Annahme, dass die pro-Agenten-Reproduktionswahrscheinlichkeit nicht null ist, kumuliert sich das kumulative Risiko, je tiefer die Pipeline wird. Empirische Daten aus einer ungeschützten Vier-Agenten-Pipeline zeigen eine Task-Level-Leckagerate von 71,2 %, was bestätigt, dass Leckagen eine strukturelle Folge der Zusammensetzung gemeinsamer Kontexte sind und nicht lediglich das Ergebnis adversarischer Prompting.

Bestehende Verteidigungsmechanismen sind für dieses Setting ungeeignet:

Statische Scanner (z. B. detect-secrets, TruffleHog) verlassen sich auf Oberflächensignaturen und arbeiten nachträglich; sie erkennen keine partiellen Rekonstruktionen oder kontextuelle Wiederverwendungen.
LLM-as-judge/Guardrails arbeiten erst nach Abschluss der Generierung, wodurch Geheimnisse durch vorgelagerte Agenten propagiert werden können, bevor sie gefiltert werden.
Prompt-basierte Sicherheitsvorkehrungen verschlechtern sich unter Multi-Hop-Reasoning und adversarischer Rahmung.

2. Methodik: PRISM (Predictive Risk Intervention for Secret Monitoring)

PRISM ist ein Echtzeit-Verteidigungsmechanismus, der während des Token-Generierungsprozesses eingreift, bevor ein Geheimnis vollständig rekonstruiert und propagiert wird.

Kern-Erkenntnis

Die Autoren beobachten, dass die Reproduktion eines gespeicherten Credentials einer messbaren Verschiebung der Generierungsdynamik vorausgeht. Wenn ein LLM von einer offenen Generierung zur deterministischen Reproduktion eines strukturierten Geheimnisses (z. B. eines API-Schlüssels) übergeht, kollabiert die Token-Level-Entropie und die Logit-Konzentration nimmt zu. Dieser „Phasenübergang" dient als Frühwarnsignal.

Architektur

PRISM fungiert als pro-Token-Monitor, der in die Dekodierschleife jedes Agenten in der Pipeline integriert ist.

Feature-Extraktion: Bei jedem Dekodierschritt $t$ $t$ aggregiert PRISM einen 16-dimensionalen Merkmalsvektor $f_t$ $f_{t}$ , der Folgendes umfasst:
- Temporale Generierungsdynamik: Entropiekollaps, Logit-Konzentration (Divergenz) und Trajektorien-Eskalation (zunehmendes Risiko über die Schritte).
- Text-Strukturelle Signale: Identifikator-Muster (z. B. UUIDs, E-Mails), numerische Folgen und Regex-Übereinstimmungen im Stil von Credentials.
- Kontextuelle/Verhaltenssignale: Tool-Nutzung (z. B. read_file), Keyword-Dichte und n-Gramm-Überlappung.
Risikobewertung: Ein logistisches Regressionsmodell berechnet einen Risikoscore $r_t = \sigma(w^\top f_t + b)$ .
Interventionsrichtlinie: Der Score wird drei Zonen zugeordnet:
- GRÜN ( $r_t < \tau_1$ ): Token unverändert weitergeben.
- GELB ( $\tau_1 \le r_t < \tau_2$ ): Token bereinigen (durch [MASK] ersetzen), um die Sequenz zu unterbrechen, während die Ausgabe-Struktur erhalten bleibt.
- ROT ( $r_t \ge \tau_2$ ): Generierung sofort stoppen, um eine vollständige Geheimnis-Rekonstruktion zu verhindern.
Post-Generierungs-Audit (ZK-RC): Eine leichte Fallback-Schicht unter Verwendung von gehashten 8-Gramm-Abgleichen (SHA-256), um verbleibende Fragmente zu erfassen, falls einzelne Tokens unter den Schwellenwert fielen, aber gemeinsam ein Geheimnis bildeten.

3. Hauptbeiträge

Formalisierung der Propagationsverstärkung: Die Studie liefert ein probabilistisches Modell, das zeigt, wie das Leckagerisiko über Agentengrenzen hinweg in gemeinsamen Kontext-Pipelines kumuliert, und unterscheidet dies von Leckagen in Einzelmodellen.
PRISM-Framework: Einführung einer Verteidigung zur Generierungszeit, die Leckagen als Problem der sequenziellen Risikokumulation behandelt und pro-Token-Eingriffe statt nachträglicher Filterung nutzt.
Signal-Komplementarität: Identifikation, dass weder temporale Dynamiken (Entropie/Logits) noch strukturelle Hinweise (Muster) allein ausreichen. Die Kombination aus Entropiekollaps und Identifikator-Muster-Erkennung ist für eine hohe diskriminierende Kraft erforderlich.
Benchmark-Erstellung: Erstellung eines 2.000-Task-Adversarial-Benchmarks, der 13 Angriffs-Kategorien (z. B. Prompt-Injection, Social Engineering, Inter-Agenten-Propagierung) und drei Druckstufen (Niedrig, Mittel, Hoch) in einer heterogenen Vier-Agenten-Pipeline abdeckt.

4. Experimentelle Ergebnisse

Evaluiert gegen 10 Baseline-Verteidigungsmethoden (einschließlich Span Tagger, GBT Classifier, LLM Judge und statische Scanner) auf dem 2.000-Task-Benchmark:

Leckage-Prävention: PRISM erreichte eine Task-Level-Leckagerate von 0,0 %, was bedeutet, dass bei keinem Task ein vollständig rekonstruiertes Geheimnis in der finalen Ausgabe erschien. Dies ist die einzige Methode, die die beobachtete Leckage im Benchmark eliminierte.
Leistungsmetriken:
- F1-Score: 0,832 (besser als die stärkste Baseline, Span Tagger, mit 0,719).
- Präzision: 1,000 (keine False Positives).
- Recall: 0,712.
- Nützlichkeit: 0,893 (89,3 % der benignen Tasks wurden unverändert durchgelassen).
Vergleich:
- Span Tagger: 15,0 % Task-Level-Leckagerate.
- GBT Classifier: 19,2 % Task-Level-Leckagerate.
- Statische Scanner/LLM-Judges: >60 % Task-Level-Leckageraten.
Robustheit: PRISM behielt über acht Oberflächen-Obfuskations-Transformationen (z. B. Hex-Codierung, Zeichen-Trennung) hinweg Detektionsraten von $\ge 95,9\%$ bei, während musterbasierte Baselines auf nahezu null Detektion absanken.
Latenz: PRISM fügt einen minimalen Overhead hinzu (~5,5 ms pro Task), arbeitet signifikant schneller als LLM-basierte Judges (>1.800 s) und ist mit leichten Muster-Matchern vergleichbar.

5. Bedeutung und Behauptungen

Die Studie argumentiert, dass die Sicherung von Multi-Agenten-Systemen einen Paradigmenwechsel erfordert: weg von statischer oder nachträglicher Filterung hin zur kontinuierlichen Überwachung des Generierungsprozesses selbst.

Strukturelle Schwachstelle: Die Autoren betonen, dass Leckagen in Multi-Agenten-Systemen nicht nur ein Prompt-Level-Versagen sind, sondern eine strukturelle Folge der Informationspropagierung. Sobald ein Geheimnis in den gemeinsamen Kontext gelangt, ist es wahrscheinlich, dass es downstream wieder auftaucht.
Frühe Intervention: Durch die Erkennung des „Entropiekollaps"-Phasenübergangs greift PRISM ein, bevor das Geheimnis vollständig materialisiert ist, und verhindert so die Propagierung sensibler Daten zu nachgelagerten Agenten.
Praktikabilität: Das System erreicht eine hohe Detektionsgenauigkeit bei geringer Latenz, was es für den Echtzeit-Einsatz in interaktiven Multi-Agenten-Workflows geeignet macht.
Bescheidenheit bei Behauptungen: Die Autoren weisen ausdrücklich darauf hin, dass ihr Benchmark synthetisch und kontrolliert ist. Sie erkennen Einschränkungen an, einschließlich der Abhängigkeit von White-Box-Zugriff (Log-Wahrscheinlichkeiten) für optimale Leistung (obwohl eine Black-Box-Variante mit einer Rest-Leckagerate von 1,4 % existiert) und der Tatsache, dass das System passive Leckage-Dynamiken modelliert und nicht strategische, zielgerichtete Verschleierung durch adaptive Gegner. Sie positionieren PRISM als gezielten Mechanismus zur Credential-Reproduktion durch sequenzielle Propagierung, nicht als universelle Lösung für alle Informationsleckagen.