Technische Samenvatting: PRISM – Detectie en Mitigatie van Geheime Lekkage tijdens Generatie in Multi-Agent LLM-pipelines

1. Probleemstelling: Propagatieversterking

Het artikel identificeert een kritieke structurele kwetsbaarheid in systemen met meerdere agents op basis van Large Language Models (LLM): propagatieversterking. In tegenstelling tot implementaties met één model, vertrouwen multi-agent pipelines (bijv. AutoGen, ChatDev, MetaGPT) op een gedeelde, alleen-voor-toevoeging bestemde context waarin agents informatie sequentieel doorgeven.

De auteurs formaliseren dat wanneer een gevoelig geheim $s$ wordt opgehaald door een upstream-agent $A_i$, dit de gedeelde context $C$ binnenkomt. Downstream-agents $A_{i+1} \dots A_K$ consumeren deze context. Zelfs als een downstream-agent het geheim niet expliciet nodig heeft om zijn taak uit te voeren, neemt de waarschijnlijkheid dat het geheim wordt gereproduceerd toe naarmate de pipeline dieper wordt. Het artikel modelleert de lekkagekans als:
$$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$$
waarbij $p_j$ de waarschijnlijkheid van reproductie is. Onder de aanname dat de per-agent reproductiekans niet-nul is, compounding het cumulatieve risico naarmate de pipeline dieper wordt. Empirische data uit een onbeschermd four-agent-pipeline toont een lekkagepercentage op taalniveau van 71,2%, wat bevestigt dat lekkage een structureel gevolg is van samenstelling in een gedeelde context en niet louter het resultaat van adversariele prompting.

Bestaande verdedigingen zijn ongeschikt voor deze setting:

• Statische scanners (bijv. detect-secrets, TruffleHog) vertrouwen op oppervlaktepatronen en werken achteraf, waardoor ze geen gedeeltelijke reconstructies of contextueel hergebruik opvangen.
• LLM-as-judge/Guardrails werken nadat de generatie voltooid is, waardoor geheimen door tussenliggende agents kunnen propageren voordat ze worden gefilterd.
• Prompt-gebaseerde veiligheidsmaatregelen degraderen onder multi-hop-redenering en adversariele framing.

2. Methodologie: PRISM (Predictive Risk Intervention for Secret Monitoring)

PRISM is een real-time verdedigingsmechanisme dat is ontworpen om tijdens het token-generatieproces in te grijpen, voordat een geheim volledig is gereconstrueerd en gepropageerd.

Kerninzicht

De auteurs observeren dat de reproductie van een gememoriseerde referentie wordt voorafgegaan door een meetbare verschuiving in generatiedynamiek. Wanneer een LLM overgaat van open-ended generatie naar de deterministische reproductie van een gestructureerd geheim (bijv. een API-sleutel), kollabeert de token-niveau entropie en neemt de logit-concentratie toe. Deze "fase-overgang" fungeert als een vroeg waarschuwingssignaal.

Architectuur

PRISM werkt als een per-token-monitor die is geïntegreerd in de decodeerlus van elke agent in de pipeline.

1. Functie-extractie: Bij elke decodeer-stap $t$ aggregeert PRISM een 16-dimensionale feature-vector $f_t$ bestaande uit:
   • Temporele Generatiedynamiek: Entropiekollaps, logit-concentratie (divergentie) en trajectescalatie (toenemend risico over stappen).
   • Tekst-structurele Signalen: Identificatiepatronen (bijv. UUID's, e-mails), numerieke reeksen en credential-achtige regex-overeenkomsten.
   • Contextuele/Gedragsmatige Signalen: Tool-gebruik (bijv. read_file), woorddichtheid en n-gram-overlap.
2. Risicoscore: Een logistische regressiemodel berekent een risicoscore $r_t = \sigma(w^\top f_t + b)$.
3. Interventiebeleid: De score wordt gemapt naar drie zones:
   • GROEN ($r_t < \tau_1$): Token ongewijzigd doorgeven.
   • GEEL ($\tau_1 \le r_t < \tau_2$): Token sanitiseren (vervangen door [MASK]) om de reeks te verbreken terwijl de outputstructuur behouden blijft.
   • ROOD ($r_t \ge \tau_2$): Generatie onmiddellijk stoppen om volledige reconstructie van het geheim te voorkomen.
4. Audit na Generatie (ZK-RC): Een lichtgewicht fallback-laag die gebruikmaakt van gehashte 8-gram-overeenkomsten (SHA-256) om resterende fragmenten op te vangen als individuele tokens onder de drempel waren maar collectief een geheim vormden.

3. Belangrijkste Bijdragen

1. Formalisatie van Propagatieversterking: Het artikel biedt een probabilistisch model dat aantoont hoe lekkagerisico compounding over agentgrenzen heen in pipelines met gedeelde context, en dit onderscheidt van lekkage in een enkel model.
2. PRISM-raamwerk: Introductie van een verdediging tijdens generatie die lekkage behandelt als een probleem van sequentiële risicocumulatie, waarbij per-token-interventie wordt gebruikt in plaats van achteraf filteren.
3. Complementariteit van Signalen: Identificatie dat noch temporele dynamiek (entropie/logits) noch structurele aanwijzingen (patronen) op zichzelf voldoende zijn. De combinatie van entropiekollaps en detectie van identificatiepatronen is vereist voor hoge discriminerende kracht.
4. Benchmarksamenstelling: Creatie van een 2.000-taak adversariale benchmark die 13 aanvalscategorieën bestrijkt (bijv. prompt-injectie, sociale manipulatie, propagatie tussen agents) en drie drukniveaus (Laag, Middel, Hoog) over een heterogene four-agent-pipeline.

4. Experimentele Resultaten

Geëvalueerd tegenover 10 baseline-verdedigingsmethoden (inclusief Span Tagger, GBT Classifier, LLM Judge en statische scanners) op de 2.000-taak benchmark:

• Voorkomen van Lekkage: PRISM behaalde een lekkagepercentage op taalniveau van 0,0%, wat betekent dat geen enkele taak resulteerde in een volledig gereconstrueerd geheim in de uiteindelijke output. Dit is de enige methode die waargenomen lekkage op de benchmark elimineerde.
• Prestatiemetrics:
  • F1-score: 0,832 (beter dan de sterkste baseline, Span Tagger, met 0,719).
  • Precisie: 1,000 (geen false positives).
  • Recall: 0,712.
  • Nuttigheid: 0,893 (89,3% van de onschadelijke taken passeerde ongewijzigd).
• Vergelijking:
  • Span Tagger: 15,0% lekkagepercentage op taalniveau.
  • GBT Classifier: 19,2% lekkagepercentage op taalniveau.
  • Statische Scanners/LLM Judges: >60% lekkagepercentage op taalniveau.
• Robuustheid: PRISM handhaafde detectiesnelheden van $\ge 95,9\%$ over acht oppervlakkige obscuratie-transformaties (bijv. hex-codering, karaktersplitsing), terwijl op patronen gebaseerde baselines degradeerden tot bijna nul detectie.
• Latentie: PRISM voegt minimale overhead toe (~5,5 ms per taak), werkt aanzienlijk sneller dan op LLM gebaseerde judges (>1.800 s) en is vergelijkbaar met lichtgewicht pattern matchers.

5. Betekenis en Claims

Het artikel betoogt dat het beveiligen van multi-agent systemen een paradigma-shift vereist van statische of achteraf filteren naar continue monitoring van het generatieproces zelf.

• Structurele Kwetsbaarheid: De auteurs benadrukken dat lekkage in multi-agent systemen niet slechts een fout op prompt-niveau is, maar een structureel gevolg van informatiepropagatie. Zodra een geheim de gedeelde context binnenkomt, is het waarschijnlijk dat het downstream opnieuw naar boven komt.
• Vroege Interventie: Door de "entropiekollaps"-fase-overgang te detecteren, grijpt PRISM in voordat het geheim volledig is gerealiseerd, waardoor de propagatie van gevoelige data naar downstream-agents wordt voorkomen.
• Praktijktoepasbaarheid: Het systeem bereikt hoge detectienauwkeurigheid met lage latentie, waardoor het levensvatbaar is voor real-time implementatie in interactieve multi-agent workflows.
• Bescheidenheid in Claims: De auteurs merken expliciet op dat hun benchmark synthetisch en gecontroleerd is. Ze erkennen beperkingen, waaronder de afhankelijkheid van witte-doos-toegang (log-kansen) voor optimale prestaties (hoewel een zwarte-doosvariant bestaat met een resterende lekkage van 1,4%) en het feit dat het systeem passieve lekkagedynamiek modelleert in plaats van strategische, doelgerichte verberging door adaptieve adversaries. Ze positioneren PRISM als een gericht mechanisme voor reproductie van referenties via sequentiële propagatie, niet als een universele oplossing voor alle informatielekken.