Technische Samenvatting: LCGuard

Probleemstelling

Multi-agent systemen (MAS) op basis van Large Language Models (LLM) nemen steeds vaker latente communicatie via Transformer Key-Value (KV) caches aan om de efficiëntie te verbeteren en rijker semantische structuren te behouden in vergelijking met traditionele tekstgebaseerde uitwisselingen. Deze verschuiving introduceert echter een kritieke, onderbelichte beveiligingskwetsbaarheid: informatielek op representatieniveau.

In tegenstelling tot discrete, controleerbare tekst, zijn KV-caches hoogdimensionale, semantisch dichte representaties die contextuele invoer, tussenliggende redeneertoestanden en attentiestructuren coderen. Wanneer agenten deze caches delen, kunnen gevoelige agent-specifieke invoer (bijvoorbeeld gebruikerscontext, privédocumenten) impliciet worden ingebed binnen de latente artefacten. Het artikel stelt dat een aanvaller met toegang tot gedeelde caches (via gecompromitteerde agenten, logging of auxiliaire modellen) een decoder kan trainen om deze gevoelige invoer te reconstrueren vanuit de gedeelde KV-representaties. Bestaande veiligheidsmechanismen, die doorgaans opereren op gegenereerde tekstuitvoer of tool-acties, slagen er niet in te beperken wat via deze latente kanalen wordt verzonden.

Methodologie: LCGuard

Om dit aan te pakken, introduceren de auteurs LCGuard (Latent Communication Guard), een kader dat is ontworpen om de stroom van gevoelige informatie in KV-gebaseerde latente communicatie te reguleren.

Kernconcept

LCGuard behandelt gedeelde KV-caches als latente werkgeheugen en leert transformaties op representatieniveau ($g_{ij}$) die worden toegepast op KV-artefacten voordat deze tussen agenten worden verzonden. Het doel is om taakrelevante semantiek te behouden terwijl agent-specifieke gevoelige invoer ($s_i$) onherstelbaar wordt gemaakt.

Bedreigingsmodel en Definitie van Lek

Het artikel formaliseert lek operationeel via reconstructie:

• Aanvaller: Een entiteit die verzonden artefacten ($M_{obs}$) observeert en probeert gevoelige invoer ($s_i$) te reconstrueren met behulp van een geleerde decoder ($D_i$).
• Lekmetriek: Lek wordt gekwantificeerd door de kloof tussen de a priori reconstructieverlies (het reconstrueren van $s_i$ zonder toegang tot artefacten) en het reconstructieverlies (het reconstrueren van $s_i$ gegeven artefacten). Een kleinere kloof duidt op succesvol lekken; een grotere kloof (die de a priori verliezen nadert) duidt op privacybehoud.

Adversariale Optimalisatie

LCGuard formuleert veilige latente communicatie als een minimax-optimalisatieprobleem:
$$\min_{\{\phi_i\}} \max_{\{\psi_i\}} \beta \sum_{i=1}^{N} L^{(i)}_{rec}(M_{obs}) + L_{task}(M)$$

• Aanvaller ($\psi_i$): Getraind om reconstructieverlies ($L_{rec}$) te minimaliseren, en probeert gevoelige informatie uit de getransformeerde artefacten te halen.
• Communicatiefunctie ($\phi_i$): Getraind om reconstructieverlies te maximaliseren (waardoor $s_i$ moeilijk te herstellen is) terwijl taakverlies ($L_{task}$) wordt geminimaliseerd om downstream bruikbaarheid te behouden.
• Trade-off Parameter ($\beta$): Regelt de balans tussen privacysuppressie en taakprestaties.

Het kader ondersteunt twee varianten:

1. Per-Agent LCGuard: Agenten optimaliseren transformaties lokaal op basis van individuele communicatielinks.
2. Full-System LCGuard: Een gezamenlijke optimalisatie over het hele systeem om compositief lek te ondervangen, waarbij gevoelige informatie opnieuw kan opduiken na aggregatie over meerdere agenten.

Belangrijkste Bijdragen

1. Identificatie van Aanvalsoppervlak: Het artikel identificeert latente KV-communicatie als een nieuw aanvalsoppervlak waar gedeeld werkgeheugen gevoelige informatie impliciet kan verspreiden, onderscheiden van tekstgebaseerd lekken.
2. LCGuard Kader: Stelt een kader op representatieniveau voor dat KV-caches transformeert voor verzending om de informatiestroom te reguleren.
3. Op Reconstructie Gebaseerde Lekdefinitie: Introduceert een praktische definitie van lek gebaseerd op de herstelbaarheid van agent-specifieke invoer uit gedeelde representaties, verdergaand dan oppervlakkige output-beperkingen.
4. Minimax Formuleren: Formuleert de privacy-bruikbaarheid trade-off als een adversariaal optimalisatieprobleem, waarbij taakbruikbaarheid wordt afgewogen tegen informatieblootstelling.
5. Empirische Validatie: Demonstreert door middel van uitgebreide experimenten dat LCGuard een gunstige privacy-bruikbaarheid trade-off bereikt over meerdere model families (Qwen3, Gemma-2, LLaMA) en benchmarks.

Experimentele Resultaten

De auteurs hebben LCGuard geëvalueerd op benchmarks waaronder PrivacyLens, AgentLeak en MAGPIE over verschillende modelgroottes en topologieën (sequentieel, hiërarchisch en op graf gebaseerd).

• Privacy versus Bruikbaarheid: "Vanilla KV Sharing" (ongeblokkeerd) bereikt de hoogste taakbehulpzaamheid, maar lijdt aan extreem hoge Aanvals Succespercentages (ASR), vaak boven de 0,87. Daarentegen verlaagt LCGuard consistent de ASR met ongeveer 65–75% (bijvoorbeeld dalend van 0,871 naar 0,216 in Qwen3-4B sequentiële instellingen) terwijl het concurrerende taakbehulpzaamheid behoudt.
• Vergelijking met Baselines:
  • ADAPT (Op ruis gebaseerd): Bereikt een lage ASR, maar degradeert de taakbruikbaarheid aanzienlijk (bijvoorbeeld daalt behulpzaamheid tot ~0,28), omdat ruis zowel gevoelige als taakrelevante informatie verwijdert.
  • PrivAct (Op beleid gebaseerd): Verbeterd de privacy scores op output-niveau metrieken, maar faalt om de ASR te verlagen, wat bevestigt dat output-niveau beperkingen latente lekken niet voorkomen.
  • LCGuard: Presteert beter dan beide door direct representaties te transformeren, en bereikt de beste balans.
• Systeem-niveau versus Lokaal: "Full-System LCGuard" presteert consistent beter dan "Per-Agent LCGuard", wat aangeeft dat lek niet puur lokaal is maar zich ophoopt via multi-hop transformaties en aggregatie. Systeem-niveau optimalisatie is noodzakelijk om compositief lek te mitigeren.
• Robuustheid: LCGuard blijft effectief over verschillende modelgroottes (3B tot 14B) en communicatietopologieën, hoewel grotere modellen van nature meer herstelbare informatie coderen, wat sterkere bescherming vereist.

Betekenis en Claims

Het artikel beweert dat LCGuard een principieel kader biedt voor veilige KV-gebaseerde latente communicatie, en een gat opvult waar bestaande veiligheidsmechanismen falen om de informatiestroom op representatieniveau te beperken.

• Bescherming op Inference-tijd: In tegenstelling tot verdedigingen op trainings-tijd, opereert LCGuard op inference-tijd, regulerend wat wordt verzonden zonder wijzigingen in de gewichten van de onderliggende agent-modellen te vereisen.
• Praktische Trade-off: Het kader toont aan dat het mogelijk is om de herstelbaarheid van gevoelige invoer aanzienlijk te verminderen zonder taakprestaties in te storten, een trade-off die op ruis gebaseerde methoden niet bereiken.
• Toekomstige Richtingen: De auteurs merken bescheiden op dat het kader momenteel homogene agenten en alleen tekst-gebaseerde latente ruimtes veronderstelt. Zij suggereren dat toekomstig werk LCGuard kan uitbreiden naar heterogene multi-agent systemen, multimodale agenten en adaptieve communicatiebeleid.

Het artikel concludeert dat LCGuard, hoewel het empirisch reconstructiesucces verlaagt, geen formele privacygaranties biedt (zoals differentieel privacy) en moet worden ingezet naast toegangscontroles en output-niveau veiligheidsmaatregelen.