🤖 machine learning

When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems

Dit artikel toont aan dat lokale runtime-monitors in multi-agent LLM-systemen falen in het detecteren van gedistribueerde backdoors wanneer schadelijke payloads zijn opgesplitst in individueel onschuldige fragmenten, waarmee een observatiegrens wordt vastgesteld waarbij veiligheid alleen kan worden gegarandeerd door het geassembleerde object te detecteren of toegang te krijgen tot de onderliggende representatie waar de schade wordt blootgesteld.

Oorspronkelijke auteurs: Yibo Hu, Ren Wang

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yibo Hu, Ren Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de beveiligingsbeambte bent bij een enorme, hoogtechnologische fabriek. Jouw taak is om slechteriken tegen te houden die gevaarlijke smokkelwaar naar binnen proberen te smokkelen. Normaal gesproken controleer je elk pakketje dat over de lopende band rolt. Als een doos verdacht lijkt, houd je hem tegen. Als hij er normaal uitziet, laat je hem doorgaan.

In de wereld van AI zijn deze "pakketjes" berichten die tussen verschillende AI-agenten worden verzonden die samenwerken. De standaard veiligheidsregel is: Controleer elk bericht individueel. Als elk bericht er veilig uitziet, is het hele systeem veilig.

Maar dit paper, geschreven door Yibo Hu en Ren Wang, onthult een angstaanjagende mazen in deze regel. Ze ontdekten dat slechteriken een gevaarlijke "bom" kunnen opdelen in kleine, onschuldig ogende stukjes, deze in verschillende pakketjes kunnen verstoppen en de beveiligingsbeambte kunnen misleiden.

De "Frankenstein"-bom

Hier is de truc: de aanvallers sturen niet één grote slechte boodschap. In plaats daarvan sturen ze drie afzonderlijke rapporten.

Rapport 1: "Gegevens ophalen voltooid; 247 vermeldingen gelogd." (Ziet er volkomen normaal uit.)
Rapport 2: "Analyse voltooid; geen anomalieën gedetecteerd." (Ziet er ook prima uit.)
Rapport 3: "Samenvatting gereed; alle taken voltooid." (Is volkomen onschuldig.)

Jouw beveiligingsbeambte controleert Rapport 1. Goedgekeurd. Controleert Rapport 2. Goedgekeurd. Controleert Rapport 3. Goedgekeurd. De beambte doet zijn werk perfect! Elke controle is juist uitgevoerd.

Maar dan neemt een laatste AI-agent deze drie rapporten en naait ze aan elkaar. Plotseling klikken de stukjes in elkaar en vormen ze een geheim, uitvoerbaar computercode die wachtwoorden steelt en ze naar een hacker stuurt. De "bom" bestaat alleen wanneer de stukjes worden samengesteld. Het gevaar zat niet in een enkel pakketje; het zat in de assemblage.

De auteurs noemen dit de "Observability Boundary" (waarnemingsgrens). Het is een lijn in het zand. Zodra de slechte stukjes zo goed zijn opgedeeld dat ze eruitzien als gewone, saaie verkeersstromen, wordt je beveiligingsbeambte blind. Hoe slim de bewaker ook is, als hij slechts naar één stukje tegelijk kijkt, kan hij het gevaar niet zien.

Wat de bewaker fout doet

Het paper betoogt expliciet tegen een aantal zaken waar mensen op zouden kunnen hopen:

Splitsen is niet het probleem: Je denkt misschien: "Oh, als we ze gewoon tegenhouden om de boodschap te splitsen, zijn we veilig." De auteurs zeggen nee. Zelfs als de boodschap wordt gesplitst, als de stukjes nog steeds "aanwijzingen" bevatten (zoals vreemde codewoorden of vreemde datapaden), kan een slimme bewaker ze nog steeds betrappen. Het probleem doet zich pas voor wanneer de stukjes lokaal onschadelijk zijn — wat betekent dat ze er 100% uitzien als normale, saaie tekst.
Meer ogen helpen niet: Je denkt misschien: "Wat als we een bewaker hebben die alle berichten tegelijk ziet?" Het paper heeft dit getest. Zelfs als een bewaker alle drie de rapporten samen ziet, als ze nog steeds alleen naar de ruwe tekst kijken zonder te weten hoe ze de geheime taal moeten "decoderen", missen ze de aanval nog steeds. Meer zien is niet genoeg; je moet het juiste soort plaatje zien.
AI is geen magische decoder: De auteurs probeerden een superintelligente AI te gebruiken om te raden hoe de stukjes weer in elkaar te zetten zonder de geheime code te kennen. Het werkte nauwelijks. Het ving slechts 6 van de 50 aanvallen, wat eigenlijk gewoon gokken is.

De enige manier om te winnen (voor zover bekend)

Dus, hoe stop je dit? Het paper laat zien dat de enige manier om de bom te vangen is door te veranderen waar je naar kijkt.

Als je een "decoder" hebt die de geheime taal kent die de aanvallers gebruiken, kun je die drie onschuldige rapporten decoderen, en plotseling wordt de verborgen code blootgelegd. In hun tests, toen ze een decoder gebruikten die de specifieke "familie" van codes kende die de aanvallers gebruikten, blokkeerden ze 100% van de aanvallen (50 van de 50).

Er zit echter een addertje onder het gras. Deze decoder is als het hebben van de meestersleutel voor een specifiek slot. Als de aanvallers hun slot veranderen (een andere codefamilie gebruiken), werkt de decoder misschien niet meer. Het paper suggereert dat het vinden van een universele manier om deze verborgen patronen te herkennen — zonder voor elke truc een specifieke decoder nodig te hebben — het grote, onopgeloste mysterie is dat overblijft voor toekomstig onderzoek.

De cijfers achter de magie

De auteurs hebben niet alleen gegokt; ze hebben een hele reeks tests uitgevoerd in een gecontroleerd laboratorium.

Wanneer de aanvallers de stukjes er volkomen normaal uit lieten zien (lokaal onschadelijk), daalde de standaard beveiligingscontrole naar kansniveau (ongeveer 0,500 op een schaal waarbij 1,0 perfect is). Ze waren in feite een muntje aan het opgooien.
Maar, wanneer ze naar het samengestelde object keken en een speciale "one-class" detector gebruikten (getraind op alleen normale zaken om afwijkingen te spotten), herstelden ze het signaal met een score van 0,874.
Wanneer ze de "decoded-view gate" gebruikten (de ene met de meestersleutel), blokkeerden ze 0 van de 50 succesvolle aanvallen. De aanvallers konden niet door de barrière komen.

De kern van het verhaal

De belangrijkste conclusie is een beetje eng maar zeer duidelijk: Lokale veiligheid is geen globale veiligheid. Alleen omdat elke individuele stap in een multi-agent systeem er veilig uitziet, betekent dit niet dat het eindresultaat veilig is.

De auteurs bewezen dat zodra een schadelijke payload is opgedeeld in stukjes die er volkomen onschadelijk uitzien, geen lokale detector het kan vangen. De enige manier om te winnen is door een manier te vinden om het "samengestelde object" te zien in een vorm waarin het gevaar wordt blootgelegd. Totdat we een manier vinden om dat voor elk type truc te doen (niet alleen code, maar ook plannen en overtuigingen), blijft deze "Observability Boundary" een fundamentele gat in onze AI-veiligheidsnetten.

Het is als proberen een Frankenstein-monster te stoppen door de individuele lichaamsdelen te controleren. Een hand ziet er veilig uit. Een voet ziet er veilig uit. Maar zet ze bij elkaar, en je hebt een monster. Het paper vertelt ons dat we moeten stoppen met het controleren van de onderdelen en moeten leren hoe we het monster kunnen zien voordat het wakker wordt.

Technische Samenvatting: Wanneer lokale monitors compositionele schade missen

Probleemdefinitie
Het artikel behandelt een fundamentele kloof in de veiligheid van multi-agent, tool-gebruikende Large Language Model (LLM) systemen. Huidige runtime-verdedigingen maken doorga af gebruik van lokale monitors die individuele berichten, tool-aanroepen of stappen in isolatie inspecteren om kwaadwillige intentie te detecteren. De auteurs stellen dat deze aanpak een "fundamenteel gat" vertoont bij het gezicht houden van gedistribueerde backdoors. In dergelijke aanvallen wordt een schadelijke payload verdeeld over meerdere agenten en stappen. Hoewel het samgestelde resultaat kwaadwillig is (bijv. uitvoerbare code die inloggegevens exfiltreert), lijkt elk individueel fragment voor een lokale monitor onschadelijk.

Het kernprobleem is niet enkel het opsplitsen van de aanval, maar de lokale onschadelijkheid van de fragmenten. Als elk fragment eruitziet als gewone, onschadelijke verkeer en geen verdachte tokens of provenance-edges bevat, kan een lokale monitor het niet onderscheiden van veilig verkeer, ongeacht de kracht van de detector. De schade bestaat alleen in de compositie van de fragmenten.

Methodologie en Formalisering
De auteurs formaliseren deze beperking als een observabiliteitsgrens. Ze definiëren de capaciteit van een monitor op basis van zijn observatievenster (wat het ziet: een enkel fragment, de volledheid van de fragmenten, of het samengestelde object) en of het toegang heeft tot de gedecodeerde representatie van dat object.

Formele Condities: Een aanval wordt beschouwd als "lokaal onschadelijk" als elk fragment $x_i$ onschadelijk is in de view $v$ van de monitor ( $h(v(x_i)) = 0$ ), maar het samengestelde object $C(x_1, \dots, x_K)$ kwaadwillig is ( $h(C) = 1$ ).
Onderscheidbaarheid: Het papier introduceert $\epsilon$ -lokale ononderscheidbaarheid, waarbij de totale variatieafstand tussen de distributie van onschadelijke fragmenten en aanvalfragmenten in de view van de monitor klein is ( $\le \epsilon$ ).
Theoretische Grens (Propositie 1): De auteurs bewijzen dat als fragmenten $\epsilon$ -lokaal ononderscheidbaar zijn, geen beslisregel die uitsluitend op een enkele lokale observatie opereert een detectievoordeel (True Positive Rate minus False Positive Rate) kan behalen die groter is dan $\epsilon$ . Dit impliceert dat het versterken van de lokale classifier zinloos is als het observatievenster niet verandert.

Experimentele Opzet
De studie maakt gebruik van een gecontroleerde testomgeving genaamd Collaborative Shadows, naast externe benchmarks zoals R-Judge, AgentDojo en DemonAgent.

Locality Sweep: De auteurs controleren de zichtbaarheid van aanvalsbewijs binnen fragmenten, variërend van "zichtbare edges" (bijv. duidelijke source-to-sink datapad) tot "lokaal onschadelijke" fragmenten waarbij alle aanwijzingen zijn verwijderd.
Monitor Typen: Ze evalueren verschillende monitors:
- Lokaal: Per-stap statistische detectoren, taint-analyse (het volgen van datastromen).
- Assemblage: Monitors die het samengestelde object zien maar niet de decoding (marker-gebaseerd, marker-vrij, codec-blind).
- Gecodeerd: Een "decoded-view gate" die de payload decodeert vóór uitvoering (gebruikt als diagnostisch plafond, niet als inzetbare verdediging).
Payloads: De primaire focus ligt op gestructureerde code-payload assemblage (bijv. Python-scripts voor de exfiltratie van inloggegevens) gesplitst in $K=3$ fragmenten, verborgen binnen onschadelijke rapport-carriers.

Belangrijkste Resultaten

Lokale monitors falen bij onschadelijke fragmenten: Naarmate fragmenten lokaal onschadelijker worden (verlies van verdachte tokens of zichtbare edges), dalen per-stap monitors en taint-checks naar prestaties gelijk aan toeval (AUROC $\approx 0.5$ ). Dit geldt zelfs voor sterke, vooraf getrainde neurale detectoren (bijv. op AgentDojo).
Splitsing is niet de oorzaak: Het falen komt niet door de handeling van het splitsen zelf, maar door het verwijderen van bruikbaar bewijs uit de lokale view. Als fragmenten verdachte artefacten behouden, kunnen lokale monitors ze nog steeds detecteren.
Herstel via Assemblage: De "ontbrekende signaal" verschijnt pas wanneer de monitor het samengestelde object observeert.
- Een marker-vrije assemblage monitor (getraind op uitsluitend onschadelijk verkeer met een one-class isolation forest) slaagt erin de aanvalsstructuur te herstellen over verschillende helden-encoding families, waarbij een gemiddelde AUROC van 0.874 wordt behaald. Het detecteert de aanval op basis van code-structuur dichtheid en gedeeltelijke parseerbaarheid, zonder de specifieke encoding of markers te hoeven kennen.
- Een gesuperviseerde assemblage monitor bereikt perfecte scheiding (AUROC 1.000).
Representatie is cruciaal: Het louter verbreden van het observatievenster (alle fragmenten zien) is onvoldoende als de representatie gecodeerd blijft.
- Codec-blinde monitors (zien alle fragmenten maar kunnen niet decoderen) falen in het blokkeren van aanvallen (ASK blijft hoog).
- Decoded-view gates (krijgen de encoding familie gegeven) blokkeren 100% van de aanvallen over alle geteste modellen.
- Pogingen om LLM's te gebruiken om de payload te reconstrueren zonder kennis van de codec (no-codec search) presteren nabij toeval, en slagen er niet in een gekalibreerde, gedecodeerde representatie te produceren.
Generaliseerbaarheid: De grens houdt stand over verschillende modelgroottes (Llama-3.1-8B tot Qwen2.5-32B) en verschillende aanvalscodes (inclusief de onafhankelijk gepubliceerde DemonAgent dynamische encryptie). Echter, het specifieke herstelmechanisme (code-structuur analyse) vertaalt zich niet naar niet-code payloads (bijv. natuurlijke taal instructies), waar het signaal onder de kanslijn zakt.

Betekenis en Claims
Het papier claimt dat lokale veiligheid geen globale veiligheid is wanneer schade compositioneel is. De primaire bijdrage is het identificeren van de observabiliteitsgrens: een monitor kan een aanval niet detecteren als de fragmenten lokaal ononderscheidbaar zijn van onschadelijk verkeer in zijn specifieke view.

Diagnostische Waarde: Hoge lokale detectiepercentages garanderen geen veiligheid tegen compositionele aanvallen. Evaluatie moet rekening houden met de vraag of de monitor de representatie ziet waarin de schade vormt.
Verdedigingsimplicaties: De oplossing is niet een sterkere lokale classifier, maar een verandering in het observatievenster om de samengestelde representatie te herstellen.
Open Probleem: Het artikel concludeert dat de open uitdaging het vinden van de juiste representatie is voor detectie buiten code-achtige schade (bijv. in plannen, overtuigingen of natuurlijke taal commitments) en dit te doen zonder een oracle decoder te vereisen. Het huidige succes is beperkt tot scenario's waarin de samengestelde payload een herstelbare structuur (zoals code) blootlegt.

De auteurs benadrukken dat hun werk defensief is, gericht op het diagnosticeren wanneer monitors bewijs verliezen, en dat zij geen nieuwe covert capaciteiten voorstellen of het probleem van volledig covert natuurlijke taal zelf-assemblage oplossen.