🤖 AI

Conjunctive Prompt Attacks in Multi-Agent LLM Systems

Dit paper onthult een structurele kwetsbaarheid in multi-agent LLM-systemen, waarbij 'conjunctive prompt attacks' via de interactie tussen een trigger in de gebruikersquery en een verborgen adversariaal template in een gecompromitteerd agent schadelijk gedrag activeren dat door bestaande verdedigingen wordt gemist omdat geen enkel component op zichzelf kwaadaardig lijkt.

Oorspronkelijke auteurs: Nokimul Hasan Arif, Qian Lou, Mengxin Zheng

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nokimul Hasan Arif, Qian Lou, Mengxin Zheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, digitale assistent hebt die je helpt met een complexe reis plannen. Deze assistent is geen enkele robot, maar een team van gespecialiseerde robots: één zoekt vluchten, één boekt hotels, en één controleert je account. Ze werken samen, praten met elkaar en delen informatie om jou te helpen.

Dit artikel beschrijft een nieuwe, sluwe manier om dit team te misleiden. De onderzoekers noemen dit een "Conjunctive Prompt Attack" (een aanval door samenvoeging).

Hier is de uitleg in simpele taal, met behulp van een paar creatieve vergelijkingen:

1. Het Probleem: De "Twee Sleutels"

In de oude wereld van kunstmatige intelligentie (AI) keek je naar één robot. Als die robot iets verkeerds deed, was dat duidelijk. Maar in deze nieuwe wereld werken robots in een team.

De onderzoekers ontdekten dat je een team kunt hacken zonder dat één enkele robot "verkeerd" doet. Het werkt als een veiligheidsdeur met twee verschillende sloten:

Sleutel A: Een heel onschuldig woordje in jouw vraag (bijvoorbeeld een speciaal getal of code).
Sleutel B: Een verborgen, onschuldig ogend berichtje dat al in de computer van de "Hotel-bot" zit (een soort achterdeurtje).

Als je alleen Sleutel A gebruikt, gebeurt er niets. De bot denkt: "Oh, dat is een normaal woord."
Als je alleen Sleutel B gebruikt, gebeurt er ook niets. De bot denkt: "Dat is een normaal systeembericht."

Maar... als Sleutel A en Sleutel B op hetzelfde moment bij dezelfde bot aankomen, gebeurt er iets gruwelijks. De bots "ontwaken" en doen iets wat ze niet zouden moeten doen, zoals je bankrekening leeghalen of geheime bestanden openen.

2. De Vergelijking: Het Spooktrein-avontuur

Stel je een pretpark voor met een trein (jouw vraag) die wordt opgedeeld in wagons (deelvragen).

De trein vertrekt bij het station (jij).
De wagons worden door een spoorwachter (de router) naar verschillende stations gestuurd: Station Vlucht, Station Hotel, Station Account.
Op Station Hotel zit een vermomde spion (de gehackte bot) die een geheim signaal in zijn hoofd heeft.

De aanval werkt zo:

Je plaatst een geheime code in de wagon die naar het Hotel-station moet.
De spoorwachter is een beetje willekeurig, maar de hacker heeft een trucje gevonden om de spoorwachter te "omkopen" (via een slimme instelling) zodat die code altijd naar het Hotel-station gaat.
Als de wagon met de code aankomt bij het Hotel-station, ziet de spion de code, herkent hij zijn eigen geheim signaal, en opent hij de poort voor de kwaadaardige actie.

Het gevaar: Als je de code in de verkeerde wagon stopt (naar het Vlucht-station), of als de code niet bij de spion terechtkomt, gebeurt er niets. Voor een buitenstaander (of een beveiligingsrobot) ziet alles er normaal uit. De code is onschuldig, het signaal is onschuldig. Alleen de combinatie is dodelijk.

3. Waarom Bestaande Beveiliging Faalt

Stel je voor dat er veiligheidswachten staan bij elke ingang van de treinstations.

Ze kijken naar de passagiers (jouw vraag) en zeggen: "Is dit gevaarlijk?"
Ze kijken ook naar de spion (de bot) en zeggen: "Zie ik hier iets verdachts?"

Het probleem is dat de veiligheidswachten alleen kijken naar wat ze voor zich hebben.

Ze zien de code in de wagon? "Nee, dat is gewoon een getal."
Ze zien het geheim signaal bij de spion? "Nee, dat is een normaal systeembericht."

Omdat ze niet kijken naar hoe de trein is samengesteld en waar de wagons naartoe gaan, zien ze het gevaar niet. Ze weten niet dat deze twee onschuldige dingen samen een bom vormen. De onderzoekers zeggen: "Onze huidige beveiliging kijkt te veel naar losse stukjes en te weinig naar het hele plaatje."

4. Wat hebben de onderzoekers gedaan?

Ze hebben een "slimme hacker" gebouwd die niet de robots zelf moet hacken (dat mag niet), maar wel de route en de woorden kan plotten.

Ze hebben een algoritme ontwikkeld dat uitprobeert: "Waar moet ik de code zetten? Welke bot moet het krijgen? En hoe kan ik de spoorwachter zo manipuleren dat de code daar terechtkomt?"
Ze hebben getest op verschillende netwerken (zoals een ster, een ketting of een web) en bleek: Ja, dit werkt. Zelfs als de bots heel slim zijn (zoals Llama of Mistral), lukt het om ze te misleiden.

5. De Les voor de Toekomst

De belangrijkste boodschap van dit artikel is: Veiligheid in een team is anders dan veiligheid in een solist.

Als we AI-systemen bouwen die met elkaar praten, moeten we niet alleen kijken of de robot "netjes" praat. We moeten ook kijken naar:

Hoe informatie van A naar B gaat.
Of er verborgen signalen zijn die alleen werken als ze op het juiste moment samenkomen.

Het is alsof je een huis beveiligt. Je kijkt niet alleen of de voordeur op slot zit, maar ook of er geen geheime sleutel onder de mat ligt die alleen werkt als je tegelijkertijd op de bel drukt.

Kortom: Dit onderzoek waarschuwt dat we in de toekomst veel slimmere beveiliging nodig hebben die kijkt naar het geheel van het team, en niet alleen naar de losse onderdelen. Anders kunnen hackers ons systemen laten inbreken met woorden die voor ons allemaal onschuldig lijken.

Titel: Conjunctive Prompt-aanvallen in Multi-Agent LLM-systemen

Auteurs: Nokimul Hasan Arif, Qian Lou, Mengxin Zheng (University of Central Florida, USA)

1. Het Probleem: Een Structurele Kwetsbaarheid

De meeste bestaande veiligheidsstudies voor Large Language Models (LLM's) richten zich op single-agent scenario's. Echter, in de praktijk worden LLM's steeds vaker ingezet als multi-agent systemen, waarbij een client-agent taken deconstrueert en doorstuurt naar gespecialiseerde remote agents (bijv. een vluchtagent, een hotelagent).

De auteurs identificeren een nieuwe, onderbelichte aanvalsvector: Conjunctive Prompt Attacks.

De Kern: In tegenstelling tot traditionele prompt-injecties, waarbij een enkele kwaadaardige prompt direct schade veroorzaakt, vereist deze aanval de samenwerking van twee onafhankelijk onschijnbare componenten:
1. Een trigger-key in de gebruikersvraag (die op zichzelf onschuldig lijkt).
2. Een verborgen, kwaadaardig template in een gecompromitteerde remote agent (die ook op zichzelf onschuldig lijkt).
De Aanval: De aanval activeert zich pas wanneer het routing-mechanisme ervoor zorgt dat de segment van de gebruikersvraag met de trigger-key precies bij de gecompromitteerde agent terechtkomt. Alleen dan combineren de twee componenten zich om schadelijk gedrag (zoals ongeautoriseerde tool-toegang) te activeren.
De Uitdaging voor Defensie: Bestaande veiligheidsmodellen (zoals PromptGuard of Llama-Guard) inspecteren berichten geïsoleerd. Omdat noch de trigger-key noch het template op zichzelf kwaadaardig lijken, worden deze door bestaande verdedigingen niet gedetecteerd.

2. Methodologie: Routing-Aware Optimalisatie

De auteurs presenteren een aanvalsframework dat werkt op het niveau van de prompt, zonder de modelgewichten of de client-agent te wijzigen.

Bedreigingsmodel

Aanvaller: Heeft volledige controle over de gebruikersinvoer en kan de plaatsing van de trigger-key bepalen. De aanvaller heeft ook toegang tot één gecompromitteerde remote agent waar een verborgen template is ingebracht.
Beperkingen: De aanvaller kan de routing-logica van het systeem niet direct wijzigen, maar kan wel de inhoud van de prompt manipuleren om de bestaande, probabilistische routing te beïnvloeden.
Topologie: De aanval wordt getest in drie verschillende communicatietopologieën: Star (client stuurt direct naar agents), Chain (sequentiële verwerking) en DAG (gericht acyclisch graf).

Optimalisatie Framework

Omdat de LLM's en de routing "black boxes" zijn en de keuzes (waar de key komt, welk template-slot) discreet zijn, is directe optimalisatie van de aanvalsuccesratio (ASR) onmogelijk. De auteurs introduceren een differentieerbaar counterpart-objectief:

Surrogate Doel: Ze modelleren de kans op succes als het product van twee factoren:
- $P_{route}$ : De kans dat het segment met de key naar de gecompromitteerde agent wordt gerouteerd.
- $P_{template}$ : De kans dat het template effectief is zodra het daar aankomt.
Variabelen: De aanvaller optimaliseert drie parameters via gradient descent (met Gumbel-Softmax relaxatie):
- Key-plaatsing ( $j$ ): In welk semantisch segment van de vraag zit de trigger?
- Template-plaatsing ( $\tau$ ): Waar in het prompt van de agent zit het template (prefix, wrap, suffix)?
- Routing-bias ( $\rho$ ): Een parameter die de gevoeligheid van het routing-systeem voor de trigger-key simuleert.
Regularisatie: Er worden straffen toegevoegd om te voorkomen dat de aanval "altijd aan" gaat (false positives) in schone scenario's. Het doel is een conjunctieve activatie: hoog succes alleen als zowel key als template aanwezig zijn.

3. Belangrijkste Bijdragen

Formalisatie van een Black-Box Bedreigingsmodel: De paper definieert een realistisch scenario waarbij een aanval ontstaat uit de interactie tussen een gebruikers-trigger en een gemanipuleerde supply-chain (remote agent), zonder dat de client-agent zelf wordt aangepast.
Routing-Aware Optimalisatie: Een nieuw framework dat prompt-niveau variabelen optimaliseert om de kans op succes te maximaliseren, rekening houdend met de stochastische routing in multi-agent systemen.
Empirisch Bewijs van Kwetsbaarheid: Demonstratie dat deze aanvallen effectief zijn over verschillende topologieën en modelbackbones, en dat bestaande veiligheidsmechanismen hier volledig tegen falen.

4. Resultaten

De experimenten werden uitgevoerd op modellen zoals Gemma-2B, Mistral-7B en LLaMA3-8B, met verschillende topologieën.

Succes van de Aanval:
- Zonder optimalisatie is de aanvalsuccesratio (ASR) laag en onvoorspelbaar.
- Met volledige optimalisatie (routing + key + template) stijgt de ASR aanzienlijk. Voor alle geteste modellen en topologieën bereikte de ASR in het "both"-regime (key + template) waarden tot 1.0 (100% succes).
- De aanval werkt consistent over Star, Chain en DAG topologieën, wat aantoont dat de kwetsbaarheid structureel is en niet afhankelijk van toeval.
Laag Aantal False Positives:
- In de regimes "clean", "key-only" en "template-only" blijft de ASR dicht bij 0. Dit bevestigt dat de individuele componenten inderdaad onschuldig lijken en alleen schadelijk zijn in combinatie.
Effectiviteit van Defensies:
- Bestaande veiligheidsmodellen (PromptGuard, Llama-Guard varianten) presteren matig bij "vanilla" aanvallen, maar hun detectievermogen daalt drastisch (F1-score naar bijna 0) bij volledig geoptimaliseerde aanvallen.
- De reden is dat deze modellen geen rekening houden met de cross-agent context of de routing-afhankelijkheid. Ze zien alleen onschuldige fragmenten.
- Zelfs systeemniveau controles (zoals tool-restricties) verminderen de aanval niet volledig, omdat de kwetsbaarheid ligt in de interactie tussen segmentatie en routing.

5. Betekenis en Conclusie

Deze studie onthult een fundamentele blinde vlek in de huidige AI-beveiliging:

Kwetsbaarheid door Samenstelling: Veiligheid in multi-agent systemen kan niet worden gegarandeerd door alleen de individuele agents of prompts te testen. De combinatie van onschuldige componenten via een specifiek routing-pad creëert een nieuw, kwetsbaar oppervlak.
Noodzaak voor Nieuwe Defensies: Bestaande "guardrails" zijn ontoereikend. Toekomstige verdedigingen moeten routing-aware zijn en de provenance (herkomst) en compositie van prompts tussen agents kunnen analyseren.
Ethische Implicatie: De auteurs benadrukken dat deze kwetsbaarheid inherent is aan de architectuur van agentic systemen en dat onderzoekers en ontwikkelaars rekening moeten houden met deze "conjunctieve" risico's bij het ontwerpen van veilige AI-systemen.

Kortom, het paper waarschuwt dat naarmate LLM-systemen complexer en gedecentraliseerd worden, de aanvalsvlakken verschuiven van directe prompt-injectie naar subtielere, routing-afhankelijke combinaties die door huidige maatregelen onzichtbaar blijven.