QueryIPI: Query-agnostic Indirect Prompt Injection on Coding Agents

Technische Samenvatting: QueryIPI – Query-agnostische Indirecte Prompt Injectie op Coding Agents

Probleemstelling
Moderne coding agents geïntegreerd in IDE's (bijv. VS Code Copilot, Cursor, Windsurf) beschikken over systeemtoegang met hoge privileges, wat een aanzienlijk aanvalsoppervlak creëert. Bestaand onderzoek naar Indirecte Prompt Injectie (IPI) leunt primair op query-specifieke triggers. In deze scenario's wordt een kwaadaardige payload ingebed in de output of beschrijvingen van tools, maar deze ontsteekt pas wanneer een gebruiker een specifieke, vooraf bepaalde query uitvoert (bijv. "schrijf een doolspelletje"). Deze afhankelijkheid beperkt de generaliseerbaarheid ernstig; als de query van de gebruiker niet overeenkomt met de trigger, faalt de aanval. De auteurs stellen dat dit eerdere IPI-methoden onbetrouwbaar maakt voor real-world scenario's waar gebruikersqueries divers en onvoorspelbaar zijn.

Methodologie: QueryIPI
Het paper stelt QueryIPI voor, een geautomatiseerd framework ontworpen om query-agnostische IPI uit te voeren. In tegenstelling tot eerdere methoden heeft QueryIPI als doel het gedrag van de coding agent te kapen onder arbitraire gebruikersqueries, waardoor de kwaadaardige payload wordt uitgevoerd ongeacht de intentie van de gebruiker.

De kern van de technische inzichten is de identificatie van de Systeem-invariant. Hoewel gebruikersqueries variëren, blijft de interne promptstructuur van de coding agent — bestaande uit de systeeminstructies en interne toolbeschrijvingen — constant over alle interacties heen. QueryIPI maakt gebruik van deze invariant om de generatie van kwaadaardige payloads te sturen.

Het framework werkt via een black-box optimalisatieproces waarbij de toolbeschrijving wordt gebruikt als de optimaliseerbare payload. Het proces bestaat uit twee sleutelfases die worden gedreven door een iteratieve, prompt-gebaseerde zoektocht:

1. Initiële Seed-generatie: Het systeem analyseert de interne prompt van de agent (systeeminstructies en toolbeschrijvingen) om de natuurlijke stijl, besluitvormingslogica en veiligheidsrestricties van de agent te begrijpen. Het genereert een seed-beschrijving die de interne tools van de agent nabootst om initiële veiligheidsfilters te omzeilen en als een vertrouwde component te verschijnen.
2. Iteratieve Reflectie: Het framework gebruikt een "Mutation LLM" om de payload te verfijnen. Het evalueert kandidaat-beschrijvingen tegen een reeks diverse gebruikersqueries. Als de agent er niet in slaagt de kwaadaardige actie uit te voeren (of de actie negeert of weigert), gebruikt de Mutation LLM de interne prompt om de mislukking te analyseren. Het richt zich specifiek op de veiligheidsregels of de contextcomplexiteit die de weigering veroorzaakte, en herschrijft de beschrijving om deze verdedigingen systematisch te omzeilen.

Belangrijkste Bijdragen

• Paradigmaverschuiving: Het paper formaliseert de eerste query-agnostische IPI aanval voor coding agents, waarbij de focus verschuift van voorwaardelijke, query-specifieke aanvallen naar onvoorwaardelijke aanvallen die werken bij willekeurige gebruikersinputs.
• Identificatie van Systeem-invarianten: Het identificeert de interne prompt (systeeminstructies en tooldefinities) als een cruciale "systeem-invariant" die geëxploiteerd kan worden om betrouwbare adversariële instructie-opvolging te garanderen, ongeacht de gebruikersquery.
• Geautomatiseerd Framework: Het introduceert QueryIPI, een geautomatiseerd framework dat black-box optimalisatie en iteratieve reflectie gebruikt om kwaadaardige toolbeschrijvingen te maken die aansluiten bij de interne logica van de agent en veiligheidsbarrières omzeilen.
• Haalbaarheid van Toegang: De auteurs stellen dat het verkrijgen van deze interne prompts zeer haalbaar is via open-source frameworks, prompt-extractie aanvallen (die recentelijk een hoog succespercentage hebben getoond in de literatuur), of gelekte repositories, wat het dreigmodel praktisch maakt.

Experimentele Resultaten
De auteurs evalueerden QueryIPI op vijf gesimuleerde real-world coding agents (Cursor, Windsurf, Cline, Copilot en Trae) met behulp van een backend LLM (Claude-Sonnet-4) en een dataset van 100 testgevallen (10 kwaadaardige commando's × 10 diverse gebruikersqueries).

• Prestaties vs. Baselines: QueryIPI presteerde significant beter dan bestaande baselines (AgentDojo, InjecAgent, MCPTox en TIP). Terwijl de best presterende baseline een gemiddeld succespercentage van 50% behaalde, bereikte QueryIPI gemiddelde succespercentages van 70% (met 2 trainingssamples), 82% (met 4 samples) en 87% (met 8 samples).
• Rol van Interne Prompts: Een ablatie-studie toonde aan dat zonder toegang tot de interne prompt het succespercentage van de aanval kelderde naar 20%, wat de cruciale rol van systeem-invarianten bevestigt. Zelfs met slechts "gedeeltelijke" of verouderde prompts (gray-box setting), bleef het succespercentage hoog op 71%.
• Real-World Transfereerbaarheid: Cruciaal is dat de auteurs demonstreerden dat in de gesimuleerde omgeving gegenereerde kwaadaardige toolbeschrijvingen succesvol werden overgedragen naar real-world coding agents. In tests tegen de werkelijke agents behaalde QueryIPI een gemiddeld succespercentage van 50%, terwijl de baseline (TIP) daalde naar 2%.
• Robuustheid: De aanval bleef effectief tegen diverse defensiestrategieën, inclusief "Sandwich Defense" en "Spotlighting" varianten, waarbij de succespercentages hoog bleven (bijv. 82% tegen Sandwich Defense). Bovendien behielden de gegenereerde payloads lage perplexiteitsscores, waardoor ze moeilijk te detecteren zijn via statistische anomaliedetectie.

Betekenis en Claims
Het paper claimt dat QueryIPI query-agnostische IPI vestigt als een praktische en deterministische dreiging voor real-world coding agents. Door aan te tonen dat interne prompts geëxploiteerd kunnen worden om aanvallen te creëren die onafhankelijk van de gebruikersinput functioneren, benadrukken de auteurs een ernstig beveiligingsrisico dat voortvloeit uit de blootstelling van systeeminstructies. Het werk benadrukt dat de afhankelijkheid van specifieke gebruikersqueries in eerdere defensies ontoereikend is, aange omdat aanvallers nu payloads kunnen maken die agents kapen onder elke gebruikersinteractie. De auteurs concluderen dat het begrijpen van deze offensieve capaciteit essentieel is voor het ontwikkelen van robuuste defensies, waarbij zij opmerken dat de blootstelling van interne prompts de primaire facilitator van deze dreiging is.