In de moderne digitale wereld fungeren intelligente software-agenten als assistenten die e-mails kunnen lezen, websites kunnen browsen, documenten kunnen openen en diverse hulpmiddelen kunnen gebruiken om taken voor hun gebruikers te voltooien. Deze programma's zijn ontworpen om behulpzaam te zijn, maar ze worden geconfronteerd met een unieke kwetsbaarheid die bekend staat als indirecte prompt-injectie. In tegenstelling tot een direct commando van een gebruiker, vindt deze aanval plaats wanneer de agent inhoud leest die door iemand anders is gemaakt — zoals een webpagina, een bestand of een bericht van een derde partij — die stiekem verborgen instructies bevat. Als de agent deze verborgen instructies opvolgt in plaats van het oorspronkelijke verzoek van de gebruiker, kan het gevaarlijke acties uitvoeren zoals het verzenden van privégegevens, het overmaken van geld of het uitvoeren van commando's op een computer. De kernvraag voor beveiligingsonderzoekers is niet alleen of een agent kan worden misleid door één slechte zin, maar of het hele systeem veilig blijft wanneer het een constante stroom van realtime informatie uit onbetrouwbare bronnen verwerkt.

Een team van onderzoekers van Tencent Zhuque Lab zette zich scharpe doelen om precies te meten hoe kwetsbaar een dergelijk systeem, genaamd DeepSeek Harness, is voor deze verborgen instructies. Ze bouwden een gespecialiseerde testomgeving die hen in staat stelde om veilig duizenden scenario's te simuleren waarin een agent potentieel gevaarlijke inhoud moest lezen en vervolgens moest beslissen wat hij daarna zou doen. In plaats van te proberen echte computers te hacken of daadwerkelijke e-mails te verzenden, creëerden ze een gecontroleerd laboratorium waar de "tools" die de agent gebruikte, onschadelijke simulaties waren die simpelweg registreerden wat de agent probeerde te doen. Deze opzet stelde hen in staat om het besluitvormingsproces van de agent te observeren zonder echte wereldwijde schade aan te richten. Ze testten het systeem in 14.560 verschillende situaties, waarbij gebruik werd gemaakt van een grote verscheidenheid aan inhoudstypes, waaronder webpagina's, PDF's, e-mails en zelfs verborgen karakters die onzichtbaar zijn voor het menselijk oog maar zichtbaar voor de computer.

De resultaten van dit enorme experiment toonden aan dat het systeem inderdaad vatbaar is voor deze aanvallen, maar dat het gevaar sterk afhangt van de manier waarop de informatie wordt gepresenteerd. Wanneer de onderzoekers eenvoudige tekst gebruikten om de verborgen instructies te leveren, volgde de agent de kwaadaardige commando's in ongeveer 17 procent van de gevallen succesvol op. Echter, wanneer zij bestanden gebruikten, zoals documenten met verborgen opmaak of speciale karakters, steeg het succespercentage van de aanvallen aanzienlijk en bereikte het in sommige specifieke bestandstypes wel 25 procent. Een van de meest opvallende bevindingen was dat de manier waarop de computer de inhoud opslaat en leest belangrijker is dan de inhoud zelf. Zo was een type verborgen instructie met behulp van onzichtbare Unicode-karakters volledig ineffectief wanneer het als platte tekst werd gepresenteerd, met een succespercentage van nul procent, maar werd het zeer effectief wanneer het in een bestand werd ingebed, waar het leesproces van het bestand door de computer de verborgen opdracht per ongelks blootstelde aan de agent.

De studie benadrukte ook dat het type taak dat de agent probeerde uit te voeren, het risicoprofiel veranderde. Wanneer het doel simpelweg was om de tekst die de agent in zijn reactie schreef te wijzigen, werd de agent veel vaker misleid, met succespercentages die voor bepaalde typen verborgen instructies bijna 36 procent bereikten. Echter, wanneer het doel vereiste dat de agent een concrete, gevoelige actie ondernam, zoals het verzenden van een e-mail of het overmaken van fondsen, daalde het succespercentage naar slechts 2,5 procent. Dit suggereert dat hoewel de conversatiestijl van de agent gemakkelijk gemanipuleerd kan worden, de beveiligingsmaatregelen van het systeem beter zijn in het voorkomen van daadwerkelijke schadelijke acties, hoewel ze verre van perfect zijn. De onderzoekers ontdekten dat de agent het gemakkelijkst werd misleid wanneer hij "skills" of herbruikbare tools las die deel uitmaakten van zijn eigen gereedschapskist, waarbij de succespercentages van aanvallen in bestandmodus opliepen tot boven de 16 procent. Dit geeft aan dat de zeer componenten die bedoeld zijn om de agent krachtiger te maken, ook de zwakste schakel kunnen worden als ze niet zorgvuldig worden gecontroleerd.

Om te begrijpen waarom deze fouten plaatsvonden, keken de onderzoekers nauwgezet naar de code die de agent aanstuurt. Ze ontdekten dat het systeem specifieke punten heeft waar het informatie van een tool overneemt, zoals een zoekresultaat of een document, en deze terugvoert naar het geheugen van de agent om hem te helpen bij het plannen van zijn volgende stap. Het is op dit stadium dat de verborgen instructies binnensluipen. De agent ziet de kwaadaardige tekst als gewoon een stuk informatie om te overwegen, in plaats van een commando om te negeren. De studie toonde aan dat het systeem niet inherent weet dat inhoud uit een onbetrouwbare bron als gevaarlijke data moet worden behandeld in plaats van als een reeks instructies. De onderzoekers concludeerden dat het oplossen van dit probleem meer vereist dan alleen de agent vertellen om voorzichtig te zijn; het vereist het bouwen van specifieke barrières in de software die onbetrouwbare data scheiden van het besluitvormingsproces van de agent. Ze suggereerden dat ontwikkelaars controles moeten toevoegen die de bron van informatie verifiëren voordat deze wordt gebruikt, en ervoor moeten zorgen dat gevoelige acties, zoals het versturen van geld of het uitvoeren van commando's, expliciete goedkeuring vereisen die niet afhankelijk is van de interpretatie van de agent van een potentieel vergiftigd document.

De onderzoekers vergeleken ook twee verschillende manieren om te beoordelen of een aanval succesvol was. Eén methode gebruikte strikte, op regels gebaseerde controles om te zien of de agent exact de gevraagde actie uitvoerde, terwijl de andere een flexibelere, op taal gebaseerde evaluatie gebruikte om te zien of het gedrag van de agent op een betekenisvolle manier veranderde. Ze vonden dat de flexibele methode veel meer gevallen van problemen identificeerde, waarbij zaken werden opgevangen waarbij de agent duidelijk werd beïnvloed door de verborgen instructies, zelfs als hij de volledige taak niet voltooide. Dit suggereert dat huidige beveiligingstests het risico onderschatten omdat ze te veel gefocust zijn op de vraag of de uiteindelijke actie heeft plaatsgevonden, in plaats van op de vraag of het denken van de agent in de eerste plaats gecompromitteerd is. Het team benadrukte dat beveiliging geen eenmalige controle kan zijn; naarmate deze systemen evolueren en nieuwe tools worden toegevoegd, moet de route van onbetrouwbare inhoud naar een gevaarlijke actie continu worden getest. Hun werk biedt een duidelijke roadmap voor ontwikkelaars om veiligere agenten te bouwen door elk stuk externe informatie te behandelen als een potentiële dreiging totdat het is geverifieerd, om er zeker van te zijn dat de behulpzame assistenten van de toekomst geen onwetende medeplichtigen worden aan digitale aanvallen.