ChronosAttack: Adversarial Tool Scheduling Attacks on LLM Agents
Dit artikel introduceert ChronosAttack, een nieuwe adversariële techniek die de timing van authentieke tool-responsen in asynchrone LLM-agenten manipuleert om besluitvormingsuitkomsten te veranderen zonder de inhoud aan te passen, waarmee wordt aangetoond dat de volgorde van responsen op zichzelf een significante aanvalsoppervlakte vormt over diverse modellen heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentie is geëvolueerd van systemen die simpelweg vragen beantwoorden naar agenten die in staat zijn om actie te ondernemen. Deze agenten fungeren als digitale assistenten die contact kunnen leggen met de buitenwereld, waarbij ze softwaretools gebruiken om een weersverwachting te controleren, een vlucht te boeken of een database-invoer op te halen. Ze lezen niet alleen een statisch document; ze interageren met een dynamische omgeving, waarbij ze wachten tot de tools hun werk hebben voltooid en vervolgens die nieuwe informatie gebruiken om te beslissen wat de volgende stap is. Dit proces rust op een opeenvolging van gebeurtenissen: de agent stelt een vraag, de tool werkt, de tool stuurt een antwoord terug, en de agent gebruikt dat antwoord om verder te gaan. Voor deze systemen is het essentieel dat we niet alleen begrijpen welke informatie ze ontvangen, maar ook hoe de timing van die informatie hun beslissingen vormgeeft.
Onderzoekers weten al lang dat de volgorde waarin informatie wordt gepresenteerd, de manier waarop een mens of een machine een situatie interpreteert, kan veranderen. Als een lijst met opties wordt gehusseld, voelt de keuze bovenaan vaak belangrijker aan dan de optie onderaan. Dit artikel verkent een nieuwe en subtiele manier waarop dit principe tegen AI-agenten kan worden uitgebuit. De studie, getiteld ChronosAttack, onderzoekt of een aanvaller de uiteindelijke beslissing van een agent kan veranderen door simpelweg de aankomst van eerlijke, ongewijzigde reacties van tools te vertragen. De aanvaller hoeft de tool niet te hacken, de data niet te wijzigen of valse instructies in te voegen. De aanvaller hoeft alleen maar de klok te beheersen, door een specifiek stuk informatie net lang genoeg achter te houden om de volgorde waarin de agent het ziet te veranderen.
De onderzoekers testten dit idee op vier verschillende, krachtige AI-modellen van grote technologiebedrijven. Ze stelden een scenario op waarin een agent moest kiezen tussen drie opties op basis van drie afzonderlijke stukken bewijs die door tools werden geleverd. In een normale situatie zouden de tools hun antwoorden in een natuurlijke, logische volgorde teruggeven. In het aanvalsscenario introduceerden de onderzoekers kleine, gecontroleerde vertragingen in specifieke reacties. Deze vertragingen waren zo klein dat ze in milliseconden werden gemeten — fracties van een seconde — maar ze waren voldoende om de volgorde waarin de agent het bewijs ontving, te verschuiven. De inhoud van het bewijs bleef exact hetzelfde; alleen de timing veranderde.
De resultaten toonden aan dat deze eenvoudige manipulatie van tijd de keuze van de agent drastisch kon veranderen. In sommige gevallen zorgde de vertraging ervoor dat de agent zijn beslissing met een hoge mate van vertrouwen wijzigde naar een specifieke doeloptie. Bijvoorbeeld, één model dat oorspronkelijk een optie slechts 10 procent van de tijd koos, begon deze optie 83 procent van de tijd te kiezen wanneer de volgorde van het bewijs werd verschoven. Een ander model vertoonde een nog dramatischer reactie, maar in de tegenovergestelde richting: wanneer de volgorde werd gewijzigd, liet het de gebruikelijke keuze bijna volledig varen. Een derde model bleef relatief stabiel, wat aantoont dat niet alle systemen even kwetsbaar zijn voor dit type timing-aanval. De studie concludeerde dat het effect niet beperkt was tot agenten die zich eerdere interacties herinnerden; zelfs toen de agent alle informatie tegelijkertijd verwerkte, was het simpelweg veranderen van de volgorde waarin de tekst verscheen genoeg om de beslissing te doen omslaan.
De onderzoekers onderzochten ook of grotere vertragingen voor sterkere aanvallen zouden zorgen. Ze ontdekten dat de omvang van de vertaging er minder toe deed dan de specifieke volgorde die het creëerde. Een kleine vertraging die slechts één wisseling in de volgorde van twee stukken bewijs veroorzaakte, was vaak net zo effectief als een grotere vertraging die meerdere wisselingen veroorzaakte. Dit suggereert dat de kwetsbaarheid ligt in hoe de agent de sequentie van informatie weegt, in plaats van in de omvang van de verstoring. Om dit tegen te gaan, testte het team twee defensieve strategieën. De ene strategie hield in dat men wachtte tot alle tools hun werk hadden voltooid voordat de resultaten aan de agent werden gepresenteerd, om er zeker van te zijn dat de informatie in een vaste, veilige volgorde arriveerde. Een andere strategie hield in dat de agent werd gevraagd om de beslissing meerdere keren te nemen met de informatie in elke mogelijke volgorde gehusseld, en vervolgens alleen een antwoord te accepteren als de resultaten consistent waren. Beide methoden verminderden het vermogen van de aanvaller om de uitkomst te controleren aanzienlijk, hoewel hun effectiviteit varieerde afhankelijk van het specifieke AI-model dat werd gebruikt.
Dit werk onthult dat de timing van tool-reacties een beveiligingsgrens is die grotendeels over het hoofd is gezien. Het toont aan dat het besluitvormingsproces van een agent gevoelig is voor het ritme van de inputs, zelfs wanneer die inputs volledig authentiek zijn. De studie beweert niet dat deze kwetsbaarheid in elk real-world systeem bestaat, noch suggereert het dat alle AI-agenten evenveel risico lopen. In plaats daarvan biedt het een duidelijk bewijs dat de sequentie van gebeurtenissen een variabele is die kan worden gemanipuleerd om uitkomsten te veranderen. Door aan te tonen dat een vertraging van minder dan een seconde een beslissing van de ene keuze naar de andere kan verschuiven, belicht het onderzoek een nieuwe grens in AI-veiligheid. Het suggereert dat naarmate deze agenten meer geïntegreerd raken in ons digitale leven, het waarborgen dat ze robuust zijn tegen de subtiele invloed van tijd even belangrijk zal zijn als het beschermen van hen tegen valse data of kwaadaardige commando's.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.