Poisoning Agentic Alpha: Adversarial Vulnerabilities Across Roles and Architectures in Multi-Agent Trading Systems
Dit artikel presenteert de eerste systematische empirische studie die aantoont dat op LLM gebaseerde multi-agent handelsystemen inherent kwetsbaar zijn voor laagdrempelige, rol-specifieke adversariële aanvallen gericht op brongegevens en prompts, wat onthult dat geen enkele communicatiearchitectuur robuust is tegen de propagatie van gecorrumpeerde signalen naar uiteindelijke financiële beslissingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de bruisende wereld van de moderne financiële sector is een nieuw type werknemer opgekomen: de kunstmatige intelligentie-agent. In tegenstelling tot een eenvoudig computerprogramma dat een rigide lijst met instructies volgt, zijn deze agenten gebouwd op grote taalmodellen, dezelfde technologie die geavanceerde chatbots aandrijft. Ze kunnen nieuws lezen, markttrends analyseren en zelfs gesprekken met elkaar voeren. In een multi-agent handelsysteem worden deze digitale werkers specifieke taken toegewezen, vergelijkbaar met een menselijk investeringsbedrijf. De ene agent kan optreden als analist, waarbij hij koppen scant op aanwijzingen. Een andere kan dienen als onderzoeker, die het nut van een aandeel debatteert met een collega. Een derde fungeert als handelaar, klaar om te kopen of te verkopen, terwijl een vierde dient als risicobeheerder, belast met het stoppen van elke gevaarlijke beweging. Het idee is dat deze gespecialiseerde agenten door samenwerking slimmere, meer genuanceerde beslissingen kunnen nemen dan een enkel programma ooit zou kunnen bewerkstelligen.
Deze samenwerking creëert echter een nieuw soort zwakte. Net zoals een gerucht zich door een menselijk kantoor kan verspreiden en een uiteindelijke beslissing kan beïnvloeden, kan één gecorrumpeerd stukje informatie door dit digitale team reizen en de uitkomst ruïneren. Als een aanvaller erin slaagt de data die een analist leest te vergiftigen, of een onderzoeker misleidt om voor een slecht idee te pleiten, kan die fout door de hele groep cascaderen, wat leidt tot echt financieel verlies. Nu deze systemen bewegen van onderzoekslabs naar live markten waar ze daadwerkelijk geld beheren, is het begrijpen van hoe ze kunnen worden misleid een kwestie van dringende praktische belangrijkheid geworden.
Een team van onderzoekers zette zich scharpe om precies in kaart te brengen hoe deze digitale teams falen. Ze bouwten een gesimuleerde handelsomgeving met vijf belangrijke activa, waaronder aandelen zoals Apple en Microsoft, en een cryptovaluta. Ze construeerden een pijplijn waarin agenten communiceerden in vier afzonderlijke rollen: een team van analisten die nieuws en sentiment op sociale media verzamelen, een onderzoeksteam dat marktomstandigheden debatteert, een handelaar die de uiteindelijke beslissing neemt, en een risicobeheerder die fungeert als vangnet. De onderzoekers traden vervolgens op als onzichtbare saboteurs en testten hoe gemakkelijk ze de uiteindelijke beslissing van het systeem konden manipuleren door verschillende delen van het proces aan te vallen. Ze hadden geen toegang tot de interne code van de agenten; in plaats daarvan gebruikten ze alleen de informatie die de agenten bedoeld waren te consumeren, zoals nieuwsartikelen, berichten op sociale media en de prompts die aan de agenten werden gegeven. Deze aanpak bootst een realistische dreiging na waarbij een aanvaller buiten het systeem staat, maar wel de data die erin stroomt kan beïnvloeden.
De studie onthulde dat niet alle delen van het team even kwetsbaar zijn. Wanneer de onderzoekers de analisten aanpakten door hen valse informatie of verborgen instructies te voeren die begraven lagen in berichten op sociale media, werd het systeem soms misleid, maar vaak ontdekten de andere agenten de fout. Wanneer zij de onderzoekers aanpakten, die een debat voerden tussen een "bull" (optimistische) en een "bear" (pessimistische) visie, werd het systeem gemakkelijker beïnvloed, vooral als de aanvaller overtuigende taal gebruikte die inspeelde op angst of opwinding. De meest gevaarlijke kwetsbaarheid werd echter gevonden in de risicobeheerder. Deze agent is bedoeld als de laatste poortwachter, die controleert of er geen gevaarlijke transacties worden gedaan. In de simulaties van de onderzoekers, wanneer zij erin slaagden de risicobeheerder te misleiden om zijn eigen veiligheidsregels te negeren, slaagde de aanval bijna elke keer. Sterker nog, de risicobeheerder werd in meer dan 98 procent van de dagen gecompromitteerd waarop dit mogelijk was. Dit gebeurde omdat de risicobeheerder ook de uiteindelijke beslisser was; zodra deze werd gefopt, was er niemand meer over om de slechte transactie te stoppen.
De onderzoekers testten ook hoe de manier waarop de agenten met elkaar praten hun veiligheid beïnvloedt. Ze probeerden vier verschillende teamstructuren: een gedecentraliseerde groep waar iedereen stemt, een gecentraliseerde groep waar één agent iedereen hoort en beslist, een lineaire keten waarbij informatie van de een naar de ander wordt doorgegeven, en een hybride model waarbij agenten hun gedachten herzien op basis van wat anderen zeggen. Ze ontdekten dat geen enkele structuur een perfect schild was. Hoewel een gedecentraliseerd stemsysteem over het algemeen robuuster was, kon het nog steeds worden gebroken als de aanvallers erin slaagden genoeg van de stemmers te beïnvloeden om een meerderheid te vormen. Daarentegen was een gecentraliseerd systeem vaak het meest kwetsbaar, aangezien een enkele gecompromitteerde agent de uiteindelijke beslissing kon domineren. De onderzoekers ontwikkelden een manier om te meten hoeveel van een "slecht signaal" de reis naar de uiteindelijke beslissing overleefde, waarbij ze ontdekten dat de structuur van de conversatie ertoe deed, maar dat het de veiligheid niet op zichzelf kon garanderen.
Een centrale ontdekking van het werk is dat het simpelweg toevoegen van meer agenten of het veranderen van de teamstructuur de systemen niet automatisch veilig maakt. De simulaties toonden aan dat adversariële signalen regelmatig de deliberatieprocedure overleefden en de uiteindelijke beslissing bereikten, ongeacht de gebruikte architectuur. Het succes van een aanval hing sterk af van het specifieke activum dat werd verhandeld, de richting die de aanvaller wilde bewerkstelligen, en de specifieke agent die werd doelwit. Bijvoorbeeld, een aanval die probeerde een "verkoop"-beslissing af te dwingen, was vaak succesvoller dan een aanval die probeerde een "koop"-beslissing af te dwingen, simpelweg omdat de natuurlijke neiging van het systeem al gericht was op kopen. Dit suggereert dat de eigen vooroordelen van het systeem soms een aanvaller kunnen helpen, of soms juist kunnen beschermen, op onvoorspelbare manieren.
De financiële impact van deze aanvallen werd ook gemeten, wat een verrassende discrepantie onthulde tussen hoe vaak een aanval slaagde en hoeveel geld er daadwerkelijk verloren ging. Sommige aanvallen veranderden de handelsbeslissing bijna elke keer, maar het financiële verlies was minimaal omdat het systeem op dat moment geen positie aanhield. Andere aanvallen slaagden minder vaak, maar veroorzaakten aanzienlijke schade wanneer ze dat deden, met name wanneer ze het systeem dwongen een positie in te nemen die het anders zou hebben vermeden. Dit geeft aan dat het tellen van hoe vaak een systeem wordt misleid, niet voldoende is om het werkelijke gevaar te begrijpen; men moet ook kijken naar de specifieke context van de transactie en de omvang van de positie.
Uiteindelijk concludeert de studie dat er geen inherent robuust ontwerp bestaat voor deze multi-agent handelsystemen. De veiligheid van het systeem is minder afhankelijk van het aantal agenten of de complexiteit van hun communicatie, en meer van bewuste controles en evenwichten. De onderzoekers vonden dat beveiliging moet worden ingebouwd in het validatieproces zelf, om ervoor te zorgen dat geen enkele agent, zelfs een risicobeheerder niet, de collectieve wijsheid van de groep kan passeren zonder een tweede laag van verificatie. Naarmate deze systemen van het lab naar de live markt bewegen, suggereren de bevindingen dat ontwerpers er niet op kunnen vertrouwen dat de architectuur alleen hen beschermt. In plaats daarvan moeten ze systemen bouwen waarbij de informatiestroom voortdurend wordt gescand, en waarbij de uiteindelijke beslissing nooit de enige verantwoordelijkheid is van een enkel punt van falen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.