When State Becomes an Attack Surface: State-Semantic Injection in LLM-Driven Embodied Agents
Dit artikel introduceert "State-Semantic Injection", een nieuw aanvalsoppervlak waarbij tegenstanders de omgevingsinformatie manipuleren die door door LLM gestuurde belichaamde agenten wordt waargenomen om hun taakbegrip, planning en uitvoering te corrumperen, waardoor de veiligheid en betrouwbaarheid van robotische systemen in gevaar worden gebracht.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een robot voor die je stem kan begrijpen, de kamer rond kan kijken en kan beslissen hoe hij zijn armen moet bewegen om je te helpen. Deze machines, vaak belichaamde agenten (embodied agents) genoemd, worden steeds gebruikelijker. Ze volgen niet simpelweg een rigide lijst met commando's; in plaats daarvan gebruiken ze krachtige taalmodellen om te bepalen wat ze vervolgens moeten doen op basis van wat ze zien en wat je hen vraagt. Om een beslissing te nemen, bouwt de robot een mentaal beeld van zijn omgeving op, waarbij hij noteert waar objecten zich bevinden, wat hun naam is en hoe ze met elkaar in relate staan. Hij behandelt dit mentale beeld als een betrouwbaar feit, een solide fundament waarop hij zijn plan bouwt om een kopje op te pakken, een deur te openen of een plank op te ruimen. Als de informatie in dat mentale beeld onjuist is, zal het plan van de robot ook onjuist zijn. Dit creëert een nieuw soort risico: wat gebeurt er als iemand stilletjes de feiten in de geest van de robot verandert zonder de woorden die je tegen hem sprak te veranderen?
Onderzoekers weten al lang dat kunstmatige intelligentie misleid kan worden door verwarrende instructies die verborgen zitten in tekst of afbeeldingen. Maar een nieuwe studie stelt een diepere vraag over robots die interageren met de fysieke wereld. Het onderzoekt een scenario waarin een aanvaller niet een vals commando tegen de robot schreeuwt, maar in plaats daarvan stilletjes de beschrijving van de kamer aanpast die de robot gebruikt om na te denken. De onderzoekers wilden weten: als een robot een valse beschrijving van zijn omgeving krijgt gevoerd, zal hij die leugen geloven, zijn plan aanpassen en dan ook daadwerkelijk iets fouts doen in de echte wereld? Ze ontdekten dat het antwoord 'ja' is, en dat de robot de verkeerde objecten kan pakken of naar de verkeerde plek kan bewegen, zelfs wanneer de mens die de opdracht geeft zich er volledig geen bewust van is.
Het team, geleid door wetenschappers van de Wuhan University en de University at Buffalo, ontwikkelde een methode die zij Environment State-Text Injection noemen. Om te begrijpen hoe dit werkt, kun je je een robot voorstellen die de taak heeft om een specifiek boek in een boekenkast te vinden. Normaal gesproken kijkt de robot naar de kast, ziet een boek en noteert de locatie ervan. In dit experiment hebben de onderzoekers een enkel onderdeel van het systeem van de robot aangepast dat verantwoordelijk is voor het rapporteren van wat de robot ziet. Ze hebben niet het verzoek van de mens veranderd, noch hebben ze de hersenen of de motoren van de robot gehackt. In plaats daarvan hebben ze simpelweg de tekst veranderd die de robot leest over het boek. Ze vervingen de beschrijving van het boek door een beschrijving van een ander object, zoals een tomaat, of ze veranderden de locatie van het boek naar een andere plek in de kast. Cruciaal was dat ze ervoor zorgden dat deze valse beschrijving er precies uitzag als een normale, eerlijke rapportage van de sensoren van de robot. Het was geen commando dat de robot vertelde om "de tomaat te pakken"; het was een leugen over wat de robot zogenaamd zag.
De onderzoekers testten dit idee in drie verschillende gesimuleerde werelden, elk ontworpen om een echt huis of kantoor na te bootsen. Ze gebruikten geavanceerde taalmodellen om als het brein van de robot te fungeren. In één test werd de robot gevraagd om een blok naar het midden van een tafel te verplaatsen. De onderzoekers pasten de statusrapportage aan om te zeggen dat het blok eigenlijk een ander blok was. De robot, die het valse rapport vertrouwde, plande om het verkeerde blok te verplaatsen. In een andere test kreeg de robot de opdracht om brood te pakken. De onderzoekers veranderden de status zodat er stond dat het brood eigenlijk een tomaat was. De robot plande vervolgens om de tomaat te pakken in plaats van het brood. De resultaten waren opmerkelijk. Wanneer de valse informatie aan het planningssysteem van de robot werd geleverd, nam de robot de nieuwe doelstelling in bijna alle gevallen over. In één specifieke opstelling veranderde de robot zijn plan in 100 procent van de gevallen om de leugen te volgen.
Het verhaal eindigt echter niet met de robot die simpelweg van gedachten verandert. De onderzoekers keken ook of de robot de nieuwe actie daadwerkelijk kon uitvoeren in de fysieke wereld. Dit is waar de test moeilijker wordt. Zelfs als de robot besluit om in plaats van brood een tomaat te pakken, moet hij nog steeds in staat zijn om de tomaat te bereiken, en de tomaat moet er ook daadwerkelijk zijn om de robot te laten pakken. De studie toonde aan dat hoewel de robot bijna altijd van plan veranderde, hij de actie niet altijd succesvol kon voltooien. In de simulaties voerde de robot de verkeerde actie in ongeveer 43 tot 48 procent van de gevallen succesvol uit, afhankelijk van de omgeving. Deze kloof tussen het veranderen van het plan en het succesvol uitvoeren van de actie is belangrijk. Het laat zien dat hoewel de robot gemakkelijk kan worden misleid om een ander doel te hebben, de fysieke wetten van de wereld nog steeds van toepassing zijn. De robot kan geen object pakken dat er niet is, of een plek bereiken die geblokkeerd is.
Om te bewijzen dat dit niet slechts een artefact van de simulatie was, testten de onderzoekers de methode ook op een echte, fysieke robot. Ze gaven de robot de eenvoudige instructie om een pad te volgen en terug te keren naar het startpunt. Vervolgens voedden ze de robot een vals rapport over zijn omgeving, waarin werd gesuggereerd dat een computer zich op een andere locatie bevond dan waar hij werkelijk was. De robot, die de leugen geloofde, veranderde zijn pad. In plaats van de lus te voltooien zoals geïnstruerd, draaide de robot richting de computer en week hij af van zijn beoogde route. Dit experiment bevestigde dat een leugen over de omgeving, geleverd via de interne status van de robot, een echte machine ertoe kon brengen op een manier te bewegen die niet de bedoeling was van de menselijke operator.
De studie vergeleek deze methode ook met andere bekende manieren om robots aan te vallen. Eerdere aanvallen bestonden vaak uit het schreeuwen van een verborgen commando of het gebruiken van een "jailbreak" om de robot te dwingen de veiligheidsregels te negeren. De onderzoekers vonden dat deze oudere methoden minder effectief waren wanneer het erom ging om de robot iets specifieks in de fysieke wereld te laten doen. De nieuwe methode werkte beter omdat het niet probeerde de programmering van de robot te bevechten met een commando; in plaats daarvan verving het simpelweg de feiten waarop de robot vertrouwde. Het was alsof je de ingrediënten in een recept verandert in plaats van de chef te gaan schreeuwen. De robot volgde het recept perfect, maar omdat de ingrediënten fout waren, was het uiteindelijke gerecht niet wat de klant besteld had.
De onderzoekers merkten er zorgvuldig bij op wat hun studie niet bewezen heeft. Ze lieten niet zien hoe een aanvaller in eerste instantie toegang zou krijgen tot het systeem van de robot. Ze gingen ervan uit dat de aanvaller al een manier had om één klein onderdeel van de interne rapportage van de robot te wijzigen. Ze beweerden ook niet dat dit bij elke robot in elke situatie zou gebeuren. Hun werk richtte zich op een specifiek type robot dat taal gebruikt om zijn acties te plannen. Ze ontdekten dat voor deze machines de lijn tussen wat de robot denkt dat waar is en wat daadwerkelijk waar is, erg dun is. Als die lijn wordt overschreden, zal de robot naar de leugen handelen.
Dit onderzoek benadrukt een fundamentele kwetsbaarheid in de volgende generatie behulpzame machines. Naarmate robots meer geïntegreerd raken in onze huizen en werkplekken, waarbij ze vertrouwen op hun begrip van de omgeving, wordt de integriteit van dat begrip een veiligheidskwestie. Als een robot zijn eigen beschrijving van de wereld niet kan vertrouwen, kan hij ook niet worden vertrouwd om veilig te handelen in die wereld. De studie suggereert dat het beschermen van deze machines meer vereist dan alleen het beveiligen van hun software; het zal vereisen dat de feiten die zij gebruiken om beslissingen te nemen, authentiek zijn. De onderzoekers zijn van plan dit werk voort te zetten en te kijken naar hoe deze aanvallen zich over langere perioden en in complexere, veranderende omgevingen kunnen afspelen. Voor nu is de bevinding duidelijk: een robot die een leugen gelooft, zal er naar handelen, en soms zal die actie recht voor onze ogen plaatsvinden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.