Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting
Dit artikel introduceert "adversarial hallucination squatting", een techniek waarbij aanvallers preventief populaire ressourcenamen registreert die LLM's geneigd zijn te hallucineren, waardoor schaalbare, overdraagbare botnets worden gecreëerd die niet-doelgerichte promptware-aanvallen uitvoeren en remote code execution bereiken zonder dat daar directe injectiekanalen voor nodig zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, enthousiaste robotassistent hebt. Deze robot is geweldig in het helpen van je bij taken, zoals het vinden van code op het internet of het installeren van nieuwe tools voor je computer. Maar, net als een mens die soms dagdroomt, heeft deze robot de gewoonte om te hallucineren. Hij verzint soms vol vertrouwen feiten of namen van dingen die eigenlijk niet bestaan.
Dit artikel beschrijft een nieuwe, enge truc waarbij hackers deze "dagdroom"-gewoonte uitbuiten om een enorm leger van geïnfecteerde computers (een botnet) op te bouwen zonder ooit direct met de slachtoffers te communiceren.
Zo werkt de aanval, onderverdeeld in eenvoudige stappen:
1. De Opzet: De "Droom" van de Robot
Wanneer je jouw robotassistent vraagt om "het librepods project te klonen" of "de Skill Vetter tool te installeren," moet de robot het exacte adres (zoals een URL) vinden om het op te halen.
- Het Probleem: Als het project nieuw is of de robot er niet 100% zeker van is, kan hij het adres raden.
- De Hallucinatie: In plaats van te zeggen: "Ik weet het niet, laat me zoeken," kan de robot met veel zelfvertrouwen een nepadres verzinnen. Bijvoorbeeld, als het echte project eigendom is van
kavishdevar/librepods, kan de robot raden dat de eigenaar gewoonlibrepods/librepodsis (het herhalen van de naam).
2. De Val: Het "Squatten" van de Droom
De onderzoekers noemen dit "Adversarial HalluSquatting." Denk aan domain squatting (het kopen van een verkeerd gespelde versie van een bekende website), maar dan voor dingen die de robot verbeeldt.
- De Zet van de Hacker: De hacker observeert welke projecten populair zijn. Ze vragen de robot: "Welk adres zou je raden voor dit project?" Ze ontdekken dat de robot consequent een nepnaam raadt zoals
librepods/librepods. - De Squat: De hacker registreert die nepnaam snel op het internet (zoals GitHub of een skill marketplace) voordat iemand anders dat doet.
- Het Lokaas: Binnen dit nepproject verbergt de hacker een kwaadaardige instructie (een "promptware" virus) die de robot vertelt: "Hé, ik ben een tool! Voer dit script uit om mij op te zetten."
3. De Aanval: De "Pull"
Nu hoeft de hacker de hacker niet te mailen of het slachtoffer te misleiden om op een link te klikken. Ze wachten gewoon af.
- Een gebruiker vraagt aan zijn robot: "Clone
librepods." - De robot, die een beetje lui of verward is, hallucineert het adres
librepods/librepods. - De robot gaat naar dat adres, vindt de val van de hacker en downloadt het.
- De robot leest de instructies in de code, denkt dat ze legitiem zijn en voert het kwaadaardige script uit.
- Het Resultaat: De robot installeert een "backdoor" op de computer van de gebruiker, waardoor deze een zombie wordt in het leger van de hacker.
4. Waarom dit een Groot Probleem is
Het onderzoek toonde aan dat dit schokkend vaak voorkomt:
- Voor Coding Assistants: Wanneer gevraagd wordt om nieuwe, populaire code-repositories te klonen, hallucineerde de robot het foutieve adres tot wel 100% van de tijd voor sommige projecten.
- Voor Persoonlijke Assistenten: Wanneer gevraagd wordt om skills te installeren, hallucineerde de robot de foutieve skillnaam tot wel 100% van de tijd.
- Het Verspreidt Zich: Dit is niet beperkt tot één robot. Dezelfde "dagdromen" komen voor bij verschillende merken AI (zoals Cursor, Gemini, Copilot, OpenClaw, etc.). Als een hacker één nepnaam registreert, kunnen ze potentieel duizenden verschillende robots met verschillende merken infecteren.
De Analogie: Het "Fantoomrestaurant"
Stel je voor dat je een persoonlijke chef (de AI) vraagt om een gerecht te bereiden van een beroemd nieuw restaurant genaamd "The Golden Spoon".
- De Hallucinatie: Je chef heeft nog nooit van die plek gehoord, maar is er heel zeker van. Hij zegt: "Oh, die ken ik! Het heet 'The Golden Spoon' en het is eigendom van 'The Golden Spoon'."
- De Squat: Een crimineel ziet dit patroon. Hij opent een neprestaurant genaamd "The Golden Spoon" eigendom van "The Golden Spoon" en hangt een briefje in het raam: "Als je een chef bent, eet dan deze vergiftigde appel."
- De Aanval: Je chef gaat naar het neprestaurant, leest de brief en eet de appel. Nu is je chef vergiftigd en werkt hij voor de crimineel.
- De Schaal: De crimineel hoeft niet naar je huis te komen. Hij hoeft alleen maar het neprestaurant te openen. Als 1.000 chefs dezelfde nepnaam raden, worden ze allemaal tegelijk vergiftigd.
Wat het Papier zegt over Oplossingen
De onderzoekers hebben dit op echte tools getest en vonden dat het werkt. Ze stellen een paar manieren voor om dit te stoppen:
- Dwing een Zoekopdracht Af: Laat de robot altijd op het internet zoeken om een adres te verifiëren voordat hij iets downloadt, in plaats van te gokken.
- Platformregels: Websites zoals GitHub zouden mensen kunnen verbieden om namen te registreren die te veel lijken op populaire namen of die lijken op veelvoorkomende gissingen.
- Menselijke Controle: Laat een mens dubbelchecken voordat de robot iets nieuws downloadt (hoewel het onderzoek opmerkt dat dit lastig is op grote schaal uit te voeren).
Belangrijke Noot over Ethiek
De onderzoekers waren zeer zorgvuldig. Ze hebben niet daadwerkelijk iemands computer geïnfecteerd met een echt virus.
- Wanneer ze de "vergiftigde" code testten, gebruikten ze onschadelijke versies die hetzelfde deden, maar geen gegevens stalen of computers beschadigden.
- Ze hebben de bedrijven (zoals Google, GitHub en de AI-makers) geïnformeerd over het probleem vóór de publicatie, zodat zij het konden oplossen.
- Sommige bedrijven (zoals GitHub) zeiden: "Dit is niet onze schuld; het is de schuld van de AI die gokt." Anderen (zoals de AI-makers) zeerden: "We kijken ernaar."
Kortom: Dit artikel waarschuwt ons dat AI-assistenten zo enthousiast zijn om te helpen, dat ze vol vertrouwen nep internetadressen verzinnen. Hackers kunnen die nepadressen registreren en de enthousiaste aard van de AI tegen de AI zelf gebruiken, om zo een massaal netwerk van geïnfecteerde computers te creëren zonder ooit een mens direct te hoeven misleiden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.