MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

Stel je een wereld voor waarin je computerscherm niet alleen een plaatje is, maar een kaart van commando's die wachten om aangeraakt te worden. In dit digitale landschap is een nieuw soort "slimme assistent" opgekomen: de GUI-agent. Denk aan deze agenten als ongelooflijk getalenteerde, maar ietwat letterlijke rondleiders. Je zegt tegen hen: "Klik op de rode knop om de schoenen te kopen," en zij kijken naar het scherm, bepalen precies waar die knop zit, en tikken erop. Om dit te doen, wijzen ze niet alleen; ze spreken een geheime code van cijfers. Ze genereren een reeks cijfers, zoals "814, 515," die de computer vertaalt naar een precieze locatie op jouw scherm. Dit proces wordt "visual grounding" genoemd, en het is de magie die ervoor zorgt dat robots en AI onze apps, websites en telefoons kunnen navigeren zonder menselijke handen. Maar net als bij elke kaart geldt: als je de gids erin kunt lokken de cijfers verkeerd te lezen, kun je ze een heel andere bestemming sturen.

Dit is het verhaal van een nieuwe ontdekking genaamd MissClick. De onderzoekers achter deze ontdekking realiseerden zich dat de manier waarop deze AI-agenten coördinaten opschrijven een beetje lijkt op een spellet van "plaatsingswaarde" in de wiskundeles. Wanneer een AI het getal "814" schrijft, is de '8' niet zomaar een '8'; het is een '8' die voor 800 staat omdat hij op de honderdenplaats staat. De '1' is slechts 10, en de '4' is slechts 4. Het team ontdekte dat als je de AI erin kunt lokken om die '8' te veranderen in een '9', de klik niet slechts een klein beetje verschuift, maar 100 pixels over het scherm springt! Door deze wiskundige eigheid uit te buiten, creëerden ze een "hacker"-tool die de cijfers van de AI net genoeg kan beïnvloeden om op een "Afrekenen"-knop te klikken in plaats van op het veld "Aantal", of om weg te dwalen naar de lege ruimte op het scherm. Ze testten dit op twee verschillende AI-modellen op desktop-, web- en mobiele schermen, en ontdekten dat door de wiskunde achter de cijfers te begrijpen, ze het systeem veel effectiever konden breken dan wie dan ook voorheen.

De Geheime Code van het Scherm

Om te begrijpen hoe MissClick werkt, moeten we eerst kijken naar hoe deze AI-agenten een scherm "zien". Wanneer je een instructie geeft zoals "pas de hoeveelheid van het artikel aan met 5", raadt de AI niet zomaar een plek. De AI gedraagt zich als een typemachine en spuugt één voor één een reeks tekens uit: (, 8, 1, 4, ,, 5, 1, 5, ). Het genereert de getallen "814" en "515" als een tekstreeks. Zodra het klaar is met typen, neemt de computer die reeks en zet deze om in een echte coördinaat, waardoor de muis naar die exacte pixel springt.

De onderzoekers merkten iets fascinerends op over dit proces. De AI behandelt elk cijfer als een afzonderlijk teken, maar de computer behandelt ze als een wiskundige waarde. Als de AI de eerste cijfer van een coördinaat fout krijgt, is het resultaat een enorme sprong. Bijvoorbeeld, als de AI op 814 moet klikken maar erin wordt gelokt om op 914 te klikken, beweegt de klik 100 pixels naar rechts. Als het het laatste cijfer fout krijgt, waarbij 814 verandert in 815, beweegt het slechts één pixel. Dit betekent dat het verstoren van het "honderdtal" is als het duwen van een rotsblok, terwijl het verstoren van het "eenheden" als het een tikje geven aan een kiezelsteen is.

De Twee Gezichten van MissClick

Het team, onder leiding van Yu Ran en collega's van de National University of Defense Technology, bouwde een aanvalstool genaamd MissClick. Ze realiseerden zich dat om dit systeem te hacken, je de cijfers niet zomaar als willekeurige letters kunt behandelen. Je moet de wiskunde respecteren. Ze ontwierpen twee verschillende strategieën, of "modi", afhankelijk van wat de hacker wil bereiken.

Modus 1: De "Miss" (Ongeënteerde Aanval)
Stel je voor dat je wilt dat de AI over een klif struikelt. Het maakt je niet uit waar hij landt, zolang het maar niet is waar hij hoort te zijn. Dit wordt een "ongeënteerde" aanval genoemd. MissClick-U (de "U" staat voor Untargeted) werkt door een "zachte" versie van de coördinaat te berekenen. In plaats van te wachten tot de AI één enkel cijfer kiest, kijkt het naar de waarschijnlijkheid van elk mogelijk cijfer. Het vraagt: "Wat als de AI een 9 kiest in plaats van een 8? Wat als hij een 7 kiest?" Vervolgens berekent het een gewogen gemiddelde, waardoor een "geestcoördinaat" ontstaat die tussen de getallen zweeft. Het doel is om deze geestcoördinaat zo ver mogelijk van de juiste plek weg te duwen. Door deze afstand te maximaliseren, wordt de AI gedwongen een cijfer te kiezen dat de echte klik ver uit koers stuurt.

Modus 2: De "Hijack" (Doelgerichte Aanval)
Stel je nu voor dat je de AI wilt misleiden om op een specifieke, gevaarlijke knop te klikken, zoals een "Verwijder account"-knop, in plaats van een "Opslaan"-knop. Dit is een "doelgerichte" aanval. Hier speelt MissClick-T (de "T" staat voor Targeted) een ander spel. Het wil de klik niet alleen verplaatsen; het wil de klik in een specifieke zone laten landen. De onderzoekers ontdekten dat het simpelweg proberen te laten overeenkomen van het "gemiddelde" getal met het doel niet genoeg was. Soms kan de AI "denken" dat het gemiddelde 5 is, maar in werkelijkheid een 1 of een 9 kiezen omdat dat de meest waarschijnlijke opties waren. Daarom richt MissClick-T zich op de "plaatsingswaarde". Het legt extra druk op de hoogwaardige cijfers (de honderden- en tientallenplaatsen). Het vertelt de AI: "Je moet de '8' op de honderdenplaats goed krijgen, want dat is wat de klik het meest verplaatst." Door het belang van elk cijfer te wegen op basis van zijn wiskundige kracht, dwingt het de AI om exact de cijfers te selecteren die nodig zijn om op het doel van de aanvaller te landen.

De Resultaten: Een Grote Sprong in Succes

Het team testte MissClick op twee populaire AI-modellen, OS-Atlas en UGround, in drie verschillende omgevingen: desktopcomputers, webbrowsers en mobiele telefoons. Ze vergeleken hun nieuwe methode met oudere hacktechnieken die de coördinaten als gewone tekst behandelden en de wiskunde negeerden.

De resultaten waren opvallend.

• Voor de "Miss"-aanvallen: MissClick-U slaagde erin om de AI op de verkeerde plek te laten klikken in 75,07% van de gevallen bij OS-Atlas en 72,93% bij UGround. De oude methoden haalden respectievelijk slechts ongeveer 58% en 42%. Dat is een enorme sprong, met een verbetering van meer dan 30 procentpunten in sommige gevallen.
• Voor de "Hijack"-aanvallen: MissClick-T was nog indrukwekkender. Het slaagde erin om de klik te herleiden naar het gekozen doel van de aanvaller in 44,86% van de gevallen bij OS-Atlas en een enorme 62,67% bij UGround. De oude methoden worstelden en slaagden slechts ongeveer 13% tot 15% van de tijd.

De onderzoekers ontdekten ook dat de twee doelen verschillende instrumenten vereisten. Het proberen te gebruiken van de "Miss"-strategie voor een "Hijack" werkte niet goed, en andersom. Dit bevestigde dat het begrijpen van het specifieke doel van de aanval even belangrijk is als het begrijpen van de wiskunde achter de cijfers.

Waarom dit ertoe doet

Dit paper laat niet alleen zien dat AI bedrogen kan worden; het laat zien hoe je de AI beter kunt bedriegen door de verborgen structuur van zijn taal te begrijpen. De auteurs suggereren dat omdat de AI coördinaten genereert als een reeks cijfers, de "plaatsingswaarde" van die cijfers een kwetsbaarheid creëert. Een kleine verandering in een hoogwaardig cijfer creëert een enorme verschuiving in de uiteindelijke actie.

De onderzoekers merken echter voorzichtig op wat de beperkingen van hun werk zijn. Ze hebben alleen getest op modellen die coördinaten als cijfer-voor-cijfer tekst genereren. Ze hebben geen modellen getest die andere methoden gebruiken om naar dingen te wijzen. Ze gingen er ook vanuit dat ze volledige toegang hadden tot de "hersenen" van de AI (een "white-box" scenario), wat makkelijker is dan een systeem hacken waarvan je de binnenkant niet kunt zien. Maar de kern van het idee — dat de manier waarop we AI vragen om in getallen te spreken belangrijk is voor de beveiliging — lijkt een solide ontdekking te zijn.

Uiteindelijk is MissClick een herinnering aan het feit dat in de digitale wereld een getal niet zomaar een getal is. Het is een coördinaat, een commando en soms, een valstrik. Door de wiskunde achter de magie te begrijpen, lieten de onderzoekers zien dat we deze slimme agenten kunnen laten struikelen, of ze precies de kant op kunnen sturen waar wij ze willen hebben.