MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

Stellen Sie sich eine Welt vor, in der Ihr Computerbildschirm nicht nur ein Bild ist, sondern eine Karte aus Befehlen, die darauf warten, angetippt zu werden. In dieser digitalen Landschaft ist eine neue Art von „intelligentem Assistenten“ aufgetaucht: der GUI-Agent. Stellen Sie sich diese Agenten wie unglaublich talentierte, aber etwas buchstäbliche Reiseleiter vor. Sie sagen ihnen: „Klicken Sie auf den roten Button, um die Schuhe zu kaufen“, und sie schauen auf den Bildschirm, finden genau heraus, wo sich dieser Button befindet, und tippen ihn an. Um dies zu tun, zeigen sie nicht nur; sie sprechen in einem geheimen Code aus Zahlen. Sie generieren eine Zeichenfolge von Ziffern, wie etwa „814, 515“, die der Computer in eine präzise Position auf Ihrem Bildschirm übersetzt. Dieser Prozess wird als „Visual Grounding“ bezeichnet, und es ist die Magie, die es Robotern und KI ermöglicht, durch unsere Apps, Websites und Telefone zu navigieren, ohne menschliche Hände einzusetzen. Aber genau wie bei jeder Landkarte gilt: Wenn man den Reiseleiter austrickst, die Zahlen falsch zu lesen, kann man ihn in ein völlig falsches Ziel schicken.

Dies ist die Geschichte einer neuen Entdeckung namens MissClick. Die Forscher dahinter erkannten, dass die Art und Weise, wie diese KI-Agenten Koordinaten aufschreiben, ein wenig wie das Spiel des „Stellenwertsystems“ im Mathematikunterricht ist. Wenn eine KI die Zahl „814“ schreibt, ist die „8“ nicht einfach nur eine „8“; sie ist eine „8“, die für 800 steht, weil sie an der Hunderterstelle steht. Die „1“ ist einfach 10, und die „4“ ist einfach 4. Das Team fand heraus, dass man den KI-Agenten, wenn man die „8“ in eine „9“ ändert, nicht nur ein kleines Stück verschieben kann – der Klick springt 100 Pixel weit über den Bildschirm! Durch das Ausnutzen dieser mathematischen Eigenheit erschufen sie ein „Hacker“-Werkzeug, das die Zahlen der KI gerade so weit manipuliert, dass sie statt in das Feld „Menge“ auf einen „Checkout“-Button klickt oder in den leeren Raum des Bildschirms abdriftet. Sie testeten dies an zwei verschiedenen KI-Modellen auf Desktop-, Web- und Mobilbildschirmen und fanden heraus, dass sie durch das Verständnis der Mathematik hinter den Ziffern das System weitaus effektiver manipulieren konnten als je zuvor.

Der geheime Code des Bildschirms

Um zu verstehen, wie MissClick funktioniert, müssen wir zuerst betrachten, wie diese KI-Agenten einen Bildschirm „sehen“. Wenn Sie eine Anweisung geben wie „passe die Artikelmenge mit 5 an“, rät die KI nicht einfach eine Stelle. Sie agiert wie eine Schreibmaschine, die eine Sequenz von Zeichen einzeln ausspuckt: (, 8, 1, 4, ,, 5, 1, 5, ). Sie generiert die Zahlen „814“ und „515“ als Textzeichenfolge. Sobald sie fertig getippt hat, nimmt der Computer diese Zeichenfolge und verwandelt sie in eine echte Koordinate, die der Maus sagt, dass sie zu genau diesem Pixel springen soll.

Die Forscher bemerkten etwas Faszinierendes an diesem Prozess. Die KI behandelt jede Ziffer als ein separates Zeichen, aber der Computer behandelt sie als mathematischen Wert. Wenn die KI die erste Ziffer einer Koordinate falsch wählt, ist das Ergebnis ein massiver Sprung. Wenn die KI beispielsweise auf 814 klicken soll, aber durch einen Trick dazu gebracht wird, auf 914 zu klicken, bewegt sich der Klick 100 Pixel nach rechts. Wenn sie die letzte Ziffer falsch wählt und 814 in 815 ändert, bewegt sie sich nur einen Pixel. Das bedeutet, dass das Manipulieren der „Hunderterstelle“ wie das Wegrollen eines Felsens ist, während das Manipulieren der „Einerstelle“ wie das Verschieben eines Kieselsteins ist.

Die zwei Gesichter von MissClick

Das Team unter der Leitung von Yu Ran und Kollegen von der National University of Defense Technology baute ein Angriffswerkzeug namens MissClick. Sie erkannten, dass man, um dieses System zu hacken, die Zahlen nicht einfach wie zufällige Buchstaben behandeln darf. Man muss die Mathematik respektieren. Sie entwarfen zwei verschiedene Strategien, oder „Modi“, je nachdem, was der Hacker erreichen möchte.

Modus 1: Das „Miss“ (Unzielgerichteter Angriff)
Stellen Sie sich vor, Sie wollen, dass die KI über eine Klippe stolpert und fällt. Es ist Ihnen egal, wo sie landet, solange es nicht dort ist, wo sie eigentlich hin sollte. Dies wird als „unzielgerichteter“ Angriff bezeichnet. MissClick-U (das „U“ steht für „Untargeted“) arbeitet, indem es eine „sanfte“ Version der Koordinate berechnet. Anstatt darauf zu warten, dass die KI eine einzelne Ziffer wählt, betrachtet es die Wahrscheinlichkeit jeder möglichen Ziffer. Es fragt: „Was, wenn die KI eine 9 statt einer 8 wählt? Was, wenn sie eine 7 wählt?“ Dann berechnet es einen gewichteten Durchschnitt und erstellt eine „Geister-Koordinate“, die zwischen den Zahlen schwebt. Das Ziel ist es, diese Geister-Koordinate so weit wie möglich vom korrekten Punkt entfernt zu positionen. Durch die Maximierung dieser Distanz wird die KI gezwungen, eine Ziffer zu wählen, die den echten Klick weit abseits landen lässt.

Modus 2: Das „Hijack“ (Zielgerichteter Angriff)
Nun stellen Sie sich vor, Sie wollen die KI dazu bringen, auf einen bestimmten, gefährlichen Button zu klicken, wie etwa einen „Konto löschen“-Button, anstatt auf einen „Speichern“-Button. Dies ist ein „zielgerichteter“ Angriff. Hier spielt MissClick-T (das „T“ steht für „Targeted“) ein anderes Spiel. Es will den Klick nicht nur bewegen; es will ihn in einer spezifischen Zone landen lassen. Die Forsler fanden heraus, dass es nicht ausreichte, einfach nur zu versuchen, den „Durchschnittswert“ mit dem Ziel übereinzubringen. Manchmal könnte die KI „denken“, der Durchschnitt sei 5, aber tatsächlich eine 1 oder eine 9 wählen, weil dies die wahrscheinlichsten Optionen waren. Daher konzentriert sich MissClick-T auf das „Stellenwertsystem“. Es setzt zusätzlichen Druck auf die hochwertigen Ziffern (die Hunderter- und Zehnerstellen). Es sagt der KI: „Du musst die ‚8‘ an der Hunderterstelle richtig machen, denn das ist das, was den Klick am stärksten bewegt.“ Indem es die Wichtigkeit jeder Ziffer basierend auf ihrer mathematischen Macht gewichtet, zwingt es die KI, exakt die Ziffern auszuwählen, die nötig sind, um auf dem Ziel des Angreifers zu landen.

Die Ergebnisse: Ein großer Sprung im Erfolg

Das Team testete MissClick auf zwei populären KI-Modellen, OS-Atlas und UGround, in drei verschiedenen Umgebungen: Desktop-Computern, Webbrowsern und Mobiltelefonen. Sie verglichen ihre neue Methode mit älteren Hacking-Techniken, die die Koordinaten wie reinen Text behandelten und die Mathematik ignorierten.

Die Ergebnisse waren beeindruckend.

• Für die „Miss“-Angriffe: MissClick-U war erfolgreich darin, die KI in 75,07 % der Fälle auf OS-Atlas und in 72,93 % der Fälle auf UGround an der falschen Stelle klicken zu lassen. Die alten Methoden erreichten lediglich etwa 58 % bzw. 42 %. Das ist ein riesiger Sprung, der die Erfolgsraten in einigen Fällen um über 30 Prozentpunkte verbessert hat.
• Für die „Hijack“-Angriffe: MissClick-T war noch beeindruckender. Es leitete den Klick in 44,86 % der Fälle auf OS-Atlas erfolgreich auf das gewählte Ziel des Angreifers um und erreichte sogar 62,67 % bei UGround. Die alten Methoden hatten mit etwa 13 % bis 15 % zu kämpfen.

Die Forscher fanden auch heraus, dass die beiden Ziele unterschiedliche Werkzeuge benötigten. Der Versuch, die „Miss“-Strategie für ein „Hijack“ anzuwenden, funktionierte nicht gut, und umgekehrt. Dies bestätigte, dass das Verständnis des spezifischen Angriffsziels genauso wichtig ist wie das Verständnis der Mathematik hinter den Ziffern.

Warum das wichtig ist

Dieses Paper zeigt nicht nur, dass KI getäuscht werden kann; es zeigt, wie man sie besser täuscht, indem man die verborgene Struktur ihrer Sprache versteht. Die Autoren legen nahe, dass, da die KI Koordinaten als eine Sequenz von Ziffern generiert, das „Stellenwertsystem“ dieser Ziffern eine Schwachstelle schafft. Eine kleine Änderung in einer hochwertigen Ziffer erzeugt eine massive Verschiebung der endgültigen Aktion.

Die Forscher weisen jedoch vorsichtig auf die Grenzen ihrer Arbeit hin. Sie haben nur Modelle getestet, die Koordinaten als Ziffer-für-Ziffer-Text schreiben. Sie haben keine Modelle getestet, die andere Methoden verwenden, um auf Dinge zu zeigen. Sie gingen auch davon aus, dass sie vollen Zugriff auf das „Gehirn“ der KI hatten (ein „White-Box“-Szenario), was einfacher ist, als ein System zu hacken, in das man nicht hineinsehen kann. Aber der Kern der Idee – dass die Art und Weise, wie wir KI bitten, Zahlen zu sprechen, für die Sicherheit entscheidend ist – scheint eine fundierte Entdeckung zu sein.

Am Ende ist MissClick eine Erinnerung daran, dass in der digitalen Welt eine Zahl nicht einfach nur eine Zahl ist. Sie ist eine Koordinate, ein Befehl und manchmal auch eine Falle. Durch das Verständnis der Mathematik hinter der Magie zeigten die Forscher, dass wir diese intelligenten Agenten ins Straucheln bringen oder sie genau dorthin steuern können, wo wir sie haben wollen.