MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

Immaginate un mondo in cui lo schermo del vostro computer non sia solo un'immagine, ma una mappa di comandi in attesa di essere toccati. In questo paesaggio digitale, è emerso un nuovo tipo di "assistente intelligente": l'agente GUI. Pensate a questi agenti come a delle guide turistiche incredibilmente dotate, ma un po' troppo letterali. Voi dite loro: "Clicca sul pulsante rosso per comprare le scarpe", e loro guardano lo schermo, individuano esattamente dove si trova quel pulsante e lo premono. Per farlo, non si limitano a indicare; parlano un codice segreto di numeri. Generano una sequenza di cifre, come "814, 515", che il computer traduce in una posizione precisa sul vostro schermo. Questo processo è chiamato "grounding visivo" (visual grounding), ed è la magia che permette a robot e IA di navigare tra le nostre app, siti web e telefoni senza mani umane. Ma proprio come ogni mappa, se riuscite a ingannare la guida facendole leggere i numeri nel modo sbagliato, potete mandarla verso una destinazione completamente errata.

Questa è la storia di una nuova scoperta chiamata MissClick. I ricercatori dietro di essa si sono resi conto che il modo in cui questi agenti IA scrivono le coordinate è un po' come un gioco di "valore posizionale" nelle lezioni di matematica. Quando un'IA scrive il numero "814", l'8 non è solo un '8'; è un '8' che rappresenta 800 perché si trova nella posizione delle centinaia. L'1 è solo 10, e il 4 è solo 4. Il team ha scoperto che se riuscite a ingannare l'IA facendole cambiare quell'8 in un 9, il clic non si sposta solo di poco — salta di 100 pixel attraverso lo schermo! Sfruttando questa particolarità matematica, hanno creato uno strumento di "hacking" capace di spostare i numeri dell'IA quanto basta per farle cliccare su un pulsante "Checkout" invece che sul campo "Quantità", o per farla vagare nello spazio vuoto dello schermo. Hanno testato questo approccio su due diversi modelli di IA su schermi desktop, web e mobile, e hanno scoperto che, comprendendo la matematica dietro le cifre, potevano rompere il sistema in modo molto più efficace di quanto chiunque avesse mai fatto prima.

Il Codice Segreto dello Schermo

Per capire come funziona MissClick, dobbiamo prima guardare come questi agenti IA "vedono" uno schermo. Quando date un'istruzione come "regola la quantità dell'articolo con 5", l'IA non indovina semplicemente un punto. Agisce come una macchina da scrivere, emettendo una sequenza di caratteri uno alla volta: (, 8, 1, 4, ,, 5, 1, 5, ). Sta generando i numeri "814" e "515" come una stringa di testo. Una volta finito di scrivere, il computer prende quella stringa e la trasforma in una coordinata reale, dicendo al mouse di saltare esattamente a quel pixel.

I ricercatori hanno notato qualcosa di affascinante in questo processo. L'IA tratta ogni cifra come un carattere separato, ma il computer le tratta come un valore matematico. Se l'IA sbaglia la prima cifra di una coordinata, il risultato è un salto enorme. Per esempio, se l'IA dovrebbe cliccare a 814 ma viene ingannata per cliccare a 914, il clic si sposta di 100 pixel a destra. Se sbaglia l'ultima cifra, cambiando 814 in 815, si sposta solo di un pixel. Questo significa che manipolare la cifra delle "centinaia" è come spingere un masso, mentre manipolare la cifra delle "unità" è come dare un colpetto a un sassolino.

Le Due Facce di MissClick

Il team, guidato da Yu Ran e dai colleghi della National University of Defense Technology, ha costruito uno strumento di attacco chiamato MissClick. Si sono resi conto che per hackerare questo sistema, non si possono trattare i numeri come semplici lettere. Bisogna rispettare la matematica. Hanno progettato due diverse strategie, o "modalità", a seconda di ciò che l'hacker vuole ottenere.

Modalità 1: Il "Miss" (Attacco Non Mirato)
Immaginate di voler far inciampare l'IA e farla cadere in un burrone. Non vi importa dove atterri, purché non sia dove dovrebbe essere. Questo è un attacco "non mirato" (untargeted). MissClick-U (la "U" sta per Untargeted) funziona calcolando una versione "morbida" della coordinata. Inveve di aspettare che l'IA scelga una singola cifra, osserva la probabilità di ogni possibile cifra. Chiede: "E se l'IA scegliesse un 9 invece di un 8? E se sceglisse un 7?". Calcola poi una media ponderata, creando una "coordinata fantasma" che fluttua tra i numeri. L'obiettivo è spingere questa coordinata fantasma il più lontano possibile dal punto corretto. Massimizzando questa distanza, l'IA è costretta a scegliere una cifra che invii il clic reale molto lontano dalla rotta prevista.

Modalità 2: Il "Hijack" (Attacco Mirato)
Ora, immaginate di voler truccare l'IA per farle cliccare su un pulsante specifico e pericoloso, come un pulsante "Elimina Account", invece di un pulsante "Salva". Questo è un attacco "mirato" (targeted). Qui, MissClick-T (la "T" sta per Targeted) gioca un gioco diverso. Non vuole solo spostare il clic; vuole farlo atterrare in una zona specifica. I ricercatori hanno scoperto che cercare semplicemente di far corrispondere la "media" al bersaglio non era sufficiente. A volte l'IA potrebbe "pensare" che la media sia 5, ma in realtà sceglie 1 o 9 perché erano le opzioni più probabili. Quindi, MissClick-T si concentra sul "valore posizionale". Esercita una pressione extra sulle cifre ad alto valore (le posizioni delle centinaia e delle decine). Dice all'IA: "Devi assolutamente azzeccare l'8 nella posizione delle centinaia, perché è quello che sposta di più il clic". Pesando l'importanza di ogni cifra in base al suo potere matematico, costringe l'IA a selezionare le cifre esatte necessarie per atterrare sull'obiettivo dell'attaccante.

I Risultati: Un Grande Salto nel Successo

Il team ha testato MissClick su due popolari modelli di IA, OS-Atlas e UGround, in tre ambienti diversi: computer desktop, browser web e telefoni cellulari. Hanno confrontato il loro nuovo metodo con le vecchie tecniche di hacking che trattavano le coordinate come semplice testo, ignorando la matematica.

I risultati sono stati sorprendenti.

• Per gli attacchi "Miss": MissClick-U ha avuto successo nel far cliccare l'IA nel posto sbagliato il 75,07% delle volte su OS-Atlas e il 72,93% su UGround. I vecchi metodi riuscivano solo circa al 58% e al 42% rispettivamente. Si tratta di un enorme salto, con un miglioramento dei tassi di successo di oltre 30 punti percentuali in alcuni casi.
• Per gli attacchi "Hijack": MissClick-T è stato ancora più impressionante. Ha reindirizzato con successo il clic verso l'obiettivo scelto dall'attaccante il 44,86% delle volte su OS-Atlas e un incredibile 62,67% su UGround. I vecchi metodi faticavano, avendo successo solo tra il 13% e il 15% delle volte.

I ricercatori hanno anche scoperto che i due obiettivi richiedevano strumenti diversi. Tentare di usare la strategia "Miss" per un "Hijack" non funzionava bene, e viceversa. Ciò ha confermato che comprendere l'obiettivo specifico dell'attacco è importante quanto comprendere la matematica dietro le cifre.

Perché Questo è Importante

Questo articolo non mostra solo che l'IA può essere ingannata; mostra come ingannarla meglio comprendendo la struttura nascosta del suo linguaggio. Gli autori suggeriscono che, poiché l'IA genera le coordinate come una sequenza di cifre, il "valore posizionale" di quelle cifre crea una vulnerabilità. Un piccolo cambiamento in una cifra di alto valore crea uno spostamento massiccio nell'azione finale.

Tuttavia, i ricercatori sono cauti nel sottolineare i limiti del loro lavoro. Hanno testato solo modelli che scrivono le coordinate come sequenze di cifre testuali. Non hanno testato modelli che utilizzano metodi diversi per puntare le cose. Inoltre, hanno assunto di avere pieno accesso al "cervello" dell'IA (uno scenario "white-box"), che è più facile rispetto all'hackerare un sistema di cui non si conosce l'interno. Ma l'idea centrale — ovvero che il modo in cui chiediamo all'IA di parlare numeri conta per la sicurezza — sembra essere una scoperta solida.

In definitiva, MissClick è un promemoria del fatto che nel mondo digitale, un numero non è solo un numero. È una coordinata, un comando e, a volte, una trappola. Comprendendo la matematica dietro la magia, i ricercatori hanno dimostrato che possiamo far inciampare questi agenti intelligenti, o indirizzarli esattamente dove vogliamo che vadano.