MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

Imagine um mundo onde a tela do seu computador não é apenas uma imagem, mas um mapa de comandos esperando para serem tocados. Neste cenário digital, um novo tipo de "assistente inteligente" surgiu: o agente de GUI. Pense nesses agentes como guias turísticos incrivelmente talentosos, mas ligeiramente literais. Você diz a eles: "Clique no botão vermelho para comprar os sapatos", e eles olham para a tela, descobrem exatamente onde esse botão está e o tocam. Para fazer isso, eles não apenas apontam; eles falam em um código secreto de números. Eles geram uma sequência de dígitos, como "814, 515", que o computador traduz em uma localização precisa na sua tela. Esse processo é chamado de "grounding visual" (ancoragem visual), e é a magia que permite que robôs e IAs naveguem em nossos aplicativos, sites e telefones sem mãos humanas. Mas, assim como qualquer mapa, se você conseguir enganar o guia para ler os números errado, poderá enviá-lo para o destino inteiramente errado.

Esta é a história de uma nova descoberta chamada MissClick. Os pesquisadores por trás dela perceberam que a maneira como esses agentes de IA escrevem coordenadas é um pouco como um jogo de "valor posicional" na aula de matemática. Quando uma IA escree o número "814", o '8' não é apenas um '8'; é um '8' que representa 800 porque está no lugar das centenas. O '1' é apenas 10, e o '4' é apenas 4. A equipe descobriu que, se você conseguir enganar a IA para mudar esse '8' para um '9', o clique não apenas se move um pouco — ele salta 100 pixels através da tela! Ao explorar essa peculiaridade matemática, eles criaram uma ferramenta "hacker" que pode dar um empurrão nos números da IA o suficiente para fazê-la clicar em um botão de "Finalizar Compra" em vez do campo de "Quantidade", ou vagar pelo espaço vazio da tela. Eles testaram isso em dois modelos diferentes de IA em telas de desktop, web e mobile, e descobriram que, ao entender a matemática por trás dos dígitos, poderiam quebrar o sistema de forma muito mais eficaz do que qualquer pessoa jamais fizera.

O Código Secreto da Tela

Para entender como o MissClick funciona, primeiro precisamos olhar para como esses agentes de IA "veem" uma tela. Quando você dá uma instrução como "ajuste a quantidade do item com 5", a IA não apenas adivinha um lugar. Ela age como uma máquina de escrever, cuspindo uma sequência de caracteres um por um: (, 8, 1, 4, ,, 5, 1, 5, ). Ela está gerando os números "814" e "515" como uma string de texto. Assim que termina de digitar, o computador pega essa string e a transforma em uma coordenada real, dizendo ao mouse para saltar para aquele pixel exato.

Os pesquisadores notaram algo fascinante sobre esse processo. A IA trata cada dígito como um caractere separado, mas o computador os trata como um valor matemático. Se a IA errar o primeiro dígito de uma coordenada, o resultado é um salto massivo. Por exemplo, se a IA deveria clicar em 814 mas é enganada para clicar em 914, o clique se move 100 pixels para a direita. Se ela errar o último dígito, mudando 814 para 815, ela se move apenas um pixel. Isso significa que mexer no dígito das "centenas" é como empurrar uma pedra, enquanto mexer no dígito das "unidades" é como dar um toque em um cascalho.

As Duas Faces do MissClick

A equipe, liderada por Yu Ran e colegas da Universidade Nacional de Tecnologia de Defesa, construiu uma ferramenta de ataque chamada MissClick. Eles perceberam que, para hackear este sistema, você não pode tratar os números como letras aleatórias. Você tem que respeitar a matemática. Eles projetaram duas estratégias diferentes, ou "modos", dependendo do que o hacker deseja alcançar.

Modo 1: O "Miss" (Ataque Não Direcionado)
Imagine que você quer fazer a IA tropeçar e cair em um precipício. Você não se importa onde ela caia, desde que não seja onde deveria estar. Isso é chamado de um ataque "não direcionado". O MissClick-U (o "U" vem de Untargeted) trabalha calculando uma versão "suave" da coordenada. Em vez de esperar que a IA escolha um único dígito, ele olha para a probabilidade de cada dígito possível. Ele pergunta: "E se a IA escolher um 9 em vez de um 8? E se ela escolher um 7?". Ele então calcula uma média ponderada, criando uma "coordenada fantasma" que flutua entre os números. O objetivo é empurrar essa coordenada fantasma o mais longe possível do local correto. Ao maximizar essa distância, a IA é forçada a escolher um dígito que envia o clique real para muito longe do caminho.

Modo 2: O "Hijack" (Ataque Direcionado)
Agora, imagine que você quer enganar a IA para clicar em um botão específico e perigoso, como um botão "Excluir Conta", em vez de um botão "Salvar". Este é um ataque "direcionado". Aqui, o MissClick-T (o "T" vem de Targeted) joga um jogo diferente. Ele não quer apenas mover o clique; ele quer pousá-lo em uma zona específica. Os pesquisadores descobriram que simplesmente tentar fazer com que o número "médio" corresponda ao alvo não era suficiente. Às vezes, a IA pode "pensar" que a média é 5, mas na verdade escolhe um 1 ou um 9 porque essas eram as opções mais prováveis. Portanto, o MissClick-T foca no "valor posicional". Ele coloca pressão extra nos dígitos de alto valor (as casas das centenas e das dezenas). Ele diz à IA: "Você deve acertar o '8' na casa das centenas, porque é isso que move o clique mais". Ao ponderar a importância de cada dígito com base em seu poder matemático, ele força a IA a selecionar os dígitos exatos necessários para pousar no alvo do atacante.

Os Resultados: Um Grande Salto no Sucesso

A equipe testou o MissClick em dois modelos de IA populares, OS-Atlas e UGround, em três ambientes diferentes: computadores desktop, navegadores web e telefones móveis. Eles compararam seu novo método contra técnicas de hacking antigas que tratavam as coordenadas como texto simples, ignorando a matemática.

Os resultados foram impressionantes.

• Para os ataques "Miss": O MissClick-U teve sucesso em fazer a IA clicar no lugar errado 75,07% das vezes no OS-Atlas e 72,93% no UGround. Os métodos antigos conseguiam apenas cerca de 58% e 42%, respectivamente. Esse é um grande salto, melhorando as taxas de sucesso em mais de 30 pontos percentuais em alguns casos.
• Para os ataques "Hijack": O MissClick-T foi ainda mais impressionante. Ele redirecionou com sucesso o clique para o alvo escolhido pelo atacante 44,86% das vezes no OS-Atlas e impressionantes 62,67% no UGround. Os métodos antigos lutaram, tendo sucesso apenas cerca de 13% a 15% das vezes.

Os pesquisadores também descobriram que os dois objetivos exigiam ferramentas diferentes. Tentar usar a estratégia "Miss" para um "Hijack" não funcionou bem, e vice-versa. Isso confirmou que entender o objetivo específico do ataque é tão importante quanto entender a matemática por trás dos dígitos.

Por Que Isso Importa

Este artigo não mostra apenas que a IA pode ser enganada; ele mostra como enganá-la melhor ao compreender a estrutura oculta de sua linguagem. Os autores sugerem que, como a IA gera coordenadas como uma sequência de dígitos, o "valor posicional" desses dígitos cria uma vulnerabilidade. Uma pequena mudança em um dígito de alto valor cria um deslocamento massivo na ação final.

No entanto, os pesquisadores são cuidadosos ao notar os limites de seu trabalho. Eles testaram apenas em modelos que escrevem coordenadas como texto dígito por dígito. Eles não testaram em modelos que usam métodos diferentes para apontar para as coisas. Eles também assumiram que tinham acesso total ao "cérebro" da IA (um cenário de "caixa branca"), o que é mais fácil do que hackear um sistema que você não consegue ver por dentro. Mas a ideia central — que a maneira como pedimos para a IA falar números importa para a segurança — parece ser uma descoberta sólida.

No fim, o MissClick é um lembrete de que, no mundo digital, um número não é apenas um número. É uma coordenada, um comando e, às vezes, uma armadilha. Ao entender a matemática por trás da magia, os pesquisadores mostraram que podemos fazer esses agentes inteligentes tropeçarem, ou guiá-los exatamente para onde queremos que eles vão.