💻 computer science

MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

El artículo presenta MissClick, un ataque adversarial de caja blanca que explota el proceso de generación de coordenadas serializadas por dígitos de los modelos de grounding de GUI mediante el aprovechamiento de la sensibilidad al valor posicional para lograr tasas de éxito no dirigidas y dirigidas significativamente más altas en comparación con los métodos existentes.

Autores originales: Yu Ran, Wentao Zhao, Xin Zhang, Yi Pan

Publicado 2026-08-05

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yu Ran, Wentao Zhao, Xin Zhang, Yi Pan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde la pantalla de tu ordenador no es solo una imagen, sino un mapa de comandos esperando ser pulsados. En este paisaje digital, ha surgido un nuevo tipo de "asistente inteligente": el agente GUI. Piensa en estos agentes como guías turísticos increíblemente talentosos, pero ligeramente literales. Tú les dices: "Haz clic en el botón rojo para comprar los zapatos", y ellos miran la pantalla, determinan exactamente dónde está ese botón y lo pulsan. Para hacer esto, no solo señalan; hablan en un código secreto de números. Generan una cadena de dígitos, como "814, 515", que el ordenador traduce en una ubicación precisa en tu pantalla. Este proceso se llama "anclaje visual" (visual grounding), y es la magia que permite a los robots y a la IA navegar por nuestras aplicaciones, sitios web y teléfonos sin manos humanas. Pero, al igual que cualquier mapa, si logras engañar al guía para que lea mal los números, puedes enviarlo a un destino completamente erróneo.

Esta es la historia de un nuevo descubrimiento llamado MissClick. Los investigadores detrás de él se dieron cuenta de que la forma en que estos agentes de IA escriben las coordenadas es un poco como un juego de "valor posicional" en la clase de matemáticas. Cuando una IA escribe el número "814", el '8' no es solo un '8'; es un '8' que representa 800 porque está en el lugar de las centenas. El '1' es solo 10, y el '4' es solo 4. El equipo descubrió que si puedes engañar a la IA para cambiar ese '8' por un '9', el clic no solo se mueve un poco, sino que salta 100 píxeles a través de la pantalla. Al explotar esta peculiaridad matemática, crearon una herramienta "hacker" que puede retocar los números de la IA lo justo para que haga clic en un botón de "Pagar" en lugar del campo de "Cantidad", o se pierda en el espacio en blanco de la pantalla. Probaron esto en dos modelos de IA diferentes en pantallas de escritorio, web y móviles, y descubrieron que, al comprender la matemática detrás de los dígitos, podían romper el sistema de manera mucho más efectiva que nadie antes.

El Código Secreto de la Pantalla

Para entender cómo funciona MissClick, primero debemos observar cómo estos agentes de IA "ven" una pantalla. Cuando das una instrucción como "ajusta la cantidad del artículo con 5", la IA no solo adivina un punto. Actúa como una máquina de escribir, escupiendo una secuencia de caracteres uno por uno: (, 8, 1, 4, ,, 5, 1, 5, ). Está generando los números "814" y "515" como una cadena de texto. Una vez que termina de escribir, el ordenador toma esa cadena y la convierte en una coordenada real, diciéndole al ratón que salte a ese píxel exacto.

Los investigadores notaron algo fascinante sobre este proceso. La IA trata cada dígito como un carácter separado, pero el ordenador los trata como un valor matemático. Si la IA se equivoca en el primer dígito de una coordenada, el resultado es un salto masivo. Por ejemplo, si la IA debería hacer clic en 814 pero es engañada para hacer clic en 914, el clic se desplaza 100 píxeles a la derecha. Si se equivoca en el último dígito, cambiando 814 por 815, solo se mueve un píxel. Esto significa que alterar el dígito de las "centenas" es como empujar una roca, mientras que alterar el dígito de las "unidades" es como mover un guijarro.

Las Dos Caras de MissClick

El equipo, liderado por Yu Ran y colegas de la Universidad Nacional de Defensa Tecnológica, construyó una herramienta de ataque llamada MissClick. Se dieron cuenta de que para hackear este sistema, no puedes tratar los números como letras aleatorias. Tienes que respetar las matemáticas. Diseñaron dos estrategias diferentes, o "modos", dependiendo de lo que el hacker quiera lograr.

Modo 1: El "Miss" (Ataque no dirigido)
Imagina que quieres hacer que la IA tropiece y caiga por un acantilado. No te importa dónde aterrice, siempre y cuando no sea donde debería estar. Esto se llama un ataque "no dirigido". MissClick-U (la "U" significa Untargeted/No dirigido) funciona calculando una versión "suave" de la coordenada. En lugar de esperar a que la IA elija un solo dígito, observa la probabilidad de cada dígito posible. Pregunta: "¿Qué pasa si la IA elige un 9 en lugar de un 8? ¿Qué pasa si elige un 7?". Luego calcula un promedio ponderado, creando una "coordenada fantasma" que flota entre los números. El objetivo es empujar esta coordenada fantasma lo más lejos posible del lugar correcto. Al maximizar esta distancia, la IA se ve obligada a elegir un dígito que envíe el clic real muy lejos de su curso.

Modo 2: El "Hijack" (Ataque dirigido)
Ahora, imagina que quieres engañar a la IA para que haga clic en un botón específico y peligroso, como un botón de "Eliminar cuenta", en lugar de un botón de "Guardar". Este es un ataque "dirigido". Aquí, MissClick-T (la "T" significa Targeted/Dirigido) juega un juego diferente. No solo quiere mover el clic; quiere aterrizarlo en una zona específica. Los investigadores descubrieron que simplemente intentar que el "promedio" de los números coincida con el objetivo no era suficiente. A veces la IA puede "pensar" que el promedio es 5, pero en realidad elige un 1 o un 9 porque esas eran las opciones más probables. Por lo tanto, MissClick-T se centra en el "valor posicional". Ejerce una presión adicional en los dígitos de alto valor (las posiciones de centenas y decenas). Le dice a la IA: "Debes acertar el '8' en la posición de las centenas, porque eso es lo que más mueve el clic". Al ponderar la importancia de cada dígito según su poder matemático, obliga a la IA a seleccionar los dígitos exactos necesarios para aterrizar en el objetivo del atacante.

Los Resultados: Un Gran Salto en el Éxito

El equipo probó MissClick en dos modelos de IA populares, OS-Atlas y UGround, en tres entornos diferentes: ordenadores de escritorio, navegadores web y teléfonos móviles. Compararon su nuevo método contra técnicas de hackeo anteriores que trataban las coordenadas como texto plano, ignorando las matemáticas.

Los resultados fueron impactantes.

Para los ataques "Miss": MissClick-U tuvo éxito en hacer que la IA hiciera clic en el lugar equivocado el 75.07% de las veces en OS-Atlas y el 72.93% en UGround. Los métodos antiguos solo lograban alrededor del 58% y 42% respectivamente. Es un salto enorme, mejorando las tasas de éxito en más de 30 puntos porcentuales en algunos casos.
Para los ataques "Hijack": MissClick-T fue aún más impresionante. Redirigió con éxito el clic al objetivo elegido por el atacante el 44.86% de las veces en OS-Atlas y un asombroso 62.67% en UGround. Los métodos antiguos tuvieron dificultades, teniendo éxito solo entre el 13% y el 15% de las veces.

Los investigadores también descubrieron que los dos objetivos necesitaban herramientas diferentes. Intentar usar la estrategia "Miss" para un "Hijack" no funcionaba bien, y viceversa. Esto confirmó que comprender el objetivo específico del ataque es tan importante como comprender la matemática detrás de los dígitos.

Por qué esto importa

Este artículo no solo muestra que la IA puede ser engañada; muestra cómo engañarla mejor comprendiendo la estructura oculta de su lenguaje. Los autores sugieren que, debido a que la IA genera coordenadas como una secuencia de dígitos, el "valor posicional" de esos dígitos crea una vulnerabilidad. Un pequeño cambio en un dígito de alto valor crea un desplazamiento masivo. El resultado final de la acción cambia drásticamente.

Sin embargo, los investigadores son cuidadosos al señalar los límites de su trabajo. Solo probaron en modelos que escriben coordenadas como texto dígito por dígito. No probaron en modelos que utilizan métodos diferentes para señalar cosas. También asumieron que tenían acceso total al "cerebro" de la IA (un escenario de "caja blanca"), lo cual es más fácil que hackear un sistema en el que no puedes ver el interior. Pero la idea central —que la forma en que pedimos a la IA que hable números importa para la seguridad— parece ser un descubrimiento sólido.

Al final, MissClick es un recordatorio de que en el mundo digital, un número no es solo un número. Es una coordenada, un comando y, a veces, una trampa. Al comprender la matemática detrás de la magia, los investigadores demostraron que podemos hacer que estos agentes inteligentes tropiecen, o dirigirlos exactamente hacia donde queremos que vayan.

Resumen Técnico: MissClick

Planteamiento del Problema
Los modelos recientes de localización visual de GUI, como OS-Atlas y UGround, generan coordenadas de pantalla como secuencias de tokens de dígitos (por ejemplo, "8", "1", "4" para x=814), que posteriormente se procesan en valores numéricos para ejecutar clics. Las implicaciones de seguridad de este pipeline de generación específico han sido ampliamente ignoradas. Los ataques adversarios existentes contra la localización de GUI suelen tratar las salidas de coordenadas como sec sequences de texto ordinarias, optimizando los objetivos basados en la entropía cruzada a nivel de token o en distancias de embedding. Sin embargo, este enfoque no tiene en cuenta la estructura numérica y de valor posicional del proceso de generación de coordenadas.

Una observación crítica que impulsa este trabajo es que un cambio en un dígito de orden superior (por ejemplo, el lugar de las centenas) resulta en un desplazamiento significativamente mayor del clic ejecutado (por ejemplo, 100 unidades) en comparación con un cambio en un dígito de orden inferior (por ejemplo, 1 unidad para el lugar de las unidades), a pesar de que ambos son cambios de un solo token. Además, los ataques no dirigidos y dirigidos tienen condiciones de éxito distintas: los ataques no dirigidos requieren que el clic caiga fuera de la región de la verdad de terreno (ground-truth), mientras que los ataques dirigidos requieren que el clic caiga dentro de una región específica especificada por el atacante. Los métodos existentes no modelan explícitamente el procesamiento de las cadenas de dígitos en coordenadas numéricas ni el mapeo de estas coordenadas a clics ejecutables, lo que conduce a objetivos de ataque subóptimos.

Metodología: MissClick
Los autores proponen MissClick, un marco de ataque adversario de caja blanca diseñado para explotar la naturaleza de los dígitos serializados en la generación de coordenadas. MissClick emplea dos objetivos distintos y específicos de cada objetivo, adaptados a las condiciones de éxito de los ataques no dirigidos y dirigidos.

Modelado de la Estructura de Dígitos de Coordenadas:
El método modela la coordenada $c_k$ como una suma de valores de dígitos ponderados por sus valores de posición decimal ( $a_{k,j} = 10^{m_k-j}$ ). El ataque utiliza teacher forcing durante la optimización para obtener vectores de logits diferenciables para cada posición de dígito. A partir de estos, extrae distribuciones de probabilidad de dígitos $p_{k,j}(v)$ para los dígitos 0–9.
MissClick-U (Ataque No Dirigido):
- Objetivo: Maximizar el desplazamiento entre el clic ejecutado y la ubicación de la verdad de terreno.
- Mecanismo: En lugar de optimizar directamente las probabilidades de los tokens, MissClick-U construye coordenadas suaves ( $\tilde{c}$ ) computando el valor esperado de cada posición de dígito ponderado por su valor posicional: $\tilde{d}_{k,j} = \sum v \cdot p_{k,j}(v)$ .
- Función de Pérdida: El ataque maximiza la distancia euclidiana al cuadrado entre el clic suave $r(\tilde{c})$ y el clic de la verdad de terreno $u_{gt}$ . Este enfoque es diferenciable y tiene en cuenta explícitamente la escala del desplazamiento causado por los cambios de dígitos en diferentes posiciones decimales.
MissClick-T (Ataque Dirigido):
- Objetivo: Minimizar la pérdida para asegurar que el clic ejecutado caiga dentro de una región objetivo específica.
- Mecanismo: Los autores argumentan que minimizar la distancia entre las coordenadas suaves y un objetivo no garantiza que los dígitos seleccionados por el argmax coincidan con los dígitos objetivo (debido a la no linealidad de la operación argmax). Por lo tanto, MissClick-T optimiza directamente la probabilidad de los dígitos objetivo.
- Función de Pérdida: Emplea una pérdida de dígito objetivo ponderada por posición. Es una pérdida de entropía cruzada contra los tokens de los dígitos objetivo, donde el peso para cada posición de dígito es su valor de posición decimal ( $a_{k,j}$ ). Esto asegura que la optimización priorice los dígitos de orden superior, que tienen el impacto más significativo en el valor de la coordenada final.

Contribuciones Clave

Análisis de Seguridad de los Pipelines de Coordenadas: El artículo identifica que tratar las salidas de coordenadas como texto ordinario ignora la estructura numérica crítica (valor posicional) que determina la magnitud del desplazamiento del clic.
Objetivos de Ataque Específicos por Objetivo: La propuesta de MissClick-U y MissClick-T, que utilizan el desplazamiento de coordenadas suaves y la optimización de dígitos objetivo ponderada por posición, respectivamente. Estos objetivos se derivan directamente de las condiciones de éxito de los ataques no dirigidos y dirigidos.
Validación Empírica: Experimentos exhaustivos en plataformas de escritorio, web y móvil sobre dos modelos representativos (OS-Atlas y UGround) demuestran la eficacia de estos objetivos.

Resultados Experimentales
Los autores evaluaron MissClick en el conjunto de datos ScreenSpot-v2 frente a tres líneas base: Ruido Aleatorio (Random Noise), Entropía Cruzada de Token (Token CE) y Ataque de Representación (Representation Attack).

Desempeño No Dirigido: MissClick-U logró Tasas de Éxito de Ataque (ASR) del 75.07% en OS-Atlas y 72.93% en UGround. Esto representa mejoras de +16.62 y +30.72 puntos porcentuales sobre la mejor línea base (Ataque de Representación), respectivamente.
Desempeño Dirigido: MissClick-T logró ASRs de 44.86% en OS-Atlas y 62.67% en UGround. Estos resultados superaron a la línea base de Token CE por +31.73 y +47.06 puntos porcentuales, respectivamente.
Comparación de Objetivos: El estudio confirmó que el desplazamiento de coordenadas suaves es superior para los ataques no dirigidos, mientras que la optimización de dígitos objetivo ponderada por posición es superior para los ataques dirigidos, validando la necesidad de objetivos distintos.
Eficiencia: MissClick alcanzó o superó el desempeño de la línea base con significativamente menos iteraciones de optimización (10–30 iteraciones frente a 100 para las líneas base).

Significancia y Reivindicaciones
El artículo afirma que la seguridad de los modelos de localización de GUI está fundamentalmente vinculada a cómo las cadenas de coordenadas se procesan en valores numéricos. Al modelar explícitamente la estructura de valor posicional de los tokens de dígitos, MissClick demuestra que los ataques pueden ser significativamente más efectivos que aquellos que tratan las coordenadas como texto genérico. El trabajo destaca que los ataques no dirigidos y dirigidos tienen "preferencias de objetivo" distintas, lo que requiere diseños especializados en lugar de un enfoque de talla única.

Limitaciones
Los autores reconocen tres limitaciones principales:

La evaluación se restringe a modelos que serializan las coordenadas como tokens decimales por dígito, excluyendo interfaces sin coordenadas o esquemas de tokenización diferentes.
El objetivo ponderado por posición trata los dígitos no objetivo de manera uniforme y no codifica la distancia ordinal entre los dígitos no objetivo y el objetivo.
El modelo de amenaza asume acceso de caja blanca a la arquitectura y los pesos del modelo víctima.

El Código Secreto de la Pantalla

Las Dos Caras de MissClick

Los Resultados: Un Gran Salto en el Éxito

Por qué esto importa

Más como este