🤖 AI

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

Este trabajo demuestra que los modelos de difusión visuales-lingüísticos discretos, adaptados mediante un programa de enmascaramiento híbrido, superan a sus variantes con enmascaramiento lineal y compiten eficazmente con los modelos autoregresivos en tareas de localización de interfaces gráficas, estableciendo un nuevo marco prometedor para los agentes de GUI basados en difusión.

Autores originales: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

Publicado 2026-03-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás intentando enseñarle a un robot a usar tu computadora o tu teléfono. El robot necesita saber dónde hacer clic, qué escribir y cómo moverse por la pantalla. A esto los expertos le llaman "GUI Grounding" (anclaje de interfaz gráfica), pero para nosotros es simplemente: "Oye, robot, haz clic en el botón de 'Enviar'".

Hasta ahora, los robots más inteligentes usaban un método llamado Autoregresivo (AR). Imagina que este método es como un estudiante muy estudioso que lee una oración palabra por palabra, de izquierda a derecha, sin poder saltarse nada. Es bueno, pero lento y un poco rígido.

Este paper presenta un nuevo enfoque usando Modelos de Difusión Discretos (DVLMs). Aquí te lo explico con analogías sencillas:

1. El Nuevo Enfoque: El Pintor vs. El Escritor

El método antiguo (AR): Es como un escritor que tiene que escribir una carta letra por letra. Si se equivoca en la primera letra, tiene que borrar y empezar de nuevo, o escribir todo el resto de la carta basándose en ese error.
El nuevo método (Difusión): Imagina un pintor que tiene un lienzo totalmente en blanco (o lleno de manchas de pintura borrosa). En lugar de pintar de izquierda a derecha, el pintor mira la foto de referencia y empieza a limpiar y refinar la imagen poco a poco. Primero dibuja una mancha grande donde cree que está el botón, y luego va afinando los bordes hasta que el botón es perfecto.
- La ventaja: El pintor puede mirar todo el lienzo a la vez (atención bidireccional) y corregir errores en cualquier parte del dibujo sin tener que empezar de cero.

2. El Problema: El Pintor se Confunde con las Coordenadas

Los autores probaron este método "pintor" (el modelo LLaDA-V) para encontrar botones en pantallas. Descubrieron algo curioso:

Para decir "haz clic aquí", el robot necesita dos cosas: dónde empieza el botón (el ancla) y dónde termina (el tamaño).
El método original de "pintar" trataba todas las partes del dibujo como si fueran aleatorias. A veces el robot sabía dónde estaba el botón, pero no sabía qué tan grande debía ser, o viceversa. Era como intentar dibujar una casa sabiendo dónde está la puerta, pero adivinando el tamaño de la ventana al azar.

3. La Solución Creativa: El "Entrenamiento Híbrido"

Para arreglar esto, los autores inventaron un Plan de Entrenamiento Híbrido (Hybrid Masking). Imagina que le das al robot dos tipos de ejercicios:

Fase 1 (El Borrador Rápido): Le dices al robot: "Mira la pantalla y dime rápidamente qué es (un botón, un campo de texto) y dónde está el centro". Aquí se le permite cometer errores y corregirlos al azar. Esto le ayuda a entender el contexto general.
Fase 2 (El Refinamiento Preciso): Una vez que el robot ya sabe "Ah, es un botón de 'Enviar' en la esquina superior", le dices: "¡Bien! Ahora, sin mirar el centro, dime exactamente qué tan grande es el botón". Aquí, el robot debe adivinar el tamaño basándose solo en lo que ya sabe del centro.

La analogía: Es como si un arquitecto primero te dijera "Aquí va la cocina" (Fase 1) y luego, sabiendo eso, te dijera "Ahora, dibuja los límites exactos de los gabinetes" (Fase 2). Al separar estas tareas, el robot aprende mejor la geometría de la pantalla.

4. Los Resultados: ¿Funciona?

Los autores probaron este nuevo "robot pintor" en tres escenarios: webs, computadoras de escritorio y teléfonos móviles.

Aprendizaje rápido: Aunque el robot no había visto tantos ejemplos como los modelos antiguos, aprendió muy rápido, especialmente cuando les mostraron muchos tipos diferentes de pantallas (no solo webs, sino también apps de móvil).
Precisión: Con su nuevo "Plan Híbrido", el robot encontró los botones correctos mucho mejor que con el método antiguo. En algunas pruebas, mejoró su éxito en un 6%, lo cual es enorme en este mundo.
El precio: La única desventaja es que, como el robot tiene que "refinar" su dibujo varias veces (darle más pinceladas), tarda un poquito más en responder que el método antiguo. Pero los autores dicen que es un precio justo por ser más inteligente y flexible.

En Resumen

Este paper nos dice que no necesitamos obligatoriamente a los robots que escriben palabra por palabra para controlar tu computadora. Podemos usar robots que "pintan" y "refinan" sus respuestas, como si estuvieran limpiando una ventana sucia hasta ver claramente dónde hacer clic.

Con un poco de entrenamiento especial (el plan híbrido), estos nuevos robots pueden entender tu pantalla tan bien como los antiguos, e incluso mejor en algunos casos, abriendo la puerta a asistentes de IA más rápidos y capaces para el futuro.

Resumen Técnico: Hacia Agentes de GUI con Modelos de Difusión Visión-Lenguaje

1. Planteamiento del Problema

Los modelos de lenguaje-visión autoregresivos (AR) han dominado históricamente la comprensión multimodal y la tarea de anclaje en interfaces gráficas de usuario (GUI grounding). Esta tarea consiste en localizar elementos específicos en una imagen de una interfaz (web, escritorio o móvil) basándose en instrucciones en lenguaje natural y predecir la acción a realizar (ej. "hacer clic", "escribir").

Sin embargo, los modelos AR presentan limitaciones arquitectónicas inherentes, como la decodificación secuencial y la atención unidireccional, lo que puede restringir la capacidad de refinar iterativamente las predicciones. Recientemente, los Modelos de Difusión Visión-Lenguaje Discretos (DVLMs) han demostrado un rendimiento competitivo en razonamiento multimodal gracias a su atención bidireccional, generación paralela de tokens y capacidad de refinamiento iterativo. A pesar de esto, su potencial para el anclaje en GUIs (GUI grounding) no había sido explorado. El problema central es determinar si un modelo de difusión discreto puede superar o igualar a los modelos AR en la predicción precisa de tipos de acción y coordenadas de cajas delimitadoras (bounding boxes).

2. Metodología

Los autores adaptaron LLaDA-V, un modelo de difusión discreto existente, para la tarea de predicción de acciones de un solo paso y anclaje en GUI.

Adaptación del Modelo: Se mantuvo la arquitectura base de LLaDA-V (torre de lenguaje LLaDA, torre de visión SigLIP-2 y un proyector MLP), pero se reenfocó para generar cadenas de texto que representan acciones (ej. lclick [x1, y1, x2, y2]).
Propuesta Clave: Programación de Enmascaramiento Híbrido (Hybrid Masking Schedule):
Los autores identificaron que el enmascaramiento lineal aleatorio estándar de LLaDA-V podría no capturar adecuadamente las dependencias geométricas jerárquicas de las cajas delimitadoras $B = (x_1, y_1, x_2, y_2)$ , donde $(x_1, y_1)$ es el anclaje y $(x_2, y_2)$ define la extensión. Para resolverlo, propusieron un esquema de dos fases:
1. Fase de Enmascaramiento Lineal: El modelo aprende a predecir el tipo de acción y las coordenadas del anclaje $(x_1, y_1)$ mediante un proceso de denoising progresivo estándar.
2. Fase de Enmascaramiento Determinista Completo: Condicionado en la imagen, la instrucción y el anclaje predicho, el modelo se entrena para predecir las coordenadas restantes $(x_2, y_2)$ con todos los tokens objetivo enmascarados inicialmente.
  Objetivo: Esta estrategia simula un proceso de refinamiento de "grueso a fino", forzando al modelo a aprender la relación condicional entre la ubicación del anclaje y la extensión de la caja.
Escalado de Datos: Se entrenó el modelo en un corpus combinado de 120k muestras de múltiples dominios (Web, Móvil y Escritorio) utilizando datasets como Mind2Web, WebLinX, OS-Atlas y Rico Widget Caption.

3. Contribuciones Clave

Primera exploración sistemática: Este trabajo es el primero en evaluar modelos de difusión discretos (DVLMs) para la tarea de anclaje en GUI, demostrando su viabilidad como alternativa a los modelos AR.
Estrategia de Enmascaramiento Híbrido: Introducción de un nuevo esquema de entrenamiento que combina enmascaramiento lineal y determinista para capturar mejor la estructura geométrica de las cajas delimitadoras, mejorando la precisión espacial.
Análisis de Dinámicas de Inferencia: Estudio exhaustivo sobre cómo los parámetros de inferencia (pasos de difusión, longitud de generación, longitud de bloque) afectan la precisión y la latencia, identificando puntos de saturación donde aumentar los pasos no mejora la precisión pero sí el tiempo de respuesta.
Validación Multidominio: Demostración de que el entrenamiento con datos diversos (web, móvil, escritorio) mejora la generalización y reduce la latencia de inferencia.

4. Resultados

Las evaluaciones se realizaron en cuatro benchmarks principales: Mind2Web, ScreenSpot-Web-Text, ScreenSpot-Web-Icon y VisualWebArena.

Rendimiento General: El modelo adaptado LLaDA-V (8B) con enmascaramiento híbrido superó consistentemente a su variante con enmascaramiento lineal puro.
- Mejora en SSR (Step Success Rate): Logró mejoras de hasta 6.1 puntos en SSR en VisualWebArena y 5.3 puntos en ScreenSpot-Web en comparación con la versión lineal.
- Competitividad con AR: A pesar de tener menos preentrenamiento específico, el modelo híbrido redujo la brecha de rendimiento con los modelos AR de vanguardia (como Qwen2.5-VL y Phi-3) de ~25 puntos a menos de 15 puntos en métricas clave.
Impacto del Escalado de Datos: El entrenamiento con 120k muestras de múltiples dominios redujo la latencia de inferencia en aproximadamente 1.3 segundos y mejoró la precisión de anclaje en un promedio de 20 puntos en los benchmarks.
Análisis de Latencia vs. Precisión: Se observó que aumentar los pasos de difusión mejora la precisión hasta un umbral (alrededor de 64 pasos), tras el cual la precisión se estabiliza pero la latencia sigue aumentando. La configuración óptima encontrada fue de 64 pasos, 64 de longitud de generación y 64 de longitud de bloque.
Preprocesamiento: La poda aleatoria (cropping) de las imágenes centrada en el elemento objetivo y el uso de anotaciones basadas en OCR mejoraron la precisión en un 2.68% y redujeron la latencia.

5. Significado e Impacto

Este estudio marca un hito importante en el desarrollo de agentes de GUI basados en difusión.

Validación de Paradigma Alternativo: Demuestra que los modelos de difusión discreto no solo son viables para tareas de razonamiento multimodal, sino que también son efectivos para tareas de control de interfaces que requieren precisión espacial.
Eficiencia y Generalización: La capacidad de los DVLMs para generalizar a dominios no vistos (móvil, escritorio) con menos datos específicos que los modelos AR sugiere que la arquitectura de difusión puede ofrecer representaciones más transferibles.
Futuro de los Agentes: El éxito del esquema de enmascaramiento híbrido sugiere que incorporar conocimiento estructural (como la jerarquía de coordenadas) en el proceso de difusión es crucial para tareas de interacción con el mundo real. Esto sienta las bases para futuros agentes de GUI que puedan realizar planificación multi-paso y razonamiento iterativo más robusto.

En conclusión, el trabajo establece que los modelos de difusión discreto son una alternativa prometedora y escalable a los enfoques autoregresivos para la creación de agentes de GUI, ofreciendo un equilibrio competitivo entre precisión de anclaje y capacidad de generalización.