🤖 AI

DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding

DRS-GUI es un marco de entrenamiento libre que mejora la anclaje en interfaces gráficas en los Modelos de Lenguaje Multimodal grandes mediante el empleo de un Perceptor de UI ligero y un Planificador de Acciones basado en MCTS para simular dinámicamente acciones perceptuales similares a las humanas (Enfoque, Desplazamiento y Dispersión) con el fin de localizar eficientemente elementos relevantes para la instrucción en capturas de pantalla complejas.

Autores originales: Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

Publicado 2026-05-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar un botón específico y diminuto en una pantalla de computadora para hacer clic. Pero esta no es una pantalla cualquiera; es un desorden de alta resolución lleno de cientos de iconos, menús y cuadros de texto. Si le pides a una IA estándar que "haga clic en el botón de guardar", a menudo se abruma por el ruido visual, como una persona que intenta encontrar una aguja en un pajar mientras lleva gafas empañadas.

Este artículo presenta DRS-GUI, un nuevo método "sin entrenamiento" que actúa como un guía inteligente y humano para ayudar a la IA a encontrar el lugar correcto en una pantalla sin necesidad de volver a entrenarla ni enseñarle nuevas habilidades.

Así es como funciona, usando analogías simples:

El Problema: El Error de "Un Solo Intento"

Los modelos de IA actuales suelen intentar adivinar la ubicación de un botón en un solo gran salto. Si miran toda la pantalla desordenada y adivinan mal, quedan atrapados. Es como intentar encontrar una calle específica en una ciudad gigante adivinando una sola coordenada en un mapa sin hacer zoom. Si adivinas el vecindario incorrecto, no puedes recuperarte.

La Solución: DRS-GUI (El Detective Inteligente)

DRS-GUI cambia el juego. En lugar de adivinar inmediatamente, actúa como un detective que busca primero, luego resuelve. Divide el proceso en tres partes principales:

1. El "Perceptor de Interfaz de Usuario" (La Lupa del Detective)

Antes de que la IA intente adivinar la respuesta, este módulo escanea la pantalla y la descompone en una lista de objetos (botones, texto, iconos). Luego pregunta: "¿Cuál de estos objetos coincide realmente con lo que el usuario pidió?"

Analogía: Imagina que buscas una "manzana roja" en un tazón de frutas. El Perceptor es la mano que ordena el tazón, ignorando los plátanos y las naranjas, y resalta solo las frutas rojas.

2. Los Tres Movimientos "Humanos"

Una vez que el Perceptor tiene una lista de candidatos potenciales, el sistema no se queda mirando un solo punto. Utiliza tres movimientos dinámicos para ajustar su vista, tal como lo haría un humano:

Enfoque (Acercar): Si la IA ve un grupo de elementos relevantes, hace zoom para acercarse y obtener una mejor vista, ignorando el resto del desorden.
- Analogía: Entrecerrar los ojos para leer texto pequeño en un menú.
Desplazamiento (Moverse): Si la IA se da cuenta de que está mirando la parte incorrecta de la pantalla (por ejemplo, mirando el menú superior cuando el botón está en la parte inferior), cambia instantáneamente su vista a un área nueva.
- Analogía: Darse cuenta de que estás mirando el estante incorrecto en una biblioteca y caminar hacia el correcto.
Dispersión (Alejar): Si la IA se vuelve demasiado estrecha y pierde el contexto, hace zoom para ver la imagen general nuevamente.
- Analogía: Dar un paso atrás de un cuadro para ver todo el lienzo porque estabas demasiado cerca para ver los detalles.

3. El "Planificador de Acciones" (El Maestro de Ajedrez)

¿Cómo sabe la IA qué movimiento hacer a continuación? Utiliza una estrategia llamada Búsqueda en Árbol Monte Carlo (MCTS).

Analogía: Piensa en esto como un jugador de ajedrez. En lugar de hacer solo un movimiento, la IA simula varios futuros posibles en su mente. Se pregunta: "¿Si hago zoom ahora, encontraré el objetivo? ¿Si me desplazo a la izquierda, lo encontraré?"
Utiliza un sistema de "Recompensa de Calidad" para puntuar cada posibilidad. Se pregunta: "¿Esta vista con zoom contiene el tipo correcto de botones? ¿Está demasiado vacía? ¿El texto es claro?"
Si un camino parece malo (por ejemplo, hace zoom en un espacio en blanco), la IA "retrocede" e intenta un movimiento diferente. Esto evita que se quede atrapada en un callejón sin salida.

El Resultado: Una Búsqueda Más Limpia

Como DRS-GUI filtra la "basura visual" antes de que la IA principal intente hacer una predicción, la IA solo tiene que mirar una pieza pequeña, limpia y relevante de la pantalla.

La Afirmación del Artículo: Cuando se probó en pantallas difíciles y de alta resolución (como software profesional con cientos de botones), este método mejoró la precisión de la IA en un 14%.
Conclusión Clave: Funciona con modelos de IA existentes sin necesidad de volver a entrenarlos. Es una actualización de "enchufar y usar" que hace que la IA sea más inteligente al mirar antes de intentar actuar.

En resumen, DRS-GUI enseña a la IA a dejar de adivinar a ciegas en una pantalla desordenada y, en cambio, a escanear, desplazar, hacer zoom y evaluar su entorno como lo haría un humano, asegurando que encuentre el botón correcto cada vez.

Resumen Técnico: DRS-GUI

Enunciado del Problema
Los agentes de Interfaz Gráfica de Usuario (GUI) impulsados por Modelos de Lenguaje Grandes Multimodales (MLLMs) han avanzado desde scripts basados en reglas hasta la interacción en lenguaje natural. Sin embargo, persiste un cuello de botella crítico: anclar con precisión las instrucciones del usuario a elementos de interfaz específicos dentro de capturas de pantalla de alta resolución y visualmente densas. Los enfoques existentes luchan con dos problemas principales:

Desorden Visual: Las interfaces de alta resolución contienen elementos redundantes sustanciales que distraen a los MLLM de las señales relevantes para la instrucción.
Percepción Rígida: Los métodos actuales suelen seguir un paradigma de "solo hacia adelante". Los modelos de un solo paso regresan coordenadas directamente sobre toda la pantalla, fallando a menudo en aislar objetivos del ruido de fondo. Los métodos de refinamiento de múltiples pasos (recorte/zoom iterativo) carecen de mecanismos para evaluar si un paso mejora la alineación o para retroceder cuando una trayectoria se desvía de las señales semánticas, lo que conduce a una acumulación de errores irrecuperables.

Metodología: DRS-GUI
Los autores proponen DRS-GUI (Búsqueda de Región Dinámica para el Anclaje de GUI), un marco libre de entrenamiento que inserta una etapa de búsqueda de región dinámica antes de que el MLLM base realice la predicción final de coordenadas. El sistema imita el comportamiento perceptivo humano ajustando dinámicamente el alcance de la atención en lugar de comprometerse con una única ruta de estrechamiento.

El marco consta de dos módulos principales:

Perceptor de Interfaz de Usuario (UI Perceptor):
- Función: Analiza la región actual en elementos de interfaz estructurados (cajas delimitadoras, descripciones semánticas mediante OCR/leyenda y estado de interactividad) utilizando OmniParser V2.
- Alineación Semántica: Genera incrustaciones específicas del dominio tanto para la instrucción del usuario como para las descripciones de los elementos utilizando un prefijo compartido y un incrustador instructor-large. Esto crea un espacio semántico unificado para calcular puntuaciones de relevancia ( $s_i$ ) mediante similitud del coseno.
- Acciones Perceptivas: Basándose en las puntuaciones de relevancia, el Perceptor ejecuta tres acciones similares a las humanas para generar regiones candidatas:
  - Enfoque: Contrae la vista hacia elementos altamente relevantes, eliminando valores atípicos espaciales para crear un recorte compacto.
  - Desplazamiento: Reubica la vista a regiones alternativas que contienen señales de alta relevancia, re-centrando la atención cuando la vista actual no es informativa.
  - Dispersión: Expande la vista para recuperar un contexto más amplio cuando la región actual carece de señales semánticas coherentes, evitando que la búsqueda quede atrapada en regiones locales estrechas.
Planificador de Acciones MCTS:
- Función: Programa las acciones perceptivas utilizando Búsqueda en Árbol de Monte Carlo (MCTS) para construir una trayectoria de búsqueda reversible.
- Proceso: El planificador trata las regiones como nodos en un árbol de búsqueda. Realiza iterativamente Selección de Nodo (usando la política UCT para equilibrar exploración y explotación), Expansión (aplicando Enfoque, Desplazamiento o Dispersión) y Simulación y Retropropagación.
- Recompensa de Calidad de Región: Para guiar la búsqueda, una función de recompensa compuesta evalúa cada región candidata basándose en tres métricas:
  - Relevancia Ponderada por Interacción: Prioriza elementos interactivos sobre texto estático.
  - Consistencia de Cobertura de UI: Asegura que la región contenga estructuras de interfaz reales en lugar de espacio en blanco.
  - Concentración Semántica: Mide la entropía de las puntuaciones de relevancia para asegurar un enfoque semántico claro.
- Selección: La región con la recompensa acumulada más alta se selecciona como la región de inferencia final ( $R_{best}$ ) para el MLLM base.

Contribuciones Clave

Marco Libre de Entrenamiento: DRS-GUI no requiere entrenamiento adicional del modelo ni ajuste fino, funcionando como una mejora plug-and-play para MLLM existentes de propósito general y específicos de GUI.
Proceso Dinámico de Percepción-Acción: Introduce un mecanismo de búsqueda reversible que permite al sistema desplazar o expandir su vista si la atención inicial está mal colocada, abordando la fragilidad del refinamiento de solo hacia adelante.
Espacio de Búsqueda Estructurado: Al combinar un Perceptor de UI ligero con un planificador basado en MCTS y una recompensa de calidad de región, el método desacopla efectivamente "dónde mirar" de "qué predecir".

Resultados Experimentales
Los autores evaluaron DRS-GUI en tres puntos de referencia: ScreenSpot-V1, ScreenSpot-V2 y ScreenSpot-Pro, de alta resolución y denso en elementos.

Ganancias de Rendimiento: En ScreenSpot-Pro, DRS-GUI mejoró la precisión de anclaje en un 14% tanto para Qwen2.5-VL-7B como para UGround-V1-7B.
Generalización: El marco superó consistentemente a las líneas base en MLLM de código abierto generales (por ejemplo, Qwen2.5-VL-3B/7B) y modelos específicos de GUI (UGround-V1-2B/7B).
Eficiencia vs. Tamaño: Notablemente, Qwen2.5-VL-3B mejorado con DRS-GUI (28.7% de precisión) superó a modelos especializados más grandes como OS-Atlas-7B (18.9%), sugiriendo que la búsqueda perceptiva adaptativa es más crítica que la escala del modelo para interfaces densas.
Reducción de Redundancia: El método redujo el tamaño de píxeles de la imagen de entrada y la cantidad de elementos de interfaz en aproximadamente un 64% y un 54% en promedio, filtrando efectivamente el ruido visual.

Significado y Afirmaciones
El artículo afirma que DRS-GUI aborda las limitaciones inherentes de las estrategias de refinamiento estáticas e irreversibles en el anclaje de GUI. Al emular la capacidad humana de ajustar dinámicamente el alcance perceptivo —escaneando, refinando y desplazando la atención cuando surge incertidumbre—, el marco mejora significativamente la robustez en entornos complejos y de alta resolución. Los autores postulan que un anclaje confiable en interfaces densas depende más de mecanismos de búsqueda perceptiva adaptativa que de aumentar los parámetros del modelo, ofreciendo una solución escalable para mejorar los agentes de GUI sin el costo de reentrenamiento.