🤖 AI

ToolTok: Tool Tokenization for Efficient and Generalizable GUI Agents

ToolTok introduce un nuevo paradigma de búsqueda de rutas de múltiples pasos para agentes de GUI que utiliza incrustaciones de tokens de herramientas aprendibles ancladas por conceptos semánticos y entrenadas mediante un currículo de fácil a difícil, logrando una generalización y un rendimiento superiores con significativamente menos datos que los métodos existentes.

Autores originales: Xiaoce Wang, Guibin Zhang, Junzhe Li, Jinzhe Tu, Chun Li, Ming Li

Publicado 2026-02-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiaoce Wang, Guibin Zhang, Junzhe Li, Jinzhe Tu, Chun Li, Ming Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a usar una computadora. Durante mucho tiempo, la forma en que enseñábamos a los robots a hacer clic en botones era como darles un mapa con coordenadas GPS exactas. Decíamos: "Mueve tu dedo exactamente 500 píxeles a la derecha y 300 píxeles hacia abajo".

El problema con la forma antigua
Este método de "coordenadas GPS" tiene un fallo importante: es increíblemente rígido. Si le muestras al robot una pantalla que es ligeramente más ancha, más alta o simplemente de un tamaño diferente al que practicó, se pierde por completo. Es como enseñarle a alguien a conducir solo en una carretera de 3 metros de ancho; en el momento en que llega a una de 4 metros, choca. El robot también tiene dificultades porque tiene que memorizar millones de números de coordenadas específicos, lo que requiere una cantidad masata de datos de entrenamiento.

La nueva solución: ToolTok
Los autores de este artículo, ToolTok, proponen una forma más inteligente. En lugar de darle al robot coordenadas GPS, le enseñan a usar "tokens de herramientas" discretos.

Piensa en ello como enseñar a un niño a navegar por una habitación no dándole pulgadas y pies, sino dándole un conjunto de comandos simples y comprensibles:

"Da un paso grande hacia adelante".
"Da un pequeño empujón a la izquierda".
"Da un toque rápido".
"Vuelve al inicio".

En el lenguaje del artículo, estos son tokens como <MOVE UP FAR> (MOVER ARRIBA LEJOS), <CLICK SHORT> (CLIC CORTO) o <GO HOME> (IR A CASA). El robot no calcula números; elige la "palabra" correcta de su vocabulario para acercar el cursor del ratón al objetivo, paso a paso.

Cómo enseñaron al robot (El plan de lecciones de tres etapas)
Dado que el robot es nuevo con estas "palabras de herramientas", los autores no podían lanzarlo directamente a una interfaz de computadora del mundo real. Diseñaron un ingenioso programa de entrenamiento de tres pasos (como un plan de estudios escolar) para ayudar al robot a aprender de manera eficiente:

Etapa 1: La lección del diccionario (Datos sintéticos)
Antes de mostrarle pantallas reales al robot, le enseñaron qué significan las palabras usando dibujos simples y falsos. Le preguntaban: "¿Qué significa <MOVE UP FAR>?" y hacían que el robot practicara moviendo un punto en un lienzo en blanco. Esto le dio al robot una comprensión básica del vocabulario sin necesidad de miles de capturas de pantalla reales.

Analogía: Es como aprender las reglas del ajedrez jugando en un tablero vacío antes de jugar un partido real.

Etapa 2: La práctica en "Modo Fácil" (Pantallas reales)
Una vez que el robot conoció las palabras, le mostraron pantallas de computadora reales y sencillas. Crearon un "camino perfecto" para que el robot lo siguiera, mostrándole exactamente qué herramienta elegir para ir del punto A al punto B.

Analogía: Esto es como un instructor de conducción que te da un coche con una ruta perfecta marcada en el tablero, para que solo tengas que seguir las señales.

Etapa 3: El desafío en "Modo Difícil" (Pantallas complejas)
Finalmente, introdujeron pantallas profesionales difíciles con botones diminutos y diseños complejos. Debido a que el robot ya había aprendido el "lenguaje" del movimiento en las dos primeras etapas, pudo manejar estas tareas más difíciles sin sentirse abrumado.

La receta secreta: "Anclaje Semántico"
Un gran desafío fue que estas nuevas "palabras de herramientas" eran totalmente nuevas para el cerebro del robot. Si simplemente añades una palabra nueva a un diccionario al azar, el robot no sabrá qué significa.

Los autores utilizaron un truco llamado Anclaje Semántico. Vinculaban cada nueva palabra de herramienta a palabras que el robot ya conocía.

Ejemplo: Para la nueva herramienta <MOVE UP FAR>, la vincularon a palabras existentes que el robot ya entendía, como "move" (mover), "up" (arriba), "jump" (saltar) y "far" (lejos).
Analogía: Imagina que estás aprendiendo un nuevo idioma. En lugar de memorizar un sonido aleatorio, aprendes que la nueva palabra "Gato" significa "Cat" porque ya sabes lo que es un gato. El robot utiliza su conocimiento existente de "arriba" y "lejos" para entender instantáneamente este nuevo token de herramienta.

Los resultados
El artículo afirma que este método es un gran éxito:

Eficiencia de datos: El robot aprendió a ser un experto utilizando menos del 1% de los datos que requieren otros métodos. Mientras que otros robots necesitaban millones de ejemplos, ToolTok aprendió con solo unos 5,000 ejemplos.
Robustez: Debido a que el robot utiliza "pasos" (grandes, medianos, pequeños) en lugar de coordenadas exactas, funciona perfectamente incluso si el tamaño de la pantalla cambia. No choca cuando cambia la relación de aspecto.
Rendimiento: Un modelo relativamente pequeño (4 mil millones de parámetros) entrenado con este método funcionó mejor que modelos mucho más grandes (235 mil millones de parámetros) y superó a otros agentes robóticos especializados.

En resumen
ToolTok cambia la forma en que enseñamos a los robots a usar las computadoras. En lugar de obligarlos a memorizar coordenadas exactas (que se rompen fácilmente), les enseña un lenguaje flexible de "pasos" y "acciones". Al utilizar un programa de estudios inteligente y vincular las nuevas herramientas con palabras que el robot ya conoce, crearon un sistema que aprende más rápido, usa menos datos y funciona de manera confiable en diferentes tamaños de pantalla.

Resumen Técnico: ToolTok

Declaración del Problema

Los agentes de Interfaz Gráfica de Usuario (GUI) actuales dependen predominantemente de un anclaje visual de un solo paso (one-step visual grounding), donde los modelos predicen directamente coordenadas continuas o cuadros delimitadores (por ejemplo, [click, [0.5, 0.5]]) para ejecutar acciones. Este paradigma presenta dos limitaciones críticas:

Falta de Generalización: Los modelos entrenados en sistemas de coordenadas fijos tienen dificultades para generalizarse a variaciones en la resolución y la relación de aspecto de la entrada. Normalizar las capturas de pantalla a un tamaño fijo suele distorsionar elementos de la interfaz de grano fino, mientras que las desviaciones en los entornos de prueba provocan una degradación significativa del rendimiento.
Escasez de Datos y Problemas de Inicio en Frío (Cold-Start): Los enfoques alternativos libres de coordenadas (por ejemplo, métodos basados en atención) a menudo no logran aprovechar todo el conocimiento semántico de los Modelos de Lenguaje-Visión (VLM) preentrenados y permanecen limitados a tareas simples de "apuntar y hacer clic". Además, la introducción de nuevos tokens de acción en un VLM preentrenado requiere conjuntos de datos masivos y de alta calidad para superar el problema del "inicio en frío", los cuales son difíciles de obtener para interacciones de GUI (los benchmarks existentes suelen contener menos de 2,000 muestras).

Los métodos existentes sufren de fragilidad ante cambios de resolución o requieren cantidades prohibitivas de datos de entrenamiento para aprender representaciones de acción de manera efectiva.

Metodología

Los autores proponen ToolTok, un cambio de paradigma de la regresión de coordenadas continuas hacia la búsqueda de rutas visuales progresiva y de múltiples pasos utilizando tokens de herramientas discretos y aprendibles. La metodología consta de tres componentes principales:

1. Espacio de Acción Discretizado y Tokens de Herramientas

En lugar de predecir coordenadas, ToolTok modela las interacciones de GUI como una secuencia de uso de herramientas discretas. El vocabulario de acciones ( $V_{tool}$ ) se estructura en cuatro grupos funcionales:

Movimiento: Movimientos direccionales con distintas escalas (por ejemplo, <MOVE UP FAR>, <MOVE UP CLO>).
Navegación: Navegación a nivel de sistema (por ejemplo, <GO BACK>, <GO HOME>).
Interacción: Manipulación de elementos (por ejemplo, <CLICK SHORT>, <SCROLL UP>).
Entrada: Indicadores de entrada de texto (por ejemplo, <TEXT START>, <TEXT END>).

El movimiento del cursor es jerárquico, descomponiendo las acciones en dirección y escala (FAR: 500px, MID: 150px, CLO: 30px), lo que permite una estrategia de búsqueda de grueso a fino que imita el control del cursor humano.

2. Anclaje Semántico Esférico (SSI)

Para abordar el problema del "inicio en frío" al inicializar nuevos tokens dentro de un VLM preentrenado, ToolTok introduce el Anclaje Semántico Esférico.

Mecanismo: Cada token de herramienta se asocia con un conjunto de palabras ancla de lenguaje natural que describen su función (por ejemplo, <MOVE UP FAR> está vinculado a {"move", "up", "far"}).
Inicialización: El embedding de un nuevo token se calcula como el centroide aritmético de sus embeddings de anclaje, y luego se proyecta sobre la superficie del hiperesfera definida por la norma promedio del vocabulario original.
Beneficio: Esto asegura que los nuevos tokens se inicialicen dentro del espacio semánticamente significativo del modelo preentrenado, proporcionando un sesgo inductivo natural que acelera el aprendizaje sin dañar las capacidades lingüísticas existentes.

3. Aprendizaje Basado en Currículo

Para cerrar la brecha entre el conocimiento lingüístico y la comprensión de herramientas accionables bajo datos limitados, los autores emplean un currículo de tres etapas:

Etapa I (Calentamiento Sintético): El modelo se entrena con 5,000 muestras sintéticas que cubren tres tareas: QA de Definición de Tokens, Selección de Herramientas Guiada por Texto y Búsqueda de Rutas Visuales Simplificada. Esto establece la sintaxis básica y la lógica espacial.
Etapa II (Ajuste Fino en el Mundo Real): El modelo se ajusta finamente en conjuntos de datos del mundo real (por ejemplo, ScreenSpot) utilizando Síntesis de Trayectorias Oráculo. Dado que los conjuntos de datos reales suelen carecer de trazas de interacción, los autores generan trayectorias de ruta más corta codiciosas (greedy) y cadenas de razonamiento de Cadena de Pensamiento (CoT). Se utiliza una Pérdida Ponderada por Acción para priorizar los tokens de acción sobre los tokens de razonamiento.
Etapa III (Adaptación a Escenarios Complejos): El modelo se refina aún más en conjuntos de datos más desafiantes (por ejemplo, ScreenSpot-Pro) para manejar entornos de UI complejos, de alta resolución y densos.

Contribuciones Clave

Nuevo Paradigma: Cambia los agentes de GUI de la localización visual (visual grounding) a la búsqueda de rutas visuales progresiva mediante tokens de herramientas discretos y aprendibles, reflejando mejor los hábitos de navegación humanos.
Anclaje Semántico: Introduce un mecanismo principista (SSI) que vincula los nuevos tokens de herramientas con el conocimiento semántico preentrenado, permitiendo una alineación de representación efectiva con una supervisión mínima.
Eficiencia de Datos: Diseña un esquema de aprendizaje por currículo que acopla lenguaje, herramientas y percepción visual, permitiendo que el modelo alcance un rendimiento de vanguardia con menos del 1% de los datos requeridos por otros enfoques de post-entrenamiento.

Resultados Experimentales

Los autores evaluaron ToolTok (basado en un backbone Qwen3-VL de 4B parámetros) contra VLMs generalistas y agentes de GUI especializados a través de múltiples benchmarks (ScreenSpot, ScreenSpot-Pro, Mind2Web-Simplified, ScreenSpot-v2).

Rendimiento: ToolTok (TT-4B-ScreenSpot-Pro) alcanza el rendimiento de Estado del Arte (SOTA) entre los modelos de 4B y se mantiene competitivo con modelos sustancialmente más grandes (235B). Por ejemplo, en ScreenSpot-Pro, logra un 61.1% de precisión frente al 57.9% de un baseline de 4B y al 60.3% de un modelo de 235B.
Robustez: El modelo demuestra una robustez superior ante variaciones en la resolución de entrada y la relación de aspecto. Mientras que los modelos base se degradan significativamente cuando las configuraciones de prueba se desvían de las de entrenamiento, ToolTok mantiene un rendimiento constante.
Eficiencia de Datos: ToolTok logra una puntuación de Eficiencia de Datos (DE) de 43,800, lo que representa una mejora de 500x respecto a los métodos que requieren ~1M de muestras, utilizando solo ~2,000 muestras del mundo real combinadas con el calentamiento sintético.
Generalización: El modelo exhibe una fuerte generalización zero-shot a escenarios e instrucciones no vistos, validando la efectividad del anclaje semántico y los mecanismos de razonamiento.
Retención de Conocimiento: A diferencia de muchos modelos ajustados finamente que sufren de olvido catastrófico, ToolTok preserva mejor las capacidades multimodales generales del backbone (por ejemplo, la veracidad visual y el seguimiento de instrucciones) que los modelos de referencia.

Significado y Reivindicaciones

El artículo afirma que ToolTok representa un cambio de paradigma prometedor para la investigación futura de agentes de GUI. Al discretizar las operaciones de GUI en tokens de herramientas y utilizar el anclaje semántico, el enfoque permite un razonamiento de múltiples pasos robusto que es tanto eficiente en datos como generalizable.

Los autores enfatizan que ToolTok acerca a los agentes de GUI a los marcos de agentes similares a los humanos, donde la interacción se modela como una secuencia de decisiones semánticas en lugar de una predicción de coordenadas puras. Afirman que el mecanismo de anclaje semántico es transferible a otros escenarios de alineación de tokens especiales, sugiriendo una aplicabilidad más amplia más allá de los simples agentes de GUI. El trabajo se presenta como un paso significativo hacia la Inteligencia Artificial General (AGI) al permitir que los agentes interactúen con entornos digitales complejos utilizando lenguaje natural y semántica de herramientas aprendida sin la necesidad de conjuntos de datos de interacción masivos y curados.