🤖 AI

SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

ScaleCUA es un marco unificado que lleva a los agentes de uso de computadora de código abierto al rendimiento de vanguardia mediante el abordaje de la escasez de datos y la ineficiencia de entrenamiento a través de VeriGen para la síntesis de tareas verificables, Frontier Sampling para la asignación optimizada de muestras y Segmentación de Contexto Visual para la aceleración del entrenamiento.

Autores originales: Bowen Lv, Xiao Liu, Yanyu Ren, Hanyu Lai, Bohao Jing, Hanchen Zhang, Yanxiao Zhao, Shuntian Yao, Jie Tang, Yuxiao Dong

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bowen Lv, Xiao Liu, Yanyu Ren, Hanyu Lai, Bohao Jing, Hanchen Zhang, Yanxiao Zhao, Shuntian Yao, Jie Tang, Yuxiao Dong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a usar una computadora tal como lo hace un humano. El robot tiene que mirar la pantalla, hacer clic en botones, escribir en terminales y descubrir cómo instalar software u organizar archivos. Este es el mundo de los Agentes de Uso de Computadora (CUAs, por sus siglas en inglés).

Durante mucho tiempo, enseñar a estos robots ha sido como intentar aprender un nuevo videojuego sin un marcador de puntos. Puedes jugar, pero no sabes si realmente ganaste hasta que un humano observa todo el proceso y dice: "¡Buen trabajo!" o "Inténtalo de nuevo". Esto hace que el aprendizaje sea súper lento y costoso porque no puedes simplemente ejecutar miles de juegos a la vez si necesitas que un humano califique cada uno de ellos.

Presentamos SCALECUA, un nuevo marco de trabajo que actúa como un campamento de entrenamiento supercargado y autocorrectivo para estos agentes robóticos. Resuelve dos grandes problemas: encontrar suficientes tareas de práctica que tengan una condición clara de "victoria" y hacer que el proceso de entrenamiento sea lo suficientemente rápido como para que realmente funcione.

El problema del marcador: Entra VERIGEN

El primer obstáculo era que la mayoría de las tareas de computadora no tienen una señal integrada de "Fin del juego, has ganado". Para solucionar esto, los investigadores construyeron VERIGEN.

Imagina a VERIGEN como un equipo de tres entrenadores robóticos trabajando en un patio de juegos virtual gigante e infinito (contenedores Docker).

El Proponente sugiere una tarea, como "Instala este tema específico para tu computadora".
El Juez verifica si las instrucciones tienen sentido y si la "condición de victoria" es lógica.
El Verificador intenta realizar la tarea en la computadora virtual para ver si es posible y si la "condición de victoria" realmente se activa.

Si la tarea falla en cualquiera de estas comprobaciones, se descarta. Si pasa, se convierte en una tarea de entrenamiento verificada. ¿Lo más genial? Este equipo de entrenadores trabaja en paralelo. Pueden ejecutar más de 100 de estos entrenadores al mismo tiempo, interactuando con más de 100 computadoras virtuales simultáneamente.

El resultado: generaron más de 24,000 tareas verificadas y casi 3,000 tareas de alta calidad específicamente para el entrenamiento. Este es un salto masivo en comparación con métodos anteriores, que a menudo dependían de listas de tareas diminutas y escritas manualmente.

La estrategia de entrenamiento: Muestreo de la Frontera

Una vez que tienes una montaña de tareas, ¿cómo eliges cuáles practicar? Un error común es elegir tareas al azar. Pero imagina que estás aprendiendo a montar en bicicleta:

Si eliges una tarea que es demasiado fácil (montar en terreno plano), no aprendes nada.
Si eliges una tarea que es demasiado difícil (montar bajando un acantilado empinado), te estrellas y te desanimas.
El punto ideal es la "frontera de aprendizaje": las tareas que apenas estás empezando a comprender.

SCALECUA utiliza una estrategia inteligente llamada Muestreo de la Frontera (Frontier Sampling). Mantiene un registro de qué tan bien lo está haciendo el robot en cada una de las tareas. Luego, enfoca su tiempo de práctica en las tareas donde el robot se encuentra justo alrededor de una tasa de éxito del 50%. Esto asegura que el robot siempre esté desafiando sus límites sin quedarse estancado en desafíos imposibles o aburrido por tareas fáciles.

El truco de velocidad: Segmentación de Contexto Visual

Aquí está la parte difícil: las tareas de computadora pueden tomar mucho tiempo. Una sola tarea puede involucrar 47 pasos (como el ejemplo en el artículo donde el robot instala un tema). Si intentas recordar cada captura de pantalla desde el paso 1 hasta el paso 47, tu cerebro (o la memoria de la computadora) se abrumará y el entrenamiento se volverá extremadamente lento.

Los investigadores resolvieron esto con la Segmentación de Contexto Visual. Imagina que estás leyendo una historia larga, pero en lugar de tener todo el libro abierto, solo mantienes las últimas páginas visibles en tu escritorio. Recuerdas la trama de las páginas anteriores como un resumen, pero solo miras las páginas recientes para tomar tu siguiente decisión.

Esta técnica mantiene una "ventana deslizante" de las capturas de pantalla más recientes (unas 5 a 8 imágenes) mientras resume las anteriores como texto. Esto mantiene la memoria del robot fresca y rápida. El artículo encontró que esto hizo que el proceso de entrenamiento fuera 2.83 veces más rápido que el método antiguo de intentar recordar cada paso a la vez, sin hacer que el robot olvide cómo resolver el problema.

Los resultados: ¿Funcionó?

El equipo probó este nuevo sistema en un modelo llamado Qwen3.5-9B (un modelo de lenguaje visual de 9 mil millones de parámetros).

En OSWorld (un benchmark para tareas generales de escritorio), el robot logró una tasa de éxito del 68.7%.
En ScienceBoard (un benchmark para software científico complejo), alcanzó un 54.0%.

Estas cifras son significativas. El artículo señala que este modelo de 9 mil millones de parámetros superó a otros modelos de código abierto que son cuatro veces más grandes (como el EvoCUA de 32 mil millones de parámetros). También superó a algunos modelos propietarios, lo que sugiere que el método de entrenamiento importa tanto como el tamaño del cerebro del robot.

Lo que esto NO hace

Es importante saber qué no afirma este artículo.

No es una varita mágica para todas las computadoras todavía. Las pruebas se realizaron en escritorios basados en Ubuntu (un tipo específico de computadora Linux). Los autores admiten que aún no han probado esto en Windows o macOS, por lo que no sabemos si funciona allí.
Tiene un límite de tiempo. Los episodios de entrenamiento se limitaron a 50 turnos de interacción. Aunque esto cubre la mayoría de las tareas, los autores sugieren que podría no ser suficiente para flujos de trabajo ultra largos y complejos que requieren cientos de pasos.
No es un problema resuelto. El artículo presenta esto como un nuevo marco de trabajo que establece un "estado del arte" entre los agentes de código abierto, pero reconoce que la generalización a otros sistemas y escalas sigue siendo un trabajo futuro.

En resumen, SCALECUA es una receta ingeniosa para enseñar a los robots a usar computadoras mediante la generación de sus propios exámenes de práctica, enfocándose en el nivel de dificultad "justo" y recordando lo suficiente del pasado para mantenerse rápido. Demuestra que, con las herramientas de entrenamiento adecuadas, incluso un cerebro robótico más pequeño puede superar a otros mucho más grandes.

Resumen Técnico: SCALECUA

Planteamiento del Problema

Los Agentes de Uso de Computadora (CUAs, por sus siglas en inglés) representan un enfoque transformador para la automatización de flujos de trabajo digitales al operar directamente sobre los píxeles de la pantalla y los elementos de la interfaz de usuario (UI), en lugar de utilizar APIs estructuradas. Si bien los avances recientes en el aprendizaje por refuerzo en línea con recompensas verificables (RLVR) muestran potencial para escalar las capacidades de los CUAs, el campo enfrenta dos cuellos de botella críticos:

Escasez de Datos Verificables: A diferencia de las tareas de matemáticas o código, las tareas de GUI carecen de mecanismos integrados para puntuar estados finales de manera determinista. Generar tareas que sean tanto verificables (mediante jueces ejecutables) como adecuadamente difíciles (ni triviales ni inalcanzables) a escala es fundamentalmente desafiante.
Ineficiencia del RL en Línea: El entrenamiento actual de RL para interacciones de GUI de múltiples turnos sufre de ineficiencias tanto en el muestreo como en el entrenamiento. La selección uniforme de tareas suele producir grupos de trayectorias donde todas las tareas tienen éxito o fallan, lo que no proporciona una señal de aprendizaje. Además, las estrategias de entrenamiento enfrentan un compromiso: el entrenamiento a nivel de trayectoria acumula un exceso de tokens visuales, ralentizando la inferencia; mientras que la descomposición paso a paso infla el número de ítems de entrenamiento, ralentizando las actualizaciones de parámetros.

Metodología

Los autores presentan SCALECUA, un marco unificado diseñado para escalar el RL en línea para los CUAs abordando simultáneamente la generación de datos y la eficiencia del entrenamiento. El marco consta de tres componentes principales:

1. VERIGEN: Síntesis de Tareas Verificables

Para superar la escasez de datos, los autores proponen VERIGEN, un marco de extremo a extremo para generar tareas de RL verificables.

Bucle de Retroalimentación Multi-Agente: VERIGEN emplea tres agentes de LLM independientes (Propositor, Juez y Verificador) que interactúan con entornos Docker en vivo. El Propositor genera tareas y verificadores; el Juez realiza revisiones semánticas estáticas; el Verificador ejecuta "pruebas en seco" para verificar dinámicamente la alcanzabilidad de la tarea y la corrección del juez.
Síntesis Guiada por Trayectorias: El sistema refina iterativamente el conjunto de tareas analizando las trayectorias de ejecución del modelo. Las tareas fallidas se descomponen en subtareas más pequeñas basadas en el punto de desviación más temprano, mientras que las tareas exitosas se agrupan y componen en tareas de objetivos múltiples más difíciles.
Escalabilidad: Una sonda de interacción Docker compartida permite que más de 100 trabajadores agentes concurrentes interactúen con más de 100 entornos Docker, produciendo más de 24,000 tareas verificables y casi 3,000 tareas de RL de alta calidad.

2. Muestreo de Frontera (Frontier Sampling): Asignación Eficiente de Tareas

Para maximizar la eficiencia del muestreo, SCALECUA introduce el Muestreo de Frontera, un muestreador ligero que asigna dinámicamente las ejecuciones según la capacidad actual del modelo.

Mecanismo: El sistema mantiene un Promedio Móvil Exponencial (EMA) de las tasas de éxito para cada tarea. Aplica una distribución de núcleo Gaussiano para calcular los pesos de muestreo, con un pico en una tasa de éxito objetivo (por ejemplo, 0.5).
Objetivo: Esto dirige las ejecuciones hacia las tareas en la "frontera de aprendizaje": aquellas que el modelo es capaz de resolver actualmente con cierta probabilidad, evitando el desperdicio de computación en tareas que son demasiado fáciles o demasiado difíciles.

3. Segmentación de Contexto Visual: Entrenamiento de Múltiples Turnos Eficiente

Para resolver el compromiso entre ejecución y entrenamiento en tareas de largo horizonte, los autores proponen la Segmentación de Contexto Visual.

Estrategia de Ventana Deslizante: En lugar de retener todo el historial visual (lo que sobrecarga el motor de ejecución) o dividir cada turno (lo que sobrecarga el motor de entrenamiento), el sistema mantiene una ventana deslizante de contexto visual reciente (por ejemplo, $K$ capturas de pantalla).
Flujo de Token-ID: Cuando la ventana se desborda, las capturas de pantalla más antiguas se descartan y se reemplazan por un resumen de texto, mientras que el flujo de token-ID se re-tokeniza. Esto limita la acumulación de tokens visuales preservando la continuidad textual y el razonamiento entre pasos.

Contribuciones Clave

Marco VERIGEN: Un flujo de trabajo de extremo a extremo que escala la generación de tareas verificables a más de 100 trabajadores en paralelo, produciendo un conjunto de datos de más de 24K tareas verificables y casi 3K tareas de RL de alta calidad, significativamente mayor que los métodos previos de CUA para escritorio.
Muestreo de Frontera: Una estrategia de muestreo novedosa que rastrea la capacidad por tarea mediante tasas de éxito EMA, asegurando que las ejecuciones se concentren en las tareas más informativas para acelerar la convergencia.
Segmentación de Contexto Visual: Una técnica de optimización de entrenamiento que equilibra la carga de tokens visuales y el recuento de ítems de entrenamiento, logiendo una aceleración de entrenamiento de extremo a extremo de 2.83× respecto a la descomposición paso a paso sin sacrificar la calidad del razonamiento.

Resultados Experimentales

Los autores evaluaron SCALECUA en tres modelos de visión y lenguaje (GLM-4.6V-Flash, Qwen3-VL-8B-Thinking y Qwen3.5-9B) utilizando los benchmarks OSWorld y ScienceBoard.

Rendimiento en OSWorld: Utilizando la arquitectura base Qwen3.5-9B, SCALECUA alcanzó una tasa de éxito del 68.7%. Esto supera a los baselines de código abierto más fuertes, incluyendo Kimi K2.5 (63.3%) y EvoCUA-32B (56.7%), así como a modelos propietarios como Claude Sonnet 4.5 (62.9%). El modelo mostró ganancias particularmente fuertes en las categorías "Profesional" (89.5%) y "Flujo de Trabajo" (48.1%) de largo horizonte.
Rendimiento en ScienceBoard: SCALECUA-Qwen3.5-9B alcanzó un 54.0% en ScienceBoard, estableciendo un nuevo estado del arte entre los agentes de código abierto y superando a Claude Opus 4.6 (52.7%). Se observaron mejoras notables en la autoría de documentos científicos (TeXstudio) y la demostración de teoremas.
Estudios de Ablación: Eliminar cualquiera de los tres componentes principales (VERIGEN, Muestreo de Frontera o Segmentación de Contexto Visual) resultó en caídas significativas de rendimiento, confirmando sus roles complementarios. Específicamente, eliminar VERIGEN redujo el rendimiento al nivel del modelo base (43.9%).

Significado

SCALECUA demuestra que escalar los agentes de uso de computadora requiere un enfoque holístico que integre la síntesis de datos verificables con algoritmos de entrenamiento eficientes. Al resolver el cuello de botella de la escasez de datos verificables mediante la interacción iterativa con entornos en vivo y abordar las ineficiencias de entrenamiento mediante el muestreo consciente de la frontera y la gestión del contexto visual, el marco establece un nuevo estado del arte para los CUAs de código abierto. Los autores postulan que este enfoque unificado ofrece una receta reutilizable para entrenar agentes con recompensas verificables, acelerando el progreso en el campo de los flujos de trabajo digitales automatizados.