🤖 AI

SeekJudge: A Practical Reward Framework for Reinforcement Learning in Computer-Use Agents

El artículo presenta SeekJudge, un marco de recompensa práctico basado en modelos que utiliza cuatro agentes especializados por roles y un modelo base de 9B destilado que iguala o supera la supervisión basada en reglas en el entrenamiento de agentes de uso de computadoras, ofreciendo al mismo tiempo juicios a nivel de paso, menores costos y escalabilidad para tareas de largo horizonte.

Autores originales: Yang Wan, Zhenhao Zhang, Jierui Wang, Linchao Zhu

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yang Wan, Zhenhao Zhang, Jierui Wang, Linchao Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a navegar por el mundo de un videojuego, pero en lugar de presionar botones en un mando, el robot tiene que hacer clic, escribir y desplazarse en una pantalla de ordenador real tal como lo haría un humano. Este es el mundo de los "agentes de uso de computadora". Durante mucho tiempo, los científicos han intentado enseñar a estos robots mostrándoles un objetivo —como "reservar un hotel"— y luego comprobando si tuvieron éxito. La forma antigua de comprobarlo era como usar una lista de verificación rígida: si el robot hacía clic en el botón correcto en el momento adecuado, recibía un punto; si hacía clic en el incorrecto, recibía cero. Pero las computadoras son desordenadas y cambian todo el tiempo. Una lista de verificación podría decir "fallaste" porque el robot hizo clic en un botón que se veía ligeramente diferente al de la lista, aunque el robot en realidad había terminado el trabajo perfectamente. Es como si un profesor reprobara a un estudiante por escribir la palabra "color" en lugar de "colour", aunque el ensayo fuera brillante.

Para solucionar esto, los investigadores comenzaron a utilizar modelos de IA para actuar como jueces, con la esperanza de que pudieran entender el espí spirit de la tarea en lugar de solo las reglas estrictas. Sin embargo, estos jueces de IA a menudo se confunden cuando tienen que mirar una película completa de las acciones del robot a la vez. Es como intentar encontrar un error tipográfico específico en una novela de 500 páginas leyendo todo el libro en un segundo; los detalles importantes se pierden en el ruido. La gran pregunta era: ¿Cómo construimos un juez que sea lo suficientemente inteligente para entender los objetivos humanos, lo suficientemente barato para ejecutarse miles de veces mientras el robot aprende, y lo suficientemente rápido para manejar historias largas y complicadas sin que le dé un dolor de cabeza?

Entra SeekJudge, un nuevo marco de trabajo que actúa como un equipo de cuatro detectives especializados trabajando juntos para resolver un misterio, en lugar de un solo detective sobrecargado intentando hacerlo todo a la vez. Los investigadores descubrieron que cuando obligas a una IA a mirar demasiadas capturas de pantalla de una pantalla de ordenador al mismo tiempo, esta comienza a tener alucinaciones o a perder los detalles más importantes. Es como si le pidieras a alguien que identifique a un sospechoso en una multitud de 100 personas; podrían distraerse con el sombrero brillante de un extraño y perder de vista al criminal real. Pero si les mostraras solo una foto del sospechoso, lo detectarían al instante.

SeekJudge resuelve esto dividiendo el trabajo. Primero, dos "exploradores" (llamados los agentes Condense y Ground) revisan rápidamente el largo viaje del robot y escriben un resumen corto y fácil de leer de lo que sucedió, paso a paso. Luego, un "detective" (el agente Seek) lee este resumen y decide: "Hmm, necesito ver la foto del paso 42 para estar seguro". Entonces llama a un cuarto agente, el agente Analyze, para que mire solo esa captura de pantalla específica y responda una pregunta precisa sobre ella. Este ciclo de ida y vuelta continúa hasta que el detective está lo suficientemente seguro como para dar un veredicto final.

El artículo muestra que este enfoque de "buscar y analizar" cambia las reglas del juego. Cuando lo probaron, SeekJudge fue el primer juez basado en IA que se desempeñó tan bien como, o incluso mejor que, los antiguos verificadores de reglas rígidas al ayudar a los robots a aprender nuevas tareas. De hecho, cuando se utilizó para entrenar a un robot, los robots aprendieron más rápido y tuvieron más éxito con SeekJudge que con los métodos tradicionales.

Lo que es realmente genial es cuán eficiente es esto. Debido a que la IA solo mira una imagen a la vez en lugar de una pila entera, no necesita una computadora masiva y súper costosa para funcionar. Los investigadores descubrieron que su sistema cuesta una fracción mínima de lo que cuestan otros jueces de IA—cientos de veces más barato que usar un modelo gigante de código cerrado. Es como la diferencia entre contratar a un equipo de expertos locales que cada uno mira un indicio por unos pocos dólares, frente a contratar a un detective celebridad que cobra una fortuna por leer todo el expediente del caso a la vez.

El equipo también construyó un nuevo "campo de entrenamiento" llamado CUAStepBench, que es una colección de 278 tareas de computadora diferentes donde los humanos han etiquetado cuidadosamente cada uno de los pasos del viaje del robot. Esto ayudó a entrenar a su equipo de "detectives" para que fuera increíblemente agudo. Demostraron que al descomponer el problema en encontrar el momento adecuado (localización) y luego leer los detalles (extracción), podían manejar tareas mucho más largas y complejas que los métodos anteriores.

En resumen, SeekJudge no intenta ser un ojo superinteligente que todo lo ve; en su lugar, actúa como un equipo inteligente y eficiente que sabe exactamente cuándo hacer zoom en la pista más importante. Esto hace posible entrenar a robots que usan computadoras en el mundo real, donde las tareas son largas, las pantallas cambian y los libros de reglas estrictos simplemente no funcionan. El artículo sugiere que este enfoque podría ser la clave para crear asistentes de IA que realmente puedan ayudarnos con nuestras tareas informáticas diarias, desde reservar vuelos hasta organizar archivos, sin necesidad de una supercomputadora para calificar sus tareas.

Resumen Técnico: SeekJudge

Planteamiento del Problema

La evaluación y el entrenamiento de Agentes de Uso de Computadora (CUAs, por sus siglas en inglés) en tareas de interfaz gráfica de usuario (GUI) de largo horizonte enfrentan un cuello de botella crítico: determinar si una trayectoria generada cumple con una instrucción humana. Históricamente, esto ha dependido de la evaluación basada en reglas, la cual sufre de tres limitaciones fundamentales:

Desalineación con la Intención Humana: Las reglas tienen dificultades para enumerar todas las soluciones válidas, particularmente para tareas abiertas (por ejemplo, dibujar un cuadro) donde los resultados aceptables son ilimitados.
Fragilidad y Mantenimiento: Las reglas dependen del acceso al estado interno (diseño, APIs) o de respuestas predefinidas, lo que las hace frágiles ante actualizaciones de aplicaciones, cambios de versión o el desplazamiento del contenido en línea.
Problemas de Escalabilidad: Los sistemas basados en reglas suelen limitarse al software fuera de línea; cubrir servicios en línea en vivo incurre en altos costos de mantenimiento.

Aunque han surgido los jueces basados en modelos como alternativa, los marcos de trabajo existentes a menudo no logran alcanzar una adopción masiva en el Aprendizaje por Refuerzo (RL) debido a una "dilución de la evidencia decisiva". Al alimentar trayectorias completas (muchas imágenes) en un solo paso hacia adelante, estos modelos suelen alucinar sobre detalles menores o confiar excesivamente en los informes del propio agente, fallando al aislar la captura de pantalla específica que determina el veredicto. Además, las soluciones existentes suelen carecer de granularidad a nivel de paso, eficiencia de costos o la capacidad de escalar a trayectorias muy largas dentro de una única ventana de contexto.

Metodología: El Marco de Trabajo SeekJudge

SeekJudge aborda estos problemas descomponiendo la tarea de juzgar en localización (identificar la imagen que contiene la evidencia decisiva) y extracción (leer esa evidencia con alta fidelidad). Lo implementa mediante un marco de trabajo multi-agente que comparte un único modelo de base de 9B parámetros.

Arquitectura Central

El marco emplea cuatro agentes especializados por rol:

Agente de Condensación (Condense Agent): Lee pares de capturas de pantalla (pre y post-acción) para generar una línea de tiempo de texto compacta que describe las transiciones de estado ( $T$ entradas).
Agente de Anclaje (Ground Agent): Lee la captura de pantalla post-acción y la acción bruta (por ejemplo, coordenadas) para identificar el elemento de la interfaz de usuario impactado, generando entradas de acción ancladas ( $A$ entradas).
Agente de Búsqueda (Seek Agent): El controlador con estado. Lee la línea de tiempo condensada e interroga iterativamente al agente de Análisis. Decide si la evidencia acumulada es suficiente para emitir un veredicto. Si no es así, selecciona un paso específico y un ID de imagen para inspeccionar, formula una pregunta enfocada y añade la respuesta a su contexto.
Agente de Análisis (Analyze Agent): Una herramienta sin estado que responde a una única pregunta enfocada sobre una captura de pantalla específica, devolviendo solo el detalle decisivo.

Este bucle de Búsqueda–Análisis (Seek–Analyze loop) asegura que el modelo procese evidencia de alta fidelidad una imagen a la vez, evitando la dilución de contexto vista en los enfoques de múltiples imágenes de un solo paso.

Entrenamiento y Construcción de Datos

Destilación Calibrada por Semillas (Seed-Calibrated Distillation): Para entrenar el único modelo base de 9B, los autores utilizan un flujo de trabajo donde un modelo potente de código cerrado (DeepSeek) actúa como profesor. Una "Etapa de Semilla" utiliza la búsqueda de prompts para alinear los criterios del profesor y los prompts de búsqueda con las anotaciones humanas. Estos datos se utilizan luego para destilar los cuatro roles en el modelo unificado de 9B.
Supervisión Densa: En lugar de etiquetas binarias, el marco genera siete puntuaciones de dimensión a nivel de trayectoria (0–100) y nueve etiquetas de clase a nivel de paso. Estas se mapean a recompensas escalares para el entrenamiento de RL mediante un pequeño regresor de gradiente aumentado.
CUAStepBench: Un nuevo benchmark construido con 278 tareas a través de 177 aplicaciones (Web, OS, Android, iOS, macOS). Presenta veredictos de trayectorias humanas emparejados con etiquetas densas post-hoc a nivel de paso, llenando un vacío en los benchmarks existentes que carecen de cobertura multiplataforma o granularidad a nivel de paso.

Optimizaciones de Ingeniería para RL

Para hacer que las recompensas basadas en modelos sean prácticas para el RL en línea, SeekJudge introduce:

Servidor de Solapamiento de Ejecución (Rollout-Overlapped) y Sin Estado del Cliente: El servidor programa operaciones no dependientes (Condensación/Anclaje) durante el tiempo de ejecución de la acción del entorno (ventanas de GPU inactivas). El cliente de RL transmite capturas de pantalla de forma asíncrona sin mantener el estado de la recompensa, reduciendo la latencia y el tiempo de bloqueo.
Computación Adaptativa: El agente de Búsqueda emite llamadas de extracción solo según sea necesario, lo que significa que las trayectorias fáciles requieren menos rondas que las complejas.

Resultados Clave

Rendimiento en Aprendizaje por Refuerzo (RL)

Superando la Supervisión Basada en Reglas: En objetivos de prueba retenidos en tres dominios (Chrome, Impress, OS), las políticas entrenadas con SeekJudge lograron tasas de éxito en pruebas que igualaron o superaron aquellas entrenadas con supervisión nativa basada en reglas. Por ejemplo, en el dominio Impress con UI-TARS 1.5 7B, SeekJudge logró una tasa de éxito en pruebas del 36.81% en comparación con el 30.43% de la supervisión basada en reglas.
Superioridad sobre otros Jueces de Modelo: SeekJudge superó a otros marcos basados en modelos (CUAJudge, OS-Themis) tanto en recompensas de entrenamiento como en tasas de éxito de prueba, incluso cuando esos marcos utilizaban modelos más grandes o de código cerrado.

Evaluación Offline

Precisión del Benchmark: En CUAStepBench, el modelo especializado SeekJudge-9B logró un F1 de trayectoria de 74.5% y un F1 de nivel de paso de 38.1%, superando al modelo base Qwen3VL-8B y sobrepasando a baselines de código cerrado como CUAJudge (GPT-5-mini) en F1 de trayectoria.
Eficiencia de Contexto: SeekJudge mantiene un contexto por llamada significativamente menor (4–6× más pequeño que sus competidores) porque procesa las imágenes secuencialmente en lugar de en bloque. Esto le permite manejar trayectorias mucho más largas sin alcanzar los límites de contexto.

Costo y Eficiencia

Reducción de Costos: SeekJudge es cientos de veces más barato que los modelos grandes de código cerrado. La Figura 7 indica que, para 5,000 trayectorias, SeekJudge cuesta una fracción del precio de baselines como Codex (GPT-5.5).
Ruido de Multi-Imagen: Los experimentos confirmaron que añadir imágenes no decisivas a un solo paso hacia adelante degrada el rendimiento (el F1 cae de 0.68 a 0.61 a medida que aumenta el número de imágenes), validando la necesidad del enfoque de extracción localizada de SeekJudge.

Significación y Reivindicaciones

El artículo afirma que SeekJudge representa un reemplazo práctico de sustitución directa (drop-in replacement) para la supervisión basada en reglas en el aprendizaje por refuerzo de CUAs. Su importancia radica en:

Cerrar la Brecha: Es la primera recompensa basada en modelos que iguala o supera la supervisión nativa basada en reglas en entornos de RL en línea, superando la histórica brecha de rendimiento.
Escalabilidad: Al desacoplar la localización de la extracción, permite la evaluación de tareas de largo horizonte que exceden las ventanas de contexto de los jueces de un solo paso.
Granularidad: Proporciona juicios a nivel de paso esenciales para la asignación de crédito en trayectorias largas, una característica ausente en muchos modelos de recompensa existentes.
Practicidad: A través de optimizaciones arquitectónicas (pre-búsqueda asíncrona, contexto pequeño) y eficiencia de costos, hace que las recompensas basadas en modelos sean factibles para bucles de entrenamiento de RL a gran escala, extendiendo las capacidades de los agentes a entornos donde las reglas no pueden instrumentarse (por ejemplo, servicios en línea en vivo).

Los autores enfatizan que, aunque el marco depende de un modelo especializado de 9B, sus principios de diseño (descomposición de localización/extracción) y sus optimizaciones de ingeniería son generalizables, ofreciendo un camino hacia la evaluación de agentes escalable y alineada con los humanos.