IntentCUA: Learning Intent-level Representations for Skill Abstraction and Multi-Agent Planning in Computer-Use Agents

Resumen Técnico: IntentCUA

1. El Problema

Los agentes de uso de computadoras (Computer-Use Agents) actuales enfrentan desafíos significativos al operar en horizontes largos (tareas complejas que requieren múltiples pasos) dentro de entornos de escritorio dinámicos y ruidosos. Las limitaciones principales identificadas son:

• Deriva de la Intención (Intent Drift): Los planes generados a menudo se desvían de la intención original del usuario a medida que avanza la ejecución.
• Repetición Ineficiente: Los agentes tienden a volver a resolver rutinariamente subproblemas que ya han completado, generando ciclos de re-planificación redundantes.
• Acumulación de Errores: Los errores de percepción local (ej. malinterpretar una ventana o un botón) se acumulan, provocando reintentos en cascada y fallos en la finalización de la tarea.
• Falta de Adaptabilidad: Los enfoques basados en macros o RPA carecen de flexibilidad, mientras que los agentes basados en LLMs puros a menudo carecen de una memoria estructurada para mantener la coherencia a largo plazo.

2. Metodología: El Marco IntentCUA

IntentCUA es un marco de trabajo multi-agente diseñado para estabilizar la ejecución de tareas a largo plazo mediante memoria de planes alineada con la intención. El sistema transforma trazas de interacción crudas en representaciones abstractas de intención y habilidades reutilizables.

A. Aprendizaje de Representaciones a Nivel de Intención (Offline)

• Etiquetado Multi-vista: Las trazas de interacción del usuario se etiquetan en cuatro vistas: Entorno ($E$), Acción ($A$), Palabra clave ($K$) y Descripción ($D$).
• Codificador Multi-vista: Se utiliza un encoder para mapear estas vistas heterogéneas a un espacio de representación compartido ($z_i$).
• Función de Pérdida: El modelo se entrena minimizando una pérdida compuesta por tres objetivos:
  1. Contrastiva ($L_{con}$): Alinea las vistas de la misma unidad de intención.
  2. Predictiva ($L_{pred}$): Permite predecir una vista desde otra.
  3. Reconstrucción ($L_{rec}$): Asegura que la representación compartida mantenga la semántica específica de cada vista.
• Clustering Jerárquico: Las representaciones se agrupan utilizando HDBSCAN en dos niveles:
  • Grupos de Intención (IG): Nivel superior basado en el contexto/entorno.
  • Subgrupos (SG): Nivel inferior basado en patrones de acción/palabras clave.

B. Abstracción de Habilidades (Skill Abstraction)

• Dentro de cada Subgrupo (SG), las trazas de acción se consolidan en habilidades reutilizables.
• Se identifica un "prototipo de habilidad" (el mediano de los patrones de acción) y se convierte en un "Hint de Habilidad" (Skill Hint): un esquema parametrizado (verbo + argumentos tipados) que elimina valores literales específicos y permite la reutilización en diferentes contextos.

C. Planificación Consciente de la Intención y Bucle de Feedback (Online)
El sistema operativo en tiempo real coordina tres agentes a través de una memoria compartida:

1. Planificador (Planner):
   • Consulta la memoria de planes y los prototipos de intención.
   • Utiliza un enfoque "cache-first": si existe un plan exacto, lo reutiliza; si es una coincidencia parcial, inyecta "Hints de Habilidad" para rellenar los huecos (gap filling); si no hay coincidencia, sintetiza un nuevo plan basado en los subgrupos más similares.
2. Optimizador de Planes (Plan-Optimizer):
   • Refina los pasos del plan basándose en trazas similares almacenadas en memoria y el contexto actual de la pantalla (GUI Grounding).
3. Crítico (Critic):
   • Monitorea la ejecución de cada unidad de plan.
   • Proporciona retroalimentación inmediata (éxito, reintentable o bloqueado). Si hay un error reintentable, el Optimizador ajusta el sub-plan antes de continuar.

3. Contribuciones Clave

1. Marco Multi-Agente: Propone IntentCUA, un sistema que estabiliza la ejecución a largo plazo mediante la coordinación de Planificador, Optimizador y Crítico, utilizando una memoria de planes alineada con la intención.
2. Pipeline de Abstracción Trace-to-Skill: Introduce un método para aprender representaciones de intención multi-vista y derivar habilidades jerárquicas y reutilizables a partir de trazas de interacción crudas.
3. Mecanismo de Memoria en Tiempo de Planificación: Diseña un sistema que recupera habilidades alineadas con subgrupos para enriquecer planes parciales, reduciendo la deriva de intención y la re-planificación redundante.
4. Validación Empírica: Demuestra mediante ablation studies y evaluaciones de extremo a extremo que la abstracción de intención y la coordinación basada en memoria mejoran significativamente la estabilidad, la eficiencia y la tasa de éxito.

4. Resultados Experimentales

El sistema se evaluó en 286 tareas de GUI del mundo real (incluyendo WebVoyager, ScreenAgent y tareas internas), abarcando dominios de aplicaciones locales, web y flujos de trabajo cruzados.

• Tasa de Éxito: IntentCUA logró una tasa de éxito del 74.83%, superando significativamente a los baselines:
  • UI-TARS-1.5 (basado en RL): 38.8%
  • UFO2 (centrado en trayectorias): 51.2%
• Eficiencia de Pasos (Step Efficiency Ratio - SER): Logró un SER de 0.91, indicando que el 91% de los pasos ejecutados contribuyeron al éxito, superando a los baselines (0.85 y 0.82).
• Latencia: El tiempo de ejecución promedio fue de 1.46 minutos, aproximadamente 4.5 veces más rápido que los baselines (UFO2: 6.63 min, UI-TARS: 9.82 min).
• Robustez en Horizontes Largos: A diferencia de los baselines que colapsan después de 20 pasos, IntentCUA mantuvo una tasa de éxito del 42.9% en tareas de más de 30 pasos, demostrando una degradación gradual y controlada.
• Estudios de Ablación: Confirmaron que la combinación de aprendizaje de representaciones ($Z$), enrutamiento por subgrupos ($T_{SG}$), hints de habilidades ($S_{SG}$) y memoria de planes ($P_M$) es lo que genera las mayores ganancias, especialmente en tareas complejas.

5. Significado e Impacto

Este trabajo establece que la abstracción a nivel de sistema de la intención y la coordinación basada en memoria son fundamentales para la automatización de escritorio confiable.

• Cambio de Paradigma: Se aleja de la simple reproducción de trayectorias o el ajuste masivo de políticas, enfocándose en la estructura semántica de la intención del usuario.
• Escalabilidad: La capacidad de recuperar y adaptar habilidades preexistentes permite que el agente escale a tareas más largas y complejas sin sufrir el "olvido" o la deriva que afecta a los agentes puramente generativos.
• Aplicabilidad: Ofrece una solución viable para automatizar flujos de trabajo complejos en entornos de escritorio dinámicos, donde la percepción es ruidosa y los contextos cambian frecuentemente.

En conclusión, IntentCUA demuestra que al estructurar el conocimiento de las interacciones pasadas en habilidades abstractas y gestionarlas mediante una memoria compartida entre agentes especializados, es posible lograr una automatización de escritorio robusta, eficiente y capaz de mantener la coherencia en horizontes temporales extensos.