Resumen Técnico: cotomi Act

Enunciado del Problema

Los agentes actuales que utilizan ordenadores (CUAs) enfrentan una limitación dual que les impide funcionar como compañeros de trabajo organizacionales confiables. Primero, aunque los Modelos de Lenguaje Grande (LLM) han mejorado en razonamiento, aún luchan con la fiabilidad requerida para tareas web de largo alcance y múltiples pasos, quedando a menudo por debajo de las líneas base humanas en benchmarks como WebArena. Segundo, y más críticamente, los agentes existentes carecen de conocimiento organizacional. Operan sin conciencia de preferencias tácitas, flujos de trabajo no escritos, jerga interna o el estado actual de las tareas pendientes. Esto obliga a los agentes a hacer preguntas de aclaración frecuentes (reduciendo la eficiencia) o a adivinar en silencio (arriesgando errores). Además, gran parte del conocimiento esencial para el trabajo —cómo operan realmente las personas— rara vez se documenta en repositorios estáticos, lo que hace que la Generación Aumentada por Recuperación (RAG) por sí sola sea insuficiente.

Metodología

El artículo presenta cotomi Act, un agente basado en navegador que aborda estos desafíos mediante dos componentes integrados: una Estructura de Agente robusta para la ejecución y una Pipeline de Comportamiento a Conocimiento para el aprendizaje.

1. Estructura de Agente (Ejecución)

La estructura gestiona el bucle ReAct (Razonar-Actuar) del agente, optimizando la ventana de contexto y el espacio de acciones para manejar tareas web complejas. Emplea cuatro mecanismos clave:

• Observación Paresiva Adaptativa: En lugar de alimentar el árbol de accesibilidad completo en cada paso, el agente observa por defecto solo los elementos visibles en la ventana de visualización, solicitando el árbol completo solo bajo demanda. Esto reduce significativamente la latencia (de 471s a 184s por tarea) manteniendo la precisión.
• Compresión de Historial Basada en Diferencias Verbales: En lugar de retener observaciones pasas crudas que inflan la ventana de contexto, el sistema reemplaza el historial obsoleto con descripciones en lenguaje natural de los cambios (diferencias verbales). Esto reduce los costos de tokens en 3.8× mientras preserva el contexto semántico mejor que los formatos de diferencia estándar.
• Acciones de Granos Gruesos: El espacio de acciones se abstrae al nivel más alto que aún cubre interacciones comunes (por ejemplo, scrollInto(element) en lugar de desplazamiento a nivel de píxel). Esto reduce el número de pasos requeridos para una tarea, evitando el desbordamiento del contexto.
• Escalado en Tiempo de Prueba: El sistema utiliza selección de la mejor de N acciones y descomposición de tareas (generando sub-agentes paralelos para sub-objetivos independientes) para reducir la varianza y manejar tareas de largo alcance.

2. Pipeline de Comportamiento a Conocimiento (Aprendizaje)

Para adquirir conocimiento organizacional, cotomi Act observa pasivamente el comportamiento de navegación del usuario y lo abstrae en artefactos estructurados.

• Captura: Un monitor en segundo plano registra acciones a nivel de sitio, transiciones de pestañas y capturas de pantalla, utilizando compresión basada en diferencias para reducir el ruido.
• Abstracción: Una pipeline agéntica ETL (Extracción-Transformación-Carga), impulsada por un LLM, procesa estos eventos. Segmenta los eventos crudos en episodios a nivel de tarea, los resume en registros estructurados y los agrupa en artefactos de conocimiento.
• Espacio de Trabajo de Conocimiento Compartido: Los artefactos resultantes se almacenan en un espacio de trabajo compartido accesible tanto para el usuario como para el agente. Estos incluyen:
  • Cronologías de Actividad: Vistas basadas en calendario de la actividad del usuario.
  • Tableros de Tareas: Una base de datos compartida donde el agente propone actualizaciones de estado y el usuario las aprueba.
  • Páginas Wiki: Notas procedimentales, reglas y convenciones destiladas del comportamiento.
• Privacidad: El sistema es estrictamente de opt-in, con enmascaramiento de información de identificación personal (PII) aplicado antes de que los artefactos se escriban en el espacio de trabajo.

3. Colaboración Humano-Agente

El espacio de trabajo actúa como un "objeto frontera". El agente consulta estos artefactos mediante una herramienta search_workspace cuando las instrucciones son ambiguas o requieren contexto. Crucialmente, el bucle es bidireccional: el usuario puede inspeccionar, editar y aprobar el conocimiento derivado del agente, asegurando la alineación con la realidad sin sincronización explícita.

Contribuciones Clave

1. Sistema cotomi Act: Un agente basado en navegador que logra un 80.4% de éxito en el subconjunto de evaluación humana de 179 tareas de WebArena, superando la línea base humana reportada de 78.2%. Esto se logra mediante la combinación específica de observación perezosa adaptativa, historial de diferencias verbales, acciones de granos gruesos y escalado en tiempo de prueba.
2. Pipeline de Comportamiento a Conocimiento: Un enfoque novedoso que observa pasivamente la navegación del usuario para abstraer progresivamente eventos crudos en artefactos de conocimiento reutilizables (tableros de tareas, wikis, cronologías) dentro de un espacio de trabajo compartido, permitiendo aprendizaje persistente y alineación transparente.
3. Validación Empírica: Una evaluación proxy controlada que demuestra que el éxito de las tareas posteriores mejora a medida que el agente acumula más conocimiento derivado del comportamiento, validando la eficacia del aprendizaje a partir de la observación.

Resultados

• Rendimiento de Ejecución: En el subconjunto de evaluación humana de WebArena, cotomi Act logró una tasa de éxito del 80.4%. La estructura base (sin escalado en tiempo de prueba) alcanzó el 76.5%, mientras que añadir la selección de la mejor de N y la descomposición de tareas proporcionó una ganancia adicional del 3.9%. Este rendimiento supera la línea base humana del 78.2% y agentes anteriores del estado del arte como OpAgent (71.6%).
• Impacto del Conocimiento: En un estudio controlado utilizando WorkArena-L1, el éxito de las tareas generalmente mejoró a medida que aumentaba la cobertura de dominio del conocimiento conductual.
  • Con 0% de cobertura, el éxito base fue de ~51%.
  • Con 100% de cobertura, el éxito mejoró hasta en +10 puntos porcentuales.
  • El estudio notó que, aunque las trayectorias crudas pueden degradar el rendimiento a baja cobertura debido al ruido, los formatos abstractos (scripts y conocimientos) permanecieron estables.
  • Un caso de estudio específico en el dominio del catálogo de servicios mostró un salto en el éxito de ~75% a ~99% después de que el agente adquirió 48 scripts procedimentales derivados del comportamiento del usuario.

Significado

El artículo afirma que cotomi Act demuestra un camino práctico hacia la fundamentación organizacional para los agentes de IA. Al combinar una estructura capaz de superar el rendimiento humano en benchmarks estandarizados con un mecanismo para aprender flujos de trabajo tácitos y no escritos del comportamiento cotidiano, el sistema trasciende ser un "ejecutor sin estado" para convertirse en un "compañero de trabajo situado". El significado radica en el bucle bidireccional: el agente aprende del usuario, pero el usuario también cura la base de conocimientos del agente a través de un espacio de trabajo compartido, asegurando que la automatización permanezca alineada con las realidades organizacionales en evolución sin requerir documentación manual.