Resumen Técnico: Interfaces de Observación Agente-Computadora (AOI)

1. Planteamiento del Problema

Los agentes actuales de Uso de Computadora (CU) operan en un bucle rígido de observar–razonar–actuar donde la observación está estrictamente ligada a la acción: el agente captura una única captura de pantalla estática cada 3–5 segundos, razona sobre ella y ejecuta una acción discreta (clic, escribir, desplazarse). Este diseño crea dos puntos ciegos críticos:

1. Ceguera Temporal: El agente está "ciego" entre instantáneas. No puede percibir videos, animaciones, notificaciones emergentes de auto-descarte o eventos de la interfaz de usuario transitorios que ocurren dentro del intervalo de 3–5 segundos.
2. Sordera de Audio: El agente no tiene un canal de audio. No puede escuchar discursos en reuniones, instrucciones habladas, timbres de notificación o avisos de voz.

Los benchmarks existentes (por ejemplo, OSWorld) se centran en interfaces estáticas, donde los agentes han logrado más del 50% de éxito. Sin embargo, el régimen "dinámico-y-audible" permanece en gran medida sin resolver. Reentrenar modelos para video es costoso y específico para cada modelo, mientras que las APIs multimodales nativas en tiempo real bloquean a los usuarios con proveedores específicos y carecen de percepción selectiva. El artículo argumenta que la interfaz de observación es un eje de diseño separable, análogo a las mejoras de la interfaz de acción vistas en SWE-agent, que ha sido pasado por alto.

2. Metodología: La Interfaz de Observación Agente-Computadora (AOI)

Los autores introducen AOI, una capa de percepción agnóstica al modelo insertada entre el entorno y cualquier modelo de CU basado en imágenes existente. AOI desacopla la observación continua y adaptativa de las acciones discretas. Convierte flujos continuos de pantalla y audio en las imágenes y textos dispersos que los modelos de CU estándar ya aceptan, sin requerir el reentrenamiento del modelo.

Arquitectura Central

AOI consta de tres componentes con compuerta (gate) diseñados para minimizar la sobrecarga en contenido estático:

1. Captura de Fotogramas Clave Inter-paso (Inter-Step Keyframe Capture):
   • Muestrea continuamente la pantalla a ~3 Hz.
   • Utiliza una compuerta rápida (verificación de diferencia de píxeles de sub-milisegundos) para omitir fotogramas redundantes.
   • Captura de 0 a 5 fotogramas clave por paso solo cuando ocurren cambios visuales significativos (por ejemplo, reproducción de video, transiciones de diapositivas).
   • Nota: El artículo encuentra que la selección semántica compleja (por ejemplo, basada en CLIP) es estadísticamente indistinguible de la compuerta simple por diferencia de píxeles; el valor reside en capturar cualquier cambio, no en el algoritmo de selección específico.
2. Observador de Audio con Compuerta de Volumen:
   • Monitorea la salida de audio del sistema (16 kHz mono).
   • Utiliza una compuerta de energía RMS para detectar el habla; si se detecta silencio, se omite por completo el proceso de ASR (Whisper large-v3) computacionalmente costoso.
   • Transcribe únicamente el contenido hablado, produciendo texto por paso.
3. Contexto de Narración Visual:
   • El propio modelo de CU genera una breve descripción textual de la nueva información visual como una salida lateral durante su llamada de inferencia estándar.
     im Esta narración persiste en la trayectoria como texto, incluso después de que las imágenes de los fotogramas clave correspondientes sean eliminadas de la ventana de contexto. Esto permite al agente acumular memoria visual a lo largo de tareas largas.

Registro de Observación

En cada paso, el modelo recibe un documento estructurado que contiene:

• Contexto: Texto de pasos previos (transcripciones de audio, narraciones visuales, acciones).
• Nuevas Observaciones: Transcripción de audio actual (si la hay), fotogramas clave capturados (si los hay) y la captura de pantalla estándar post-acción.
• Instrucciones de la Tarea.

En tareas estáticas y silenciosas, las compuertas permanecen cerradas y el sistema se reduce al bucle estándar con una sobrecarga insignificante.

3. Contribuciones Clave

1. Identificación de la Interfaz de Observación: El artículo establece la interfaz de observación (cuándo y cómo percibe el agente) como un eje de diseño distinto y separable, complementario a la interfaz de acción.
2. Sistema AOI: Una capa de percepción ligera y agnóstica al modelo que permite el uso de computadora dinámico (video, audio, eventos transitorios) para los modelos de CU existentes con cero reentrenamiento.
3. DynaCU-Bench: Un nuevo benchmark de 100 tareas de navegador dinámicas (más 50 controles estáticos) que abarcan 10 categorías (por ejemplo, Podcasts, Reuniones, Carruseles, Juegos) diseñadas específicamente para ser irresolubles mediante capturas de pantalla estáticas por sí solas.
4. Descomposición de Ganancias: El artículo proporciona un análisis detallado que muestra que:
   • La narración es el principal motor: El valor de los fotogramas clave surge solo cuando se narran en texto persistente.
   • La selección es intrascendente: La compuerta simple por diferencia de píxeles es tan efectiva como el filtrado semántico complejo.
   • Ajuste Específico del Modelo: La combinación óptima de componentes varía según el modelo; por ejemplo, los flujos de imágenes sin procesar pueden degradar el rendimiento en modelos más nuevos (por ejemplo, Gemini 3) debido a la dilución de tokens, mientras que las observaciones basadas en texto siguen siendo robustas.

4. Resultados

Evaluado en DynaCU-Bench a través de ocho modelos (que van desde 7B hasta escala de frontera, incluyendo Claude 4.6, GPT-5.4, Gemini 2.5/3 y modelos de código abierto como EvoCUA-32B):

• Ganancias de Rendimiento: AOI ofrece ganancias significativas y estadísticamente significativas en todos los modelos con cero reentrenamiento.
  • Claude 4.6: +44 puntos porcentuales (pp) (38% → 82%).
  • Gemini 2.5 Flash: +48 pp (21% → 69%).
  • GPT-5.4: +20 pp (37% → 57%).
  • EvoCUA-32B: +37 pp (18% → 55%).
  • Fara-7B: +17 pp (17% → 34%).
• Impacto por Tipo de Tarea:
  • Familias de Audio (Podcast, Reunión, Teléfono): Tareas que eran casi imposibles solo con capturas de pantalla ahora se resuelven en gran medida (por ejemplo, 100% de éxito en subconjuntos de audio para agentes AOI).
  • Familias Visual-Temporales (Carrusel, Transitorio): Mejoras consistentes ya que los agentes pueden rastrear contenido en movimiento.
  • Juegos: Se observa una regresión. Debido a que los juegos están limitados por la latencia de acción, la sobrecarga de observación añadida empuja a los agentes más allá de sus ventanas de reacción.
• Eficiencia: A pesar de la sobrecarga de observación por paso, AOI reduce los costos de tokens entre un 15 y un 50% en modelos de la nube porque el contexto más rico conduce a menos pasos totales (una reducción de aproximadamente el 50%).
• Comparación con Baselines de Streaming: Al compararse con baselines multimodales de streaming (por ejemplo, Gemini Live, OpenAI Realtime), los agentes equipados con AOI superan significativamente a estos en tareas de uso de computadora con fundamentación (grounded). Los modelos de streaming a menudo fallan en la "fundamentación de la acción" (traducir la percepción al elemento correcto de la interfaz de usuario) incluso cuando perciben el contenido correctamente. AOI proporciona el andamiaje estructurado necesario (listas DOM, narraciones) para cerrar esa brecha.

5. Significado y Reivindicaciones

El artículo afirma que AOI redefine la percepción del uso de la computadora de tres maneras:

1. Desacoplamiento: La observación puede ser continua y adaptativa, independiente del bucle de acción discreta.
2. Narración sobre Píxeles Crudos: El valor de los datos visuales se maximiza cuando se convierten en una narración de texto persistente; los flujos de imágenes sin procesar son secundarios e incluso pueden ser perjudiciales si no se ajustan por modelo.
3. Configurabilidad: No existe una configuración de "talla única". Los componentes de la interfaz (fotogramas clave, audio, narración) deben seleccionarse y ajustarse por modelo para evitar problemas como la dilución de tokens de imagen.

Los autores concluyen que AOI convierte tareas dinámicas "casi imposibles" en tareas "mayormente resueltas", ofreciendo un camino para el uso de la computadora dinámico sin el costo prohibitivo de reentrenar modelos fundacionales. El trabajo se publica con el código de la capa de percepción y el benchmark DynaCU-Bench para facilitar la investigación futura sobre la separación de las ganancias de observación de las mejoras del lado del modelo.