Resumen Técnico: ReVision – Escalado de Agentes de Uso de Computadora mediante Reducción de Redundancia Visual Temporal

Enunciado del Problema

Los agentes de uso de computadora (CUA) dependen de modelos de lenguaje grandes multimodales (MLLM) para interactuar con interfaces gráficas de usuario (GUI) procesando secuencias de capturas de pantalla. Un cuello de botella crítico al escalar estos agentes hacia tareas de horizonte largo es el rápido aumento de los costos de tokens visuales. A medida que crecen las trayectorias de interacción, añadir capturas de pantalla pasadas al contexto del modelo introduce cientos o miles de tokens visuales por imagen.

Los autores identifican que las capturas de pantalla consecutivas de GUI exhiben una redundancia temporal sustancial. En la mayoría de los pasos, solo cambian pequeñas regiones de la interfaz (por ejemplo, un clic en un botón o una actualización de texto), mientras que la mayor parte de la pantalla permanece estática. Los MLLM estándar procesan cada imagen de forma independiente, codificando repetidamente tokens visuales casi idénticos. Esta ineficiencia agota los presupuestos de contexto, obligando a los agentes a descartar información histórica útil o limitando la longitud de las trayectorias que pueden procesar. En consecuencia, el rendimiento a menudo se satura o incluso se degrada al añadir más historia, no porque la información pasada sea inútil, sino porque la representación de tokens es ineficiente.

Metodología: ReVision

Para abordar esto, los autores introducen ReVision, un marco de entrenamiento consciente de la redundancia diseñado para reducir los tokens visuales innecesarios mientras preserva la estructura espacial y la información relevante para la tarea requerida para el razonamiento. El enfoque consta de dos componentes principales:

1. Selección de Tokens ReVision (RTS)

En el núcleo del marco se encuentra un selector de parches ligero y aprendido (un MLP de tres capas) entrenado para identificar parches visuales redundantes entre capturas de pantalla consecutivas.

• Mecanismo: Para un paso de trayectoria $t$, el módulo RTS compara las incrustaciones a nivel de parche de la captura de pantalla actual ($I_t$) con los parches correspondientes de la captura de pantalla anterior ($I_{t-1}$).
• Supervisión del Entrenamiento: El modelo se entrena utilizando etiquetas generadas por OmniParserV2, que segmenta las capturas de pantalla en regiones semánticas. Los parches se etiquetan como redundantes si sus regiones correspondientes en imágenes consecutivas tienen una alta Intersección sobre Unión (IoU), lo que indica contenido inalterado. Esta coincidencia a nivel de región se prefiere sobre la similitud de píxeles crudos para manejar variaciones menores como ruido de renderizado o movimiento del cursor.
• Salida: RTS produce una máscara binaria $m_t$ para cada paso, filtrando los parches que son visualmente redundantes en relación con el cuadro anterior.

2. Entrenamiento con Trayectorias Filtradas

En lugar de tratar la reducción de tokens como un paso de postprocesamiento, ReVision integra el mecanismo de filtrado directamente en la tubería de entrenamiento.

• Construcción de Datos: El modelo se ajusta finamente en trayectorias de AgentNet donde los parches redundantes se eliminan de todas las imágenes en la ventana de historia excepto la primera (que se mantiene intacta para preservar la alineación espacial).
• Consistencia en la Inferencia: Durante la inferencia, se aplica el mismo filtrado RTS. El modelo se condiciona en el contexto textual completo (razonamiento y acciones de pasos anteriores) pero recibe un conjunto comprimido de tokens visuales $\{V'_1, \dots, V'_t\}$.
• Preservación Espacial: Crucialmente, el proceso de filtrado preserva los índices posicionales originales de los tokens retenidos. Esto asegura que los mecanismos de atención del modelo y las codificaciones posicionales (por ejemplo, m-ROPE) sigan siendo válidos, permitiendo que el modelo razone sobre la historia visual compacta sin perder coherencia espacial.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Cuantificación de la Redundancia: Los autores demuestran que una fracción significativa de los tokens visuales en las trayectorias de GUI son redundantes. En múltiples puntos de referencia (OSWorld, AgentNetBench, WebTailBench, etc.), un promedio del 45.4% de los parches permanece inalterado entre pasos consecutivos, con algunos entornos mostrando más del 56% de redundancia.
2. El Marco ReVision: Introducen un método para entrenar MLLM en trayectorias donde los parches redundantes se eliminan dinámicamente. Esto permite que el modelo razone sobre historias visuales compactas sin modificar la arquitectura subyacente, confiando en cambio en evidencia distribuida temporalmente.
3. Reevaluación del Escalado de la Historia: El trabajo desafía la observación de que el rendimiento de la historia visual se satura temprano. Los autores muestran que la saturación es una consecuencia de representaciones de tokens ineficientes; cuando se elimina la redundancia, el rendimiento continúa mejorando a medida que se incorporan más observaciones pasadas.

Resultados Experimentales

Los autores evaluaron ReVision utilizando Qwen2.5-VL-7B en tres puntos de referencia: OSWorld, WebTailBench y AgentNetBench.

• Eficiencia de Tokens: Al procesar trayectorias con 5 capturas de pantalla de historia, ReVision reduce el uso de tokens en aproximadamente un 46% en promedio en comparación con una línea base que retiene todos los parches.
• Ganancias de Rendimiento: A pesar de la reducción en la cuenta de tokens, ReVision mejora la tasa de éxito en un 3% sobre la línea base "sin eliminación". En puntos de referencia específicos como WebTailBench, la mejora alcanza hasta 14 puntos porcentuales.
• Comportamiento de Escalado:
  • Línea Base: Los modelos estándar muestran rendimientos decrecientes o saturación de rendimiento a medida que aumenta la longitud de la historia (por ejemplo, alcanzando un pico alrededor de 7 imágenes) debido al agotamiento del presupuesto de contexto.
  • ReVision: Al eliminar tokens redundantes, el punto de saturación se retrasa (hasta 11 imágenes), permitiendo que el modelo utilice historias más largas de manera efectiva dentro del mismo presupuesto de computación.
• Longitud de la Trayectoria: Los agentes ReVision resuelven tareas de manera más eficiente, requiriendo menos pasos de interacción para completarlas. Por ejemplo, en OSWorld, la longitud promedio de la trayectoria se redujo en 4 pasos mientras se lograban tasas de éxito más altas.
• Comparación con Otras Estrategias: ReVision supera a estrategias ingenuas de eliminación de tokens (aleatoria, en espiral) y a filtrado simple basado en similitud (similitud de coseno de píxeles o incrustaciones). Si bien los métodos basados en regiones que utilizan OmniParser en tiempo de inferencia producen un rendimiento ligeramente superior, incurren en una latencia prohibitiva (>550 ms). ReVision logra ganancias comparables con baja latencia (~22 ms).
• Generalización: El método se generaliza entre diferentes familias de modelos (Qwen2.5-VL-7B y Qwen3-VL-8B) y no degrada el rendimiento en configuraciones de imagen única, confirmando que el cambio en la distribución de entrenamiento no daña las capacidades de anclaje estándar.

Significado y Afirmaciones

El artículo postula que la barrera principal para escalar agentes de uso de computadora no es la falta de información histórica, sino la ineficiencia de las representaciones de tokens visuales. Al modelar y eliminar explícitamente la redundancia temporal, ReVision desplaza la frontera de eficiencia, permitiendo a los agentes procesar trayectorias más largas e informativas sin aumentar los costos computacionales.

Los autores concluyen que la saturación comúnmente observada en el rendimiento de la historia visual es un artefacto de las restricciones del presupuesto de contexto en lugar de una limitación de la utilidad de la información. Al liberar el presupuesto de contexto mediante la reducción de redundancia, los agentes pueden incorporar historias más largas, lo que conduce a un mejor razonamiento y toma de decisiones de horizonte largo. El trabajo sugiere que el futuro escalado del razonamiento visual debe centrarse en preservar la información útil dentro de presupuestos limitados en lugar de simplemente acumular más datos crudos.