Resumo Técnico: ReVision – Escalando Agentes de Uso de Computador via Redução de Redundância Visual Temporal

Declaração do Problema

Agentes de uso de computador (CUAs) dependem de modelos de linguagem grandes multimodais (MLLMs) para interagir com interfaces gráficas de usuário (GUIs) processando sequências de capturas de tela. Um gargalo crítico na escalabilidade desses agentes para tarefas de longo horizonte é o aumento rápido dos custos de tokens visuais. À medida que as trajetórias de interação crescem, o acréscimo de capturas de tela passadas ao contexto do modelo introduz centenas ou milhares de tokens visuais por imagem.

Os autores identificam que capturas de tela consecutivas de GUIs exibem redundância temporal substancial. Na maioria dos passos, apenas pequenas regiões da interface mudam (por exemplo, um clique em um botão ou atualização de texto), enquanto a maior parte da tela permanece estática. MLLMs padrão processam cada imagem independentemente, codificando repetidamente tokens visuais quase idênticos. Essa ineficiência esgota orçamentos de contexto, forçando os agentes a descartar informações históricas úteis ou limitando o comprimento das trajetórias que podem processar. Consequentemente, o desempenho frequentemente satura ou até mesmo degrada ao adicionar mais histórico, não porque a informação passada seja inútil, mas porque a representação de tokens é ineficiente.

Metodologia: ReVision

Para abordar isso, os autores introduzem o ReVision, um framework de treinamento consciente de redundância projetado para reduzir tokens visuais desnecessários enquanto preserva a estrutura espacial e as informações relevantes para a tarefa exigidas para o raciocínio. A abordagem consiste em dois componentes principais:

1. Seleção de Tokens ReVision (RTS)

No núcleo do framework está um seletor de patches aprendido e leve (um MLP de três camadas) treinado para identificar patches visuais redundantes entre capturas de tela consecutivas.

• Mecanismo: Para um passo de trajetória $t$, o módulo RTS compara as incorporações em nível de patch da captura de tela atual ($I_t$) com os patches correspondentes da captura de tela anterior ($I_{t-1}$).
• Supervisão de Treinamento: O modelo é treinado usando rótulos gerados pelo OmniParserV2, que segmenta capturas de tela em regiões semânticas. Patches são rotulados como redundantes se suas regiões correspondentes em imagens consecutivas tiverem alta Interseção sobre União (IoU), indicando conteúdo inalterado. Essa correspondência em nível de região é preferida à similaridade de pixels brutos para lidar com variações menores, como ruído de renderização ou movimento do cursor.
• Saída: O RTS produz uma máscara binária $m_t$ para cada passo, filtrando patches que são visualmente redundantes em relação ao quadro anterior.

2. Treinamento com Trajetórias Filtradas

Em vez de tratar a redução de tokens como um passo de pós-processamento, o ReVision integra o mecanismo de filtragem diretamente no pipeline de treinamento.

• Construção de Dados: O modelo é ajustado finamente em trajetórias do AgentNet, onde patches redundantes são removidos de todas as imagens na janela de histórico, exceto a primeira (que é mantida intacta para preservar o alinhamento espacial).
• Consistência na Inferência: Durante a inferência, a mesma filtragem RTS é aplicada. O modelo condiciona-se ao contexto textual completo (raciocínio e ações de passos anteriores), mas recebe um conjunto comprimido de tokens visuais $\{V'_1, \dots, V'_t\}$.
• Preservação Espacial: Crucialmente, o processo de filtragem preserva os índices posicionais originais dos tokens retidos. Isso garante que os mecanismos de atenção do modelo e os codificadores posicionais (por exemplo, m-ROPE) permaneçam válidos, permitindo que o modelo raciocine sobre o histórico visual compacto sem perder coerência espacial.

Contribuições Principais

O artigo delineia três contribuições principais:

1. Quantificação da Redundância: Os autores demonstram que uma fração significativa de tokens visuais em trajetórias de GUIs é redundante. Em vários benchmarks (OSWorld, AgentNetBench, WebTailBench, etc.), uma média de 45,4% dos patches permanece inalterada entre passos consecutivos, com alguns ambientes mostrando mais de 56% de redundância.
2. O Framework ReVision: Eles introduzem um método para treinar MLLMs em trajetórias onde patches redundantes são removidos dinamicamente. Isso permite que o modelo raciocine sobre históricos visuais compactos sem modificar a arquitetura subjacente, confiando em vez disso em evidências distribuídas temporalmente.
3. Reavaliação da Escalabilidade de Histórico: O trabalho desafia a observação de que o desempenho do histórico visual satura cedo. Os autores mostram que a saturação é uma consequência de representações de tokens ineficientes; quando a redundância é removida, o desempenho continua a melhorar à medida que mais observações passadas são incorporadas.

Resultados Experimentais

Os autores avaliaram o ReVision usando Qwen2.5-VL-7B em três benchmarks: OSWorld, WebTailBench e AgentNetBench.

• Eficiência de Tokens: Ao processar trajetórias com 5 capturas de tela de histórico, o ReVision reduz o uso de tokens em aproximadamente 46% em média, comparado a uma linha de base que retém todos os patches.
• Ganhos de Desempenho: Apesar da contagem reduzida de tokens, o ReVision melhora a taxa de sucesso em 3% sobre a linha de base "sem descarte". Em benchmarks específicos como WebTailBench, a melhoria atinge até 14 pontos percentuais.
• Comportamento de Escala:
  • Linha de Base: Modelos padrão mostram retornos decrescentes ou saturação de desempenho à medida que o comprimento do histórico aumenta (por exemplo, atingindo o pico em torno de 7 imagens) devido ao esgotamento do orçamento de contexto.
  • ReVision: Ao remover tokens redundantes, o ponto de saturação é adiado (até 11 imagens), permitindo que o modelo utilize históricos mais longos de forma eficaz dentro do mesmo orçamento computacional.
• Comprimento da Trajetória: Agentes ReVision resolvem tarefas com mais eficiência, exigindo menos passos de interação para completar tarefas. Por exemplo, no OSWorld, o comprimento médio da trajetória foi reduzido em 4 passos enquanto alcançava taxas de sucesso mais altas.
• Comparação com Outras Estratégias: O ReVision supera estratégias ingênuas de descarte de tokens (aleatório, espiral) e filtragem simples baseada em similaridade (similaridade de cosseno de pixels ou incorporação). Embora métodos baseados em região usando OmniParser no momento da inferência produzam desempenho ligeiramente superior, eles incorrem em latência proibitiva (>550ms). O ReVision alcança ganhos comparáveis com baixa latência (~22ms).
• Generalização: O método generaliza entre diferentes famílias de modelos (Qwen2.5-VL-7B e Qwen3-VL-8B) e não degrada o desempenho em configurações de imagem única, confirmando que a mudança na distribuição de treinamento não prejudica as capacidades de ancoragem padrão.

Significado e Alegações

O artigo postula que a principal barreira para escalar agentes de uso de computador não é a falta de informação histórica, mas a ineficiência das representações de tokens visuais. Ao modelar explicitamente e remover a redundância temporal, o ReVision desloca a fronteira de eficiência, permitindo que agentes processem trajetórias mais longas e informativas sem aumentar os custos computacionais.

Os autores concluem que a saturação comumente observada no desempenho do histórico visual é um artefato de restrições de orçamento de contexto, e não uma limitação da utilidade da informação. Ao liberar orçamento de contexto através da redução de redundância, os agentes podem incorporar históricos mais longos, levando a melhor raciocínio e tomada de decisão de longo horizonte. O trabalho sugere que a futura escalabilidade do raciocínio visual deve focar em preservar informações úteis dentro de orçamentos limitados, em vez de simplesmente acumular mais dados brutos.