Video-Based Reward Modeling for Computer-Use Agents

1. O Problema

Os Agentes de Uso de Computador (CUAs - Computer-Use Agents) estão se tornando cada vez mais capazes de executar tarefas complexas em interfaces reais (desktops, navegadores, mobile). No entanto, avaliar se um agente realmente cumpriu uma instrução do usuário continua sendo um grande desafio.

• Limitações das Avaliações Atuais: Os benchmarks existentes dependem frequentemente de scripts manuais ou regras específicas para cada tarefa, o que limita a escalabilidade e a transferência para novos ambientes.
• Dependência de Rastreamento Interno: Muitos métodos de recompensa dependem do raciocínio interno do agente (pensamentos, chamadas de ferramentas, código), o que os torna específicos de cada arquitetura de agente e não generalizáveis.
• Desafios Específicos de Vídeo: Avaliar com base apenas no vídeo de execução (uma sequência de keyframes da interface) enfrenta dois obstáculos principais:
  1. Redundância: Grandes áreas da interface (barras de ferramentas, fundos) permanecem estáticas, enquanto os sinais de sucesso/falha são sutis e localizados (ex: mudança de foco do cursor, pequeno edit de texto).
  2. Escassez de Supervisão Negativa: Conjuntos de dados públicos são dominados por trajetórias de sucesso. Falhas raramente vêm com anotações detalhadas sobre quando e por que o agente divergiu da tarefa.

2. Metodologia

Os autores propõem uma abordagem baseada em vídeo que é independente do método interno do agente (method-agnostic). A metodologia é dividida em três componentes principais:

A. Dataset: ExeVR-53k

Foi criado um novo corpus de treinamento chamado ExeVR-53k, contendo 53.000 tripletos de alta qualidade (Instrução do Usuário – Vídeo de Execução – Recompensa).

• Fontes: Dados unificados de AgentNet, ScaleCUA e OSWorld, cobrindo Windows, macOS, Ubuntu e Android.
• Representação: As trajetórias são convertidas em vídeos compactos (1 FPS) extraídos de keyframes representativos de cada passo de interação.

B. Geração de Dados Negativos: Tradução Adversarial de Instruções

Para resolver a falta de exemplos de falha, os autores introduzem uma técnica de síntese de dados:

• Um modelo de linguagem visual (VLM) recebe uma trajetória válida e gera uma instrução adversária: uma tarefa que é plausível no contexto da interface, mas que não corresponde à trajetória demonstrada.
• O modelo também gera uma justificativa e identifica o passo exato onde a incompatibilidade se torna evidente. Isso cria "negativos difíceis" (hard negatives) com anotações de nível de passo para o aprendizado da recompensa.

C. Eficiência: Poda de Tokens Espaço-Temporal (STP + TTP)

Para permitir o treinamento com vídeos de alta resolução e longo horizonte sem exaurir a memória, foi projetado um mecanismo de poda de tokens:

• Poda Espacial (STP): Remove regiões visualmente homogêneas e redundantes dentro de cada quadro (ex: fundos estáticos, barras laterais), preservando elementos de UI locais e decisivos.
• Poda Temporal (TTP): Remove tokens que permanecem inalterados entre quadros consecutivos. O modelo foca apenas nas transições de estado significativas (ex: menus abrindo, texto sendo digitado).
• Resultado: A combinação permite processar vídeos em 720p mantendo o custo computacional viável.

D. Modelo: ExeVRM

Um Modelo de Recompensa de Vídeo de Execução (Execution Video Reward Model) foi fine-tuned (ajustado) a partir do Qwen3-VL. O modelo recebe apenas a instrução do usuário e a sequência de vídeo de execução para prever o sucesso da tarefa e localizar o primeiro erro.

3. Principais Contribuições

1. ExeVR-53k: O maior conjunto de dados de recompensa baseado em vídeo para agentes de computador, com cobertura multiplataforma e diversidade de agentes.
2. Tradução Adversarial: Uma nova técnica escalável para gerar pares instrução-trajetória incompatíveis com anotações temporais precisas, superando a escassez de dados de falha.
3. Poda Espaço-Temporal: Um método eficiente que preserva evidências visuais sutis e decisivas enquanto reduz drasticamente a redundância em vídeos de GUI.
4. Modelo ExeVRM: Um avaliador universal que não depende de logs internos do agente, funcionando apenas com a observação visual da execução.

4. Resultados

O modelo ExeVRM 8B foi avaliado no ExeVR-Bench (um conjunto de teste separado com 789 instâncias):

• Desempenho Geral: Alcançou 84,7% de precisão e 87,7% de recall, superando modelos proprietários fortes como o GPT-5.2 (75,0% / 66,5%) e Gemini 3 Pro (75,1% / 76,7%).
• Atribuição Temporal: O modelo demonstrou uma capacidade superior de localizar o intervalo de tempo exato onde o erro ocorreu (medido por tIoU - temporal Intersection over Union), superando todas as baselines (open-source e proprietárias).
• Impacto da Resolução: O uso de entrada em 720p com poda de tokens resultou em ganhos significativos de recall (+7,2 pontos no modelo 8B) em comparação com 360p, provando que detalhes finos da interface são cruciais para a avaliação.
• Eficiência: A combinação de STP e TTP reduziu o uso de memória de pico e o tempo de treinamento, permitindo o processamento de trajetórias longas em GPUs A100 sem out-of-memory.

5. Significado e Conclusão

Este trabalho estabelece um novo paradigma para a avaliação de agentes de computador:

• Escalabilidade: Ao depender apenas do vídeo de execução, o método é agnóstico à arquitetura do agente, permitindo avaliar qualquer CUA (seja baseado em código, raciocínio ou outras técnicas) de forma unificada.
• Precisão Diagnóstica: A capacidade de identificar não apenas se a tarefa falhou, mas quando e onde no vídeo a falha ocorreu, é vital para o debugging e melhoria de agentes.
• Viabilidade Técnica: Demonstra que é possível treinar modelos de recompensa robustos em vídeos de alta resolução e longo horizonte através de técnicas de poda inteligente, superando as limitações de custo computacional.

Em resumo, o ExeVRM oferece um avaliador escalável, preciso e independente do método, que supera os modelos de ponta atuais na tarefa crítica de julgar o sucesso de agentes de automação de computadores.