Resumo Técnico: Video2GUI

Declaração do Problema

O desenvolvimento de agentes de Interface Gráfica do Usuário (GUI) generalizados está atualmente limitado pela escassez de dados de treinamento em grande escala e diversificados. As abordagens existentes dependem fortemente de trajetórias de interação anotadas manualmente ou de ambientes simulados, que são custosas de produzir e sofrem de escalabilidade limitada. Consequentemente, agentes treinados nesses conjuntos de dados restritos lutam para generalizar para interfaces não vistas, aplicações e tarefas do mundo real. Embora a internet contenha um vasto repositório de vídeos tutoriais de GUI não rotulados, aproveitar efetivamente esses dados é desafiador devido à dificuldade de filtrar conteúdo instrucional de alta qualidade e à complexidade de extrair trajetórias de ação estruturadas e espacialmente fundamentadas a partir de vídeos brutos sem anotações explícitas.

Metodologia

Para abordar esses desafios, os autores propõem o Video2GUI, um framework totalmente automatizado projetado para sintetizar trajetórias de interação em grande escala a partir de vídeos da internet não rotulados. O pipeline opera através de três estágios progressivos:

1. Filtragem de Vídeo de Grosso para Fino:

   • Filtragem Grossa (Metadados): Começando com 500 milhões de entradas de metadados de vídeo (títulos, descrições, palavras-chave), o sistema emprega um classificador leve (Qwen2.5-7B ajustado finamente) para filtrar vídeos não relacionados a operações de GUI. Isso reduz o conjunto de candidatos para aproximadamente 20 milhões de vídeos, evitando o custo computacional de processar conteúdo irrelevante.
   • Filtragem Fina (Pontuação Visual): Um modelo de pontuação visual (Qwen2.5-Omni ajustado finamente) avalia o conteúdo do primeiro minuto de cada vídeo candidato em três dimensões: Relevância do Tópico (foco no ensino de operações de GUI), Clareza Instrucional (coerência da narração) e Qualidade de Gravação (fidelidade visual). Este estágio retém apenas 4,16 milhões de vídeos de alta qualidade (~300.000 horas).

2. Extração de Trajetória:

   • Usando uma estratégia de janela deslizante com memória de contexto histórico, o framework emprega um modelo poderoso de visão e linguagem (Gemini-3-Pro) para converter segmentos de vídeo em pares estruturados de instrução-trajetória.
   • O modelo extrai instruções de tarefa, carimbos de tempo de ação, detalhes da ação e o raciocínio por trás de cada ação. Ele gera uma sequência de etapas onde cada ação está associada a um carimbo de tempo preciso e a uma descrição textual de baixo nível.

3. Fundamentação Espacial da Ação:

   • Para superar as limitações de resolução de quadros de vídeo comprimidos, o sistema recupera capturas de tela de alta resolução (um triplet de quadros em $t-0.5s$, $t$ e $t+0.5s$) para cada carimbo de tempo de ação extraído.
   • O Gemini-3-Pro é usado para mapear as instruções de baixo nível para coordenadas de tela precisas (caixas delimitadoras ou pontos), efetivamente fundamentando as ações na IU. Essa abordagem de múltiplos quadros mitiga problemas causados por mudanças visuais rápidas em interações de GUI.

Estratégia de Treinamento:
Os autores utilizam o conjunto de dados resultante, WildGUI, para um processo de treinamento de agente em duas etapas:

• Etapa 1 (Pré-treinamento Contínuo): Modelos (Qwen2.5-VL e Mimo-VL) são pré-treinados no WildGUI usando um objetivo misto de fundamentação de GUI, previsão de ação e modelagem de trajetória.
• Etapa 2 (Pós-treinamento): Os modelos pré-treinados são ajustados finamente em conjuntos de dados de código aberto curados e de alta qualidade para refinar o desempenho em tarefas específicas de domínio.

Contribuições Principais

• Framework Video2GUI: Um pipeline escalável e totalmente automatizado que extrai trajetórias de interação de GUI fundamentadas de bilhões de vídeos da internet não rotulados, eliminando a dependência de anotação manual.
• Conjunto de Dados WildGUI: A construção de um conjunto de dados de pré-treinamento em grande escala e diversificado contendo 12,7 milhões de trajetórias de interação e 124,5 milhões de capturas de tela. Abrange mais de 1.500 aplicativos e sites em plataformas desktop, móvel e web.
• Ganhos de Desempenho: Experimentos extensivos demonstram que o pré-treinamento no WildGUI produz melhorias consistentes (5–20%) em vários benchmarks de fundamentação de GUI e agentes, permitindo que modelos correspondam ou superem o desempenho mais avançado, apesar de terem contagens de parâmetros menores.
• Lançamento Aberto: Os autores comprometem-se a liberar tanto o conjunto de dados WildGUI quanto o pipeline Video2GUI para facilitar pesquisas futuras no treinamento escalável de agentes de GUI.

Resultados Experimentais

Os autores avaliaram a abordagem usando os backbones Qwen2.5-VL e Mimo-VL em vários benchmarks:

• Fundamentação de GUI: Em ScreenSpot-Pro e OSWorld-G, modelos pré-treinados no WildGUI mostraram ganhos significativos. Por exemplo, o Mimo-VL-7B alcançou uma pontuação média de última geração de 67,6 no OSWorld-G, superando modelos maiores como Qwen3-VL-32B (60,6) e Seed1.5-VL (62,9).
• Avaliação de Agente Offline: Em AndroidControl e CAGUI, os modelos demonstraram capacidades aprimoradas de planejamento e execução. O Mimo-VL-7B alcançou uma taxa de sucesso por etapa de 71,4 no AndroidControl-High, uma melhoria substancial sobre seu modelo base.
• Avaliação de Agente Online: Em ambientes dinâmicos (OSWorld e AndroidWorld), o pipeline de treinamento completo (Etapa 1 + Etapa 2) quase dobrou a taxa de sucesso no AndroidWorld (31,9% vs. 16,4% para o modelo base), demonstrando forte generalização para tarefas abertas e do mundo real.
• Análise de Escala: Um estudo de escala revelou uma forte correlação positiva entre o volume de tokens de pré-treinamento (até 200 bilhões) e a precisão em tarefas de domínio, com o desempenho continuando a melhorar sem saturação evidente.

Significado e Alegações

O artigo afirma que o principal gargalo para agentes de GUI generalizados é a escassez e diversidade de dados, e não apenas a arquitetura do modelo. Ao demonstrar que vídeos da internet não rotulados podem ser efetivamente transformados em dados de treinamento estruturados e de alta qualidade, o Video2GUI oferece um caminho escalável para superar essa limitação.

Os autores afirmam que:

1. A Qualidade dos Dados é Paramount: As estratégias de filtragem de grosso para fino e extração impulsionada por VLM são críticas para garantir que os dados sintetizados sejam precisos e diversificados o suficiente para treinar agentes robustos.
2. Dados Offline Generalizam: O pré-treinamento em dados de vídeo offline fornece uma base crítica que permite que os agentes generalizem efetivamente para ambientes online e dinâmicos, mesmo que os dados de treinamento em si sejam estáticos.
3. Escalabilidade: O pipeline Video2GUI é capaz de processar dados em escala de internet, sugerindo que o campo pode avançar além das restrições de conjuntos de dados pequenos e curados manualmente em direção a um treinamento de agente verdadeiramente em grande escala e diversificado.

O trabalho conclui que escalar o treinamento com dados de vídeo offline diversificados é uma direção promissora e necessária para desenvolver agentes de GUI autônomos capazes e de propósito geral.