Resumo Técnico: Modelos de Mundo Visual Generativo para Dispositivos Móveis

Declaração do Problema

Os Modelos de Mundo (WMs) para Interfaces Gráficas de Usuário (GUI) em dispositivos móveis visam prever estados futuros da interface para aprimorar o desempenho do agente durante o treinamento e a inferência. As abordagens atuais enfrentam um compromisso crítico:

1. WMs baseados em texto: Sacrificam a fidelidade visual ao abstrair o espaço de pixels em texto, perdendo o layout espacial crítico e atributos visuais (por exemplo, iconografia, tipografia).
2. WMs visuais (baseados em pixels): Têm dificuldade com a renderização precisa de texto e dinâmicas discretas de GUI. Os WMs visuais existentes (por exemplo, VIMO) dependem de pipelines complexos e multiestágio envolvendo OCR externo, mascaramento de texto, modelos de difusão e LLMs de pesos fechados para preenchimento de texto. Isso resulta em sobrecarga computacional significativa, latência e baixa reprodutibilidade devido aos pesos fechados.

Além disso, os benchmarks existentes frequentemente simplificam o problema convertendo ações em texto ou testando apenas cenários dentro da distribuição, falhando em avaliar a generalização zero-shot ou espaços de ação visuais nativos.

Metodologia

Os autores propõem o gWorld, um paradigma inovador para modelagem de mundo de GUI móvel visual via geração de código renderizável. Em vez de gerar pixels diretamente, o modelo prevê o próximo estado da GUI como código web executável (HTML/CSS) que é renderizado em pixels.

Arquitetura Central

• Modelo: O gWorld é construído sobre Modelos de Visão e Linguagem (VLMs) de pesos abertos, especificamente versões ajustadas finamente do Qwen3 VL (8B e 32B parâmetros).
• Representação: O modelo gera código web estruturado. Isso aproveita os priores linguísticos do VLM para renderização precisa de texto e seu pré-treinamento em código web estruturado para geração visual de alta fidelidade.
• Objetivo de Treinamento: O modelo é treinado para prever tanto uma trilha de raciocínio ($R_t$) quanto o próximo estado baseado em código ($S^{code}_{t+1}$), dado um estado atual da imagem ($S_t$) e uma ação ($A_t$).

Framework de Geração de Dados

Como não existem conjuntos de dados para modelagem de mundo de GUI baseada em código, os autores introduzem um framework para sintetizar dados de treinamento:

1. Reutilização de Trajetórias: Trajetórias de políticas de agentes móveis offline (de AitW, GUIOdyssey, AndroidControl, AMEX) são convertidas em tripletos de transição $(S_t, A_t, S_{t+1})$.
2. Reetiquetagem Cross-modal: A imagem do próximo estado ground-truth ($S^{image}_{t+1}$) é convertida em código web renderizável ($S^{code}_{t+1}$) usando um modelo de fronteira (Gemini 3 Flash) via um prompt de imagem-para-código.
3. Raciocínio de Antecipação: As trilhas de raciocínio ($R_t$) são sintetizadas usando o modelo de fronteira com acesso de "olhar à frente livre" ao próximo estado ground-truth. Isso decompõe o problema em prever mudanças de estado em linguagem natural primeiro e, em seguida, converter para código, garantindo o alinhamento entre o raciocínio e a saída final.

Benchmark: MWMBENCH

Os autores introduzem o MWMBENCH, um benchmark abrangente consistindo em 6 conjuntos de dados:

• Dentro da Distribuição (ID): 4 conjuntos de dados (AitW, GUIOdyssey, AndroidControl, AMEX).
• Fora da Distribuição (OOD): 2 novos conjuntos de dados:
  • AndroidWorld: Coleta automatizada a partir do benchmark AndroidWorld.
  • KApps: Trajetórias em língua coreana curadas manualmente, apresentando aplicativos coreanos populares (por exemplo, Baemin, KakaoTalk), testando generalização multilíngue e regional.
• Características Principais: O MWMBENCH avalia modelos no modo visual nativo (preservando coordenadas originais para ações) em vez de converter ações em texto, e inclui avaliação OOD para generalização zero-shot.

Contribuições Principais

1. Modelos gWorld: Os primeiros WMs visuais móveis de GUI de pesos abertos, únicos e autocontidos (8B e 32B) que operam via geração de código renderizável.
2. Pipeline de Geração de Dados: Um framework que sintetiza automaticamente dados de treinamento em grande escala e baseados em código com trilhas de raciocínio a partir de trajetórias de políticas existentes.
3. MWMBENCH: Uma nova suite de benchmarks que permite a avaliação sistemática da modelagem de mundo visual em configurações dentro e fora da distribuição com espaços de ação visuais nativos.
4. Validação Empírica: Demonstração de que a modelagem baseada em código supera a geração baseada em pixels e a abstração baseada em texto, estabelecendo uma nova fronteira de Pareto em precisão versus tamanho do modelo.

Resultados

Avaliações extensas em 6 benchmarks (4 ID, 2 OOD) mostram:

• Desempenho: O gWorld 8B e 32B alcançam a melhor e a segunda melhor Precisão de Instrução (IAcc.) em todos os benchmarks. Eles superam 8 modelos de fronteira de pesos abertos (incluindo Llama 4 402B e Qwen3 VL 235B) que são até 50,25× maiores.
• Fronteira de Pareto: O gWorld estabelece uma nova fronteira de Pareto, alcançando maior precisão com significativamente menos parâmetros do que os modelos state-of-the-art existentes.
• Robustez: Os modelos demonstram forte generalização em benchmarks OOD (AndroidWorld e KApps), com desempenho não degradando significativamente em comparação com configurações ID.
• Fidelidade de Renderização: A abordagem baseada em código elimina virtualmente erros estruturais, com taxas de Falha de Renderização abaixo de 1% (em comparação com >30% para algumas baselines).
• Leis de Escala: O desempenho segue uma lei de potência previsível com o tamanho do conjunto de dados (37K a 240K amostras), sugerindo que ganhos adicionais são possíveis com mais dados.
• Impacto a jusante: A integração do gWorld em um agente de política (M3A) via expansão de largura e estimativa de valor produz ganhos significativos de desempenho (por exemplo, +22,4% de melhoria média de precisão sobre a baseline) em comparação com o uso da política sozinha ou uma função de valor sem um modelo de mundo.
• Eficiência: O gWorld é substancialmente mais rápido do que WMs baseados em pixels anteriores (por exemplo, VIMO). A latência de ponta a ponta é de 0,55s (8B) e 1,30s (32B), em comparação com os 160s reportados pelo VIMO.

Significado e Alegações

O artigo afirma que a modelagem de mundo baseada em código renderizável oferece uma base prática para agentes de GUI móveis escaláveis e eficientes. Ao mudar a representação de pixels para código, o gWorld preserva a estrutura da GUI e a fidelidade do texto, evitando a complexidade e a latência de pipelines baseados em pixels multiestágio.

Os autores enfatizam que:

• Esta abordagem resolve o compromisso entre fidelidade visual e precisão de texto.
• Permite a criação de modelos de mundo de pesos abertos e reprodutíveis que superam alternativas muito maiores de pesos fechados ou baseadas em pixels.
• O método é altamente eficiente, tornando a modelagem de mundo em tempo real viável para agentes móveis.
• Os benchmarks introduzidos e o framework de geração de dados fornecem uma infraestrutura necessária para pesquisas futuras na modelagem de mundo de GUI móvel.

O artigo permanece modesto quanto às limitações, observando que conteúdo fotorrealista (por exemplo, imagens naturais complexas em players de vídeo) é difícil de reconstruir com alta fidelidade via código web, embora isso não impacte significativamente a utilidade semântica para a maioria das tarefas de GUI. Sugere-se trabalho futuro para incorporar memória de trabalho explícita para dependências de longo horizonte.