Resumo Técnico: Benchmarking de Inferência de Interação Visual UI2App

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs) tenham demonstrado uma competência crescente na geração de páginas web a partir de linguagem natural ou capturas de tela únicas, as abordagens existentes sofrem de limitações significativas. Os paradigmas baseados em texto dependem de prompts complexos que lutam para especificar precisamente layouts visuais detalhados e coerência visual entre páginas. Por outro lado, os paradigmas baseados em imagem (screenshot-to-code) têm se concentrado amplamente na fidelidade visual — medindo o quão próximo o output renderizado está de uma imagem de referência — negligenciando a inferência de interação.

Benchmarks atuais frequentemente produzem artefatos que são visualmente corretos, mas comportamentalmente inertes, como "fachadas congeladas". Eles falham em avaliar se a aplicação gerada pode recuperar comportamentos dinâmicos, gerenciamento de estado e interações entre páginas apenas a partir de evidências visuais estáticas. Existe uma lacuna crítica na medição da capacidade de um modelo de inferir a lógica de interação ausente (por exemplo, persistência de estado entre rotas, operações CRUD de dados) sem especificações explícitas baseadas em texto ou demonstração.

Metodologia

O Benchmark UI2App

Os autores introduzem o UI2App, o primeiro benchmark focado especificamente em inferência de interação: a capacidade de recuperar o comportamento de uma aplicação a partir de capturas de tela isoladas, sem qualquer orientação textual ou comportamental.

• Construção do Dataset: O benchmark compreende 327 capturas de tela organizadas em 45 conjuntos de capturas de tela coerentes de estado. Esses conjuntos representam aplicações web multirrota executáveis em quatro categorias: Conteúdo, Admin, Transação e Especialidade.
• Fonte: As capturas de tela foram curadas de projetos open-source do GitHub, filtradas por licenciamento permissivo, validade estrutural e capacidade de compilação (buildability).
• Definição da Tarefa: Os modelos recebem um conjunto de $M$ capturas de tela (4 a 14 por tarefa) capturando distintas rotas ou estados visuais. Nenhuma trilha de ação ou descrição de interação é fornecida. O modelo deve gerar código-fonte (React + TypeScript) para uma aplicação executável que reproduza as capturas de tela e seus comportamentos implícitos.

Protocolo de Avaliação

A avaliação é um pipeline end-to-end que pontua artefatos em quatro dimensões:

1. Executabilidade (EXEC): Mede se o código compila e renderiza.
   • EXEC@1: Taxa de sucesso em uma única tentativa (one-shot).
   • EXEC@3: Taxa de sucesso após até três rodadas de autodebugging usando feedback de erro de compilação.
2. Alcance de Navegação (NRS): A fração das rotas de captura de tela de entrada que são alcançáveis a partir da rota inicial via navegação visível na aplicação gerada.
3. Fidelidade Visual (VFS): Uma métrica de correspondência ao nível de bloco, sem necessidade de juiz humano, comparando o DOM renderizado com a referência. Ela faz a média de quatro sub-métricas: Tamanho, Texto, Posição e Cor.
4. Pontuação de Inferência de Interação (IIS): A contribuição central. O IIS quantifica quão bem um modelo infere e realiza interações implícitas na captura de tela.
   • Taxonomia: As interações são categorizadas em sete tipos (Toggle, Expand/Collapse, Operações de Lista, CRUD de Dados, Validação de Formulário, Notificação, Estado entre Rotas).
   • Escopo: As interações são ponderadas pela complexidade do gerenciamento de estado: S1 (estado de UI), S2 (estado de dados) e S3 (persistência entre rotas).
   • Pontuação: Diferente de benchmarks anteriores que comparam contra uma única trilha de referência, o IIS utiliza um protocolo baseado em rubrica. Ele avalia se a aplicação gerada realiza os critérios funcionais da interação (gatilho, transição de estado, resultado), acomodando implementações diversas, porém semanticamente equivalentes.

Principais Contribuições

1. Benchmark UI2App: Um dataset de 45 conjuntos de aplicações multirrota e coerentes de estado, projetados para testar a inferência de interação a partir de inputs apenas de imagem, indo além da reconstrução visual estática.
2. Pontuação de Inferência de Interação (IIS): Uma métrica inovadora fundamentada em uma taxonomia de interação e ponderação baseada em escopo. Ela avalia comportamentos inferidos com base na correção funcional e complexidade de gerenciamento de estado, em vez de corresponder a uma única trilha de execução de verdade fundamental (ground-truth).
3. Avaliação Abrangente: O artigo estabelece as primeiras linhas de base para a inferência de interação baseada apenas em imagem, avaliando seis VLMs de fronteira (incluindo Claude Sonnet 4.6, Gemini 3.1 Pro, GPT-5.4, Kimi K2.5, Qwen3.5 e GLM-4.6V) e uma escada de escala do Qwen2.5-VL.

Resultados Experimentais

A avaliação de seis modelos de fronteira revela um descompasso marcante entre a reconstrução visual e a realização da interação:

• Fidelidade Visual $\neq$ Inferência de Interação: O modelo que lidera em Fidelidade Visual (Gemini 3.1 Pro Preview, VFS=78.1) ocupa a quarta posição em IIS (7.5). Inversamente, o líder de IIS (Claude Sonnet 4.6, IIS=39.3) ocupa a segunda posição em VFS (75.7). O líder de IIS está 5.2× à frente do líder de VFS em inferência de interação.
• Gargalo de Estado entre Rotas: O desafio mais significativo é o S3 (persistência de estado entre rotas). Três dos seis modelos pontuaram exatamente zero nesta dimensão. Mesmo o melhor modelo (Claude) alcançou apenas 21.6/100 nas interações S3.
• Aplicações Admin: Aplicações do tipo Admin provaram ser um gargalo consistente, gerando o menor IIS médio (9.4) entre todos os modelos.
• Comportamento de Escala: Dentro da família Qwen2.5-VL, observou-se uma "transição de fase" entre 32B e 72B parâmetros, onde a executabilidade e a fidelidade visual saltaram bruscamente. No entanto, o escalonamento de parâmetros sozinho não saturou o requisito de inferência de interação.
• Modos de Falha: A análise mostrou que, embora alguns modelos (ex: GPT-5.4) tenham melhorado significamente via autodebugging para erros de compilação, isso não se traduziu em melhor inferência de interação. As falhas na interação frequentemente derivavam de containers de estado ausentes (ex: CartContext) ou código morto, onde elementos de UI eram renderizados, mas os handlers não estavam conectados.

Significância e Alegações

O artigo afirma que inferir o comportamento completo de interação a partir de capturas de tela estáticas continua sendo um desafio de fronteira crucial para modelos de linguagem-visão.

• Desacoplamento de Capacidades: Os resultados demonstram que a fidelidade visual é um pobre indicador da realização da interação. Um modelo pode produzir uma réplica pixel-perfeita que é funcionalmente inerte.
• Além do Seguimento de Especificação: Ao contrário de benchmarks onde a interação é explicitamente especificada via texto ou vídeo, o UI2App exige que o modelo realize a inferência de interação — recuperando o comportamento ausente a partir de pistas visuais puras. Isso representa uma mudança de "seguimento de especificação" para "inferência de affordance latente".
• Direção Futura: Os autores postulam que o UI2App fornece um testbed necessário para impulsionar os modelos em direção a capacidades de inferência mais fortes, abordando especificamente a lacuna na persistência de estado entre rotas e o gerenciamento de estado complexo, nos quais os modelos atuais falham.

O artigo conclui que, embora os modelos tenham avançado na geração de código, a capacidade de sintetizar aplicações interativas executáveis a partir de evidências visuais estáticas, sem orientação comportamental explícita, ainda não foi resolvida, sendo o gerenciamento de estado entre rotas o gargalo mais pervasivo.