Resumo Técnico: Benchmarking de Agentes de GUI Nativos de Tela Viva em Plataformas de Vídeos Curtos

1. Definição do Problema

Os atuais agentes de Interface Gráfica do Usuário (GUI) operam sob uma premissa estática: a tela permanece congelada entre duas ações, e o mundo só evolui quando o agente age. Esse paradigma falha em capturar interfaces do mundo real, particularmente plataformas de vídeos curtos, onde o conteúdo é reproduzido autonomamente em tempo contínuo. Nesses ambientes, um usuário competente deve decidir ativamente o que assistir, por quanto tempo assistir e quando parar, equilibrando a aquisição de informação contra os custos de tempo.

Benchmarks existentes tratam o vídeo ou como uma entrada passiva (Video QA) ou tratam a GUI como uma sequência de capturas de tela estáticas (agentes de GUI padrão), perdendo o quadrante da "tela viva", onde o ambiente evolui independentemente enquanto o agente seleciona proativamente a granularidade da observação. Os autores formalizam essa lacuna como Agentes de GUI Nativos de Tela Viva, definidos como agentes que operam em telas que evoluem em tempo contínuo e que determinam ativamente quais fatias visuais dessa evolução devem ser observadas.

2. Metodologia: O BENCHMARK LIVINGSCREEN

Para instanciar e avaliar este cenário, os autores introduzem o LIVINGSCREEN, o primeiro benchmark para agentes nativos de tela viva em plataformas de vídeos curtos.

2.1 Construção do Ambiente

• Plataforma: Uma réplica de alta fidelidade, baseada em navegador, de uma aplicação moderna de vídeos curtos (modelada após plataformas chinesas), construída usando Playwright.
• Interação: Os agentes interagem via uma API de ação de baixo nível (cliques de coordenadas de pixel, deslizes, digitação) e observam exclusivamente através de capturas de tela renderizadas ou gravações de tela, sem acesso ao DOM subjacente ou arquivos de vídeo.
• Conteúdo: O corpus consiste em vídeos curtos reais de conjuntos de dados públicos, aumentados com metadados (títulos, hashtags, comentários) e uma pequena fração (<1%) de vídeos sintetizados para riscos de segurança de cauda longa.
• Geração de Feed: Os feeds são construídos agrupando vídeos por palavras-chave e misturando-os com distratores aleatórios para simular um fluxo de recomendação realista.

2.2 Taxonomia de Tarefas

O benchmark compreende 499 tarefas em 1.528 vídeos únicos, organizadas em uma hierarquia de três níveis:

1. L1 (Ação Atômica de GUI): Testa primitivas elementares como curtir, colecionar, comentar, denunciar e navegar (deslizar/buscar).
2. L2 (Compreensão de Fontes Cruzadas): Requer a integração de evidências entre vídeos, comentários e pistas da UI. As sub-tarefas incluem associação contextual, comparação de eventos, análise de características, agregação espaço-temporal e avaliação robusta (lidando com perguntas sem resposta).
3. L3 (Aplicação de Ciclo Fechado): Exige um ciclo completo de percepção, raciocínio e ação para alcançar resultados graduados pelo ambiente. Exemplos incluem verificação de fatos de eventos contestados, moderação de conteúdo (detecção de violação de políticas) e simulação de preferência.

2.3 Métricas de Avaliação

O benchmark pontua os agentes em duas dimensões:

• Acurácia: Medida pela Taxa de Sucesso (SR - Success Rate), determinada comparando o estado final do ambiente com a verdade fundamental (ex: vídeos específicos curtidos/denunciados) ou correspondência de opções.
• Eficiência:
  • Número de Passos (NS - Number of Steps): Média de chamadas de ferramenta por episódio (custo operacional).
  • Razão de Visualização (WR - Watch Ratio): A fração do tempo total do feed que foi efetivamente registrada pelo agente (custo de observação).
  • Objetivo: Alta SR com baixo NS e WR.

2.4 Formalização do Agente

Os autores propõem um POMDP Nativo de Tela Viva que modifica o Processo de Decisão de Markov padrão:

• Estado em Evolução Contínua ($\Delta_1$): O estado evolui autonomamente ($\Phi$) mesmo quando o agente está ocioso (ex: o cursor de reprodução avançando), distinguindo-se das transições de estado impulsionadas pelo agente nas POMDPs de GUI padrão.
• Observação Iniciada pelo Agente ($\Delta_2$): As observações não são amostras pontuais, mas são parametrizadas pela ação do agente. O agente decide a janela de tempo $W(a_k)$ para observar, escolhendo entre uma captura de tela única ou um clipe de vídeo de duração $\Delta t$.

3. Configuração Experimental

Os autores avaliaram um conjunto representativo de modelos de Linguagem de Grande Escala Multimodais (MLLMs) de fronteira, incluindo modelos de vídeo nativos (Gemini-3.5, série Doubao-Seed, Qwen-3.6, etc.) e modelos baseados em imagem (variantes de Claude, GPT-5). Todos os modelos foram encapsulados em uma arquitetura de agente unificada usando um formato de "pensar-então-chamar-ferramenta", com um comprimento máximo de episódio de 30 passos.

4. Resultados Principais

• Lacuna de Desempenho: Nenhum modelo avaliado se aproxima do desempenho humano no tradeoff entre custo e acurácia. Os melhores modelos alcançam Taxas de Sucesso (SR) significativamente menores que os humanos (ex: melhores modelos ~69% vs. Humano 94% no geral) enquanto frequentemente incorrem em maiores custos de observação.
• Paradigmas Divergentes: Os modelos exibem estratégias inconsistentes. Alguns favorecem alta exploração (alto NS, coleta de informações fragmentadas), enquanto outros favorecem observação pesada (alto WR, assistindo clipes longos).
• Modo de Falha Dominante: O principal modo de falha identificado é a Observação Excessiva e Insuficiente (Over- and Under-Observation):
  • Observação Insuficiente (Under-Observation): Agentes pulam vídeos ou olham brevemente demais para reunir evidências suficientes (afetando 39–61% das trajetórias).
  • Observação Excessiva (Over-Observation): Agentes assistem a vídeos irrelevantes ou continuam assistindo após obter a informação necessária (afetando 25–43% das trajetórias).
  • Coocorrência: 9–24% das trajetórias exibem ambos os erros simultaneamente.
• Comparação Humana: Os humanos empregam uma estratégia de "forrageamento de informação", gastando uma pequena quantidade de atenção para "dar uma olhada" nos vídeos (52% das observações) para filtrar a relevância antes de se comprometer com o consumo profundo. Os modelos atuais carecem desse passo de exploração barata, levando a uma alocação de atenção ineficiente.

5. Análise do Controle de Observação

Os autores investigaram se essas falhas se devemiam a uma falta de consciência (prompting) ou déficits de capacidade.

• Experimentos de Prompting: Variantes instruindo os agentes a adotar estratégias de "Assistir Menos", "Assistir Mais" ou "Imitar Humanos" mudaram com sucesso a Razão de Visualização (WR), mas falharam em melhorar a Taxa de Sucesso (SR).
• Conclusão: A observação excessiva e insuficiente não são meramente falhas de consciência resolvíveis por prompting; elas representam uma verdadeira lacuna de capacidade nos MLLMs atuais em relação ao controle de observação.

6. Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Formalização: Identifica e formaliza o cenário de "Tela Nativa de Vida", distinguindo-o de tarefas de GUI estática e de Video QA passivo.
2. Lançamento de Benchmark: Introduz o LIVINGSCREEN, fornecendo o primeiro ambiente fiel, conjunto de tarefas e métricas de eficiência para este cenário.
3. Identificação de Lacuna de Capacidade: Revela o controle de observação (especificamente o gerenciamento de observação excessiva e insuficiente) como um eixo crítico e anteriormente subestudado para pesquisas futuras de agentes de GUI.

Os autores posicionam o LIVINGSCREEN como um degrau para agentes capazes de habitar interfaces verdadeiramente vivas, enfatizando que o progresso futuro exige que os modelos dominem não apenas o que clicar, mas como e por quanto tempo observar.

7. Limitações

Os autores reconhecem que o benchmark é uma réplica de navegador controlada, carecendo de mecanismos de recomendação ao vivo ou efeitos de grafo social. Os dados são exclusivamente em chinês, e a escala (499 tarefas) é intermediária, refletindo o alto custo de anotação exigido para tarefas dinâmicas e de múltiplos passos. Considerações éticas relativas ao potencial de duplo uso de agentes autônomos para desinformação ou evasão são observadas, recomendando supervisão humana para implantação no mundo real.