🤖 machine learning

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

Este artigo apresenta o PPT-Eval, um benchmark de 120 tarefas de PowerPoint projetado para avaliar agentes de uso de computador, apresentando um novo framework baseado em rubricas que captura o progresso parcial e se correlaciona fortemente com o julgamento humano para revelar que os modelos de fronteira atuais ainda têm dificuldades com a edição complexa de apresentações.

Autores originais: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Publicado 2026-07-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a usar o Microsoft PowerPoint. Você quer ver se o robô consegue realmente olhar para um slide, entender um pedido como "adicione um círculo azul aqui" e, então, clicar nos botões certos para fazer isso acontecer.

O artigo "PPT-EVAL" é essencialmente um teste gigante e complexo projetado para ver o quão bons esses robôs de "uso de computador" são ao realizar trabalhos reais de apresentação.

Aqui está a divisão do artigo usando analogias simples:

1. O Problema: O Robô vs. O Mundo Real

A maioria dos testes anteriores para robôs era como dar a eles um controle de videogame com um conjunto limitado de botões. O robô só podia fazer o que o jogo permitia (como "adicionar texto" ou "mudar cor" via um comando de código).

Mas no mundo real, os humanos não usam código; eles usam um mouse, um teclado e uma tela. Eles clicam em menus, arrastam formas e usam ferramentas de design que não possuem botões de código simples.

A Alegação do Artigo: Os testes existentes não verificavam se os robôs podiam realmente usar o mouse no PowerPoint. Eles apenas verificavam se os robôs podiam usar um "código de trapaça" (API). O PPT-EVAL é o primeiro teste que força o robô a usar a interface real do PowerPoint (a GUI) exatamente como um humano faria.

2. O Testo: A "Academia de PowerPoint"

Os pesquisadores construíram uma academia com 120 exercícios diferentes (tarefas) espalhados por 12 arquivos de PowerPoint distintos.

Os Arquivos: São como apresentações do mundo real que você encontraria em uma biblioteca — algumas são sobre medicina, outras sobre história, outras sobre contabilidade. Elas possuem gráficos, layouts estranhos e animações.
A Dificuldade: Os exercícios são classificados como um videogame:
- Fácil: "Mude a cor do fundo para azul." (Simples)
- Médio: "Adicione um novo membro da equipe à lista e mude a fonte dele." (Alguns passos)
- Difícil: "Reorganize este diagrama complexo, adicione uma nova seção e certifique-se de que a animação funcione corretamente." (Requer pensamento e muitos passos).

3. A Pontuação: A "Rubrica" (A Parte Mais Importante)

Esta é a maior inovação do artigo. No passado, os testes eram como um exame de Passou/Falhou. Se o robô acertasse 90% da resposta, mas errasse um detalhe minúsculo, ele recebia zero. Isso é injusto porque o robô tentou e fez a maior parte do trabalho.

Os pesquisadores criaram uma Rubrica (uma folha de avaliação detalhada), que é como um juiz de um show de talentos em vez de um professor rigoroso.

Crédito Parcial: Se o robô adicionar o círculo, mas colocá-lo no lugar errado, o juiz dá pontos por adicionar o círculo, mas deduz pontos pela posição.
Penalidades: Se o robô acidentalmente deletar um slide ou adicionar uma animação estranha que não foi solicitada, o juiz retira pontos.
O "Toque Humano": O sistema de pontuação usa IA para escrever uma explicação em linguagem natural, como: "Você conseguiu o círculo, mas ele está bloqueando o texto. Bom trabalho na cor, mas a posição precisa de ajustes."

O Resultado: Este sistema de "Juiz de Show de Talentos" estava 77% alinhado com a forma como humanos reais avaliariam o trabalho. Isso significa que o teste é justo e preciso.

4. Os Resultados: Os Robôs Ainda Estão Aprendendo

Os pesquisadores submeteram os robôs de IA mais inteligentes do mundo (como o Claude-4.5 e modelos da OpenAI) a este teste.

A Pontuação: Mesmo os melhores robôs conseguiram apenas cerca de 45% das tarefas de forma "perfeita".
A Média: Em média, eles obtiveram cerca de 57% dos pontos quando se conta o progresso parcial.
A Comparação: Um especialista humano, recebendo o mesmo teste, pontuaria em torno de 80%.
A Lacuna API vs. GUI: Curiosamente, quando os robôs tinham permissão para usar "códigos de trapaça" (APIs) em vez do mouse, eles se saíram muito melhor (62% de sucesso). Isso prova que, embora os robôs sejam inteligentes, eles ainda são desajeitados com um mouse e teclado em comparação com a forma como lidam com código.

Resumo

Pense no PPT-EVAL como um teste de direção para robôs.

Testes Antigos: Perguntavam ao robô: "Você consegue calcular a velocidade do carro?" (Código/API).
PPT-EVAL: Coloca o robô no banco do motorista, entrega a ele o volante e diz: "Dirija até a loja, estacione na vaga e não bata no meio-fio." (GUI/Mouse).

O artigo conclui que, embora nossos robôs atuais estejam melhorando, eles ainda lutam com as habilidades motoras finas e o raciocínio visual necessários para usar o PowerPoint como um humano. Ainda há um longo caminho a percorrer antes que eles possam assumir totalmente nossos trabalhos de apresentação.

Resumo Técnico: PPT-EVAL

Declaração do Problema

Criar e editar slides de apresentação é uma atividade profissional onipresente, mas permanece um domínio subexplorado para a avaliação de agentes de uso de computador. Benchmarks existentes ou carecem de profundidade em softwares de apresentação (ex: OSWORLD, WindowsAgentArena) ou são restritos a APIs programáticas (ex: PPTC) e geração de texto para slides (ex: SlidesBench). Essas limitações impedem que os agentes acessem o conjunto completo de funcionalidades das ferramentas de apresentação modernas, como ferramentas de design, gráficos avançados, transições e animações, que são tipicamente disponíveis apenas através de uma Interface Gráfica do Usuário (GUI). Além disso, as métricas de avaliação atuais frequentemente dependem de critérios binários de sucesso/falha, que não conseguem capturar a nuance do progresso parcial ou penalizar mudanças desnecessárias em tarefas complexas e abertas.

Metodologia

O Benchmark PPT-EVAL

Os autores introduzem o PPT-EVAL, um benchmark composto por 120 tarefas em 12 arquivos de PowerPoint extraídos do Internet Archive. As tarefas abrangem diversos domínos (Medicina, Ciência da Computação, Contabilidade, etc.) e são estratificadas em três níveis de dificuldade:

Fácil (Easy): Tarefas simples que exigem $\le$ 5 passos.
Médio (Medium): Tarefas compostas que exigem 5–10 passos.
Difícil (Hard): Tarefas complexas que exigem $\ge$ 10 passos ou raciocínio avançado.

O benchmark é projetado para interação baseada em GUI usando o PowerPoint Online. Os agentes operam dentro de um ambiente sandboxed Ubuntu usando um navegador Chromium, permitindo que interajam com toda a superfície de recursos do usuário final (mouse, teclado, rolagem), em vez de serem limitados a chamadas de API como python-pptx.

Estrutura de Avaliação: Rubricas Estruturadas em Árvore

Para abordar o desafio de avaliar tarefas multimodais e abertas com múltiplas soluções válidas, os autores projetaram um sistema de avaliação baseado em rubricas. Os componentes principais incluem:

Rubricas Estruturadas em Árvore: Cada tarefa é decomposta em uma hierarquia de critérios. Os nós são classificados como críticos (requisitos principais) ou não críticos (escolhas estilísticas, penalizando mudanças supérfluas).
Pontuação de Crédito Parcial: Diferente das métricas binárias, o sistema concede crédito parcial para progresso intermediário. A estratégia de agregação utiliza uma fórmula modificada:
$\bar{s}_{parent} = \max\left(0, \bar{s}_{crit} - \lambda(1 - \bar{s}_{non})\right)$
onde $\lambda = 0.3$ . Isso garante que falhas críticas impactem significativamente a pontuação, enquanto erros não críticos introduzem penalidades sem zerar o progresso significativo.
Verificação Multimodal: Os nós folha utilizam:
- Verificações programáticas (python-pptx, classe customizada PPTDiff) para mudanças estruturais, animações e transições.
- Chamadas de LLM/VLM para correção semântica e verificação visual (ex: correspondência de cores, alinhamento de layout) onde correspondências exatas de pixels são insuficientes.
Feedback em Linguagem Natural: O sistema agrega recursivamente as explicações dos nós filhos para gerar feedback legível por humanos para a pontuação final.

Configuração Experimental

Os autores avaliaram uma gama de agentes no PPT-EVAL:

Modelos de Fronteira Fechados: COMPUTER-USE-PREVIEW da OpenAI, CLAUDE-4-SONNET e CLAUDE-4.5-OPUS da Anthropic.
Modelos de Pesos Abertos: OPENCUA (7B, 32B) e QWEN3-VL (8B, 32B).
Baselines: Um baseline humano (5 participantes) e um baseline baseado em API usando CLAUDE-4.5-OPUS com a habilidade pptx.

Principais Resultados

Desempenho dos Agentes

Lacuna Significativa: Agentes de fronteira têm dificuldade com tarefas de PowerPoint. O modelo mais forte, CLAUDE-4.5-OPUS, alcançou uma taxa de sucesso de 45% (pontuação perfeita) e uma pontuação parcial média de 0.57.
Baseline Humano: Participantes humanos alcançaram uma taxa de sucesso de 80% e uma pontuação parcial média de 0.90, destacando um amplo espaço para melhoria nas capacidades dos agentes.
API vs. GUI: O baseline baseado em API (CLAUDE-4.5-OPUS via habilidade pptx) superou significativamente o melhor agente de GUI (62% de taxa de sucesso vs. 45%), demonstrando que os atuais agentes de GUI estão atrás dos modelos treinados em CLI/API em termos de maturidade, apesar de terem acesso a recursos mais ricos.
Dificuldade da Tarefa: O desempenho cai drasticamente com a dificuldade. O CLAUDE-4.5-OPUS caiu de 56% de sucesso em tarefas Fáceis para 35% em tarefas Difíceis.
Modos de Falha: A análise revelou que os agentes têm dificuldade com estruturas avançadas (tabelas, animações, layouts não padronizados) e frequentemente falham em manter a consistência entre os slides ou evitar modificações indesejadas.

Confiabilidade da Rubrica

A avaliação baseada em rubricas mostrou forte alinhamento com o julgamento humano:

Correlação: Kendall's $\tau_b$ de 0.77 e Spearman's $\rho$ de 0.84 entre as pontuações da rubrica e as categorias esperadas por humanos.
Granularidade: O sistema distinguiu efetivamente entre "Sem Progresso", "Algum Progresso", "Progresso Significativo" e "Conclusão Perfeita", embora tenham ocorrido alguns desacordos devido a julgamentos estéticos subjetivos ou alucinações de VLM.

Significância e Alegações

O artigo afirma que o PPT-EVAL preenche uma lacuna crítica na avaliação de agentes de uso de computador ao fornecer um benchmark realista de nível de GUI para edição de apresentações. Suas principais contribuições são:

Um Ambiente de Teste Realista: Ele vai além de tarefas limitadas a API para avaliar agentes em todo o conjunto de recursos do PowerPoint, incluindo transições, animações e ferramentas de design.
Avaliação Nuanceada: Ao introduzir rubricas estruturadas em árvore com crédito parcial e feedback em linguagem natural, ele supera as limitações das métricas binárias de sucesso, permitindo uma avaliação mais granular das capacidades dos agentes.
Benchmarking da Realidade: Os resultados demonstram que, embora os modelos de fronteira possam fazer progressos significativos, eles ainda estão consideravelmente atrás do desempenho humano e de agentes baseados em API em fluxos de trabalho de GUI complexos e iterativos.

Os autores concluem que há um "espaço significativo para progresso" nas capacidades realistas de uso de computador baseadas em GUI e que seu benchmark fornece um framework robusto para medir esse progresso além de simples métricas de passar/falhar.