Resumo Técnico: UniPPTBench e UniPPTEval

1. Declaração do Problema

Avanços recentes em modelos generativos multimodais tornaram a geração automática de apresentações cada vez mais viável. No entanto, o campo atualmente carece de um quadro unificado para avaliar esses sistemas através das diversas configurações de entrada encontradas em cenários do mundo real. Pesquisas e benchmarks existentes isolam tipicamente regimes específicos de entrada — como geração apenas por instruções ou conversão de documento único para slides —, falhando em abordar o espectro de necessidades dos usuários, desde prompts vagos até síntese complexa de múltiplas fontes.

Além disso, as metodologias de avaliação atuais são insuficientemente específicas ao cenário. Elas dependem predominantemente de critérios genéricos de qualidade de apresentação (por exemplo, apelo visual, qualidade do layout e coerência geral). Essas métricas frequentemente falham em diagnosticar capacidades centrais exigidas por entradas específicas, como compressão fundamentada, alinhamento visual-textual e síntese de múltiplas fontes. Consequentemente, um sistema pode produzir um deck visualmente polido que, ainda assim, omite evidências-chave, distorce gráficos ou falha em reconciliar informações conflitantes de múltiplas fontes. O campo requer um benchmark unificado e um protocolo de avaliação consciente do cenário para diagnosticar fielmente sistemas de geração de apresentações através de diversos cenários do mundo real.

2. Metodologia

A. UniPPTBench: Um Benchmark Unificado

Os autores introduzem o UniPPTBench, um benchmark projetado para cobrir quatro configurações de entrada representativas organizadas por complexidade crescente de fundamentação:

1. Prompt Vago: Avalia o planejamento aberto sob intenção do usuário subespecificada, sem materiais de origem.
2. Documento Longo: Testa a compressão fiel à fonte e a seleção de conteúdo a partir de textos extensos (média de ~128 páginas).
3. Documento Multimodal: Enfatiza o alinhamento entre afirmações textuais e materiais visuais (figuras, gráficos, tabelas) dentro de um documento.
4. Múltiplas Fontes: Requer integração de evidências, remoção de redundância e síntese fiel através de múltiplos documentos heterogêneos (média de ~59 páginas de ~4,5 fontes).

O conjunto de dados compreende 126 tarefas em seis domínios de aplicação (por exemplo, Pesquisa, Negócios, Política), construídos a partir de fontes públicas autoritativas (SEC EDGAR, arXiv, ONU, etc.). O pipeline de construção envolve coleta de fontes, formulação de tarefas (emparelhamento de documentos com intenções realistas), anotação de metadados (identificação de pontos-chave e faixas de evidência) e controle rigoroso de qualidade.

B. UniPPTEval: Um Protocolo de Avaliação Consciente do Cenário

Para abordar as limitações das métricas genéricas, os autores propõem o UniPPTEval, que desacopla a avaliação em dois componentes:

1. Métricas Compartilhadas: Um conjunto compacto de métricas derivadas através de alinhamento humano, análise de ortogonalidade e seleção na fronteira eficiência-precisão. Estas incluem Cumprimento de Instruções, Engajamento, Precisão de Conteúdo, Consistência Visual e Integridade Visual. Elas permitem a comparação entre configurações da qualidade geral do deck.
2. Métricas Específicas do Cenário: Métricas adaptadas aos requisitos centrais de cada configuração de entrada, utilizando um paradigma de Avaliação Fundamentada na Fonte. Este paradigma emprega uma lógica de verificação de dois caminhos:
   • Verificação de Cobertura em Nível Macro: Verifica a extensão na qual os slides gerados cobrem uma lista de verificação de informações-chave derivada dos materiais de origem.
   • Busca de Factualidade em Nível Micro: Decompõe o conteúdo do slide em afirmações específicas e as verifica contra os materiais de origem para garantir a veracidade.

Métricas específicas incluem Cobertura de Pontos-Chave e Fidelidade de Conteúdo para Documento Longo; Utilização de Elementos Visuais, Alinhamento Figura-Afirmação e Fidelidade de Tradução de Gráficos para Multimodal; e Cobertura entre Documentos, Integração e Deduplicação de Redundância para Múltiplas Fontes.

C. UniPPTAgent: Uma Linha de Base Unificada

Os autores desenvolvem o UniPPTAgent, um framework de múltiplos agentes de código aberto projetado para suportar todas as quatro configurações de entrada dentro de um pipeline unificado. Diferentemente de sistemas anteriores adaptados a regimes únicos, o UniPPTAgent decompõe a geração em três agentes especializados:

1. Agente Narrativo: Normaliza entradas heterogêneas em uma base de conhecimento estruturada e gera esboços de slides e descrições de página através de um procedimento plano-esboço-fundamentado.
2. Agente de Estilo: Induz um contrato de estilo global em nível de documento (abrangendo tipografia, cores e layout) para garantir consistência entre páginas.
3. Agente de Design Visual: Traduz layouts em HTML resolvido em estilo e emprega um loop de feedback iterativo com um Modelo Visão-Linguagem (VLM) para detectar e corrigir defeitos perceptivos (por exemplo, texto cortado, sobreposições).

3. Resultados Principais

Experimentos no UniPPTBench usando o UniPPTEval revelam várias descobertas críticas:

• Variância de Desempenho: O desempenho do sistema varia substancialmente entre configurações de entrada. Um desempenho forte em métricas genéricas não implica necessariamente um forte cumprimento de tarefas em cenários fundamentados.
• Gargalo de Fundamentação: Sistemas atuais exibem uma lacuna significativa entre fluência visual e cumprimento real de tarefas. Em cenários multimodais, os sistemas frequentemente falham no alinhamento figura-afirmação ou na utilização eficaz de elementos visuais. Em tarefas de documento longo, a fidelidade de conteúdo é consistentemente menor que a cobertura, indicando distorções factuais em saídas comprimidas.
• Desafios de Síntese: A síntese entre fontes representa um desafio de ordem superior à simples extração de conteúdo. Os sistemas frequentemente lutam para organizar informações recuperadas em uma narrativa coerente e não redundante, apresentando frequentemente resumos isolados em vez de histórias unificadas.
• Fragmentação de Código Aberto: Embora sistemas de código aberto mostrem promessa, seu suporte para diversas configurações de entrada permanece fragmentado em comparação com sistemas proprietários, particularmente em cenários fundamentados e de múltiplas entradas.
• Validade da Avaliação: As métricas específicas do cenário propostas detectam com sucesso degradações específicas de capacidade (por exemplo, alucinações, fundamentação visual ausente) que métricas compartilhadas genéricas frequentemente ignoram. O protocolo de avaliação demonstra alta confiabilidade (baixo desvio padrão entre execuções) e robustez (alta correlação entre diferentes juízes LLM).

4. Significado e Contribuições

O artigo afirma as seguintes contribuições:

1. UniPPTBench: O primeiro benchmark unificado cobrindo quatro configurações de entrada do mundo real representativas (prompt vago, documento longo, documento multimodal e múltiplas fontes), permitindo comparação sistemática entre fluxos de trabalho diversos.
2. UniPPTEval: Um protocolo de avaliação consciente do cenário que combina métricas compartilhadas de qualidade de apresentação com métricas específicas de configuração, deslocando o foco da percepção visual para o rastreamento rigoroso de evidências.
3. UniPPTAgent: Uma linha de base de referência transparente e de código aberto que suporta todas as quatro configurações de entrada, fornecendo um ponto de comparação reproduzível para pesquisas futuras.
4. Insights Diagnósticos: Experimentos extensivos revelando limitações persistentes em sistemas atuais quanto à compressão fundamentada, alinhamento multimodal, integração entre fontes e síntese fiel.

Os autores concluem que a geração de apresentações não deve ser estudada como uma tarefa homogênea única, mas como um problema unificado com demandas de capacidade dependentes da configuração. O quadro proposto fornece uma base fiel e diagnóstica para avaliar e avançar sistemas de geração de apresentações em diversos cenários do mundo real. Código e dados estão destinados a serem lançados publicamente.