Resumo Técnico: X+Slides: Avaliando a Geração de Slides Condicionada ao Público

1. Formulação do Problema

O artigo identifica uma lacuna crítica nos benchmarks existentes de geração automatizada de slides: eles avaliam primariamente a completude da fonte, o layout e a coerência visual, enquanto assumem implicitamente um paradigma de "tamanho único" onde todos os fatos da fonte são igualmente valiosos. Na realidade, a geração de slides é uma tarefa condicionada ao público. Um único documento de origem (ex: um artigo de pesquisa) requer uma seleção de informações fundamentalmente diferente dependendo do alvo:

• Especialistas precisam de provas rigorosas, premissas e ablações.
• Aprendizes precisam de ideias centrais, motivações e exemplos.
• Tomadores de decisão priorizam conclusões acionáveis, riscos e implicações de alto nível.

As métricas atuais falham em distinguir entre um deck que resume fielmente uma fonte e um que seleciona estrategicamente informações relevantes para um público específico. Além disso, as avaliações atuais frequentemente confundem o alinhamento com a fonte com a utilidade para o público, tornando difícil isolar se um sistema está falhando devido a uma geração ruim ou a uma má adaptação ao público.

2. Metodologia: O Framework X+Slides

O X+Slides introduz um benchmark e um pipeline de avaliação projetados para desacoplar a cobertura da fonte da utilidade para o público. A inovação central é um processo de avaliação de duas etapas usando um banco de sondas (probe bank) compartilhado e agnóstico ao público.

2.1 Construção do Benchmark

• Corpus: O conjunto de dados abrange 113 tópicos diversos (50 artigos acadêmicos, 63 relatórios não acadêmicos em política, negócios, saúde, etc.) em 7 cenas de apresentação.
• Geração de Sondas (Probes): Um LLM gera 8.133 sondas deduplicadas e fundamentadas na fonte (pares de pergunta-resposta com trechos de evidência) a partir dos documentos de origem. Estas sondas são agnósticas ao público, o que significa que são geradas sem conhecimento do público-alvo para garantir uma base factual consistente.
• Atributos das Sondas: Cada sonda é etiquetada com:
  • Nível de Profundidade (1–4): Variando de contexto/motivação (Nível 1) a detalhes de implementação/hiperparâmetros (Nível 4).
  • Domínio de Informação: Contexto, Método, Evidência, Limitações, Implementação, Implicações.
  • Modalidade de Evidência: Texto, tabela, gráfico, figura, equação ou mistura multimodal.

2.2 Pontuação Condicionada ao Público

Em vez de gerar perguntas diferentes para diferentes públicos, o X+Slides atribui pesos de utilidade específicos por público ($w_j$) ao mesmo conjunto de sondas com base no perfil do público (Especialista, Aprendiz, Tomador de Decisão) e na cena da apresentação.

• Limiar de Utilidade ($\tau_A$): Sondas com pesos acima de um limiar (ex: $\tau_A = 0,7$) são consideradas "essenciais" para aquele público específico.
• Lógica de Avaliação: Um deck gerado é pontuado com base em se as sondas essenciais para um público específico podem ser respondidas usando o conteúdo visível do slide que é suportado pela evidência da fonte.

2.3 Métricas de Avaliação

O framework reporta quatro métricas complementares:

1. Cobertura de Público (Audience Coverage): A fração ponderada da informação essencial do público que foi transmitida com sucesso no deck.
2. Cobertura por Domínio (Domain-wise Coverage): Um detalhamento granular da cobertura através dos seis domínios de informação (ex: quão bem os detalhes de "Método" são cobertos para um especialista vs. um aprendiz).
3. Eficiência (Efficiency): A densidade de informação útil entregue por unidade de custo de atenção (medida por contagem de slides e contagem de palavras).
4. Correção (Correctness): Uma métrica de salvaguarda que verifica se as afirmações no deck são fatualmente suportadas pela fonte, evitando a recompensa de conteúdo plausível, mas alucinado.
5. SafeEfficiency: O produto da Eficiência e da Correção, representando a utilidade útil que também é fundamentada.

3. Principais Contribuições

1. Conceitualização Formal: Define a geração de slides como um mapeamento condicional $f: S \times A \times C \to T$, enquadrando explicitamente a adaptação ao público como um problema mensurável de seleção de informação em vez de um objetivo de prompting vago.
2. Banco de Sondas Desacoplado: Desenvolve um banco de sondas fundamentado em evidências e agnóstico ao público que é subsequentemente ponderado. Isso permite uma comparação justa entre públicos usando a mesma base factual.
3. Suíte de Métricas Abrangente: Introduz um framework de avaliação quadridimensional (Cobertura, Cobertura por Domínio, Eficiência, Correção) que distingue entre adaptação fiel, sumarização genérica e alucinação.
4. Benchmark Reproduzível: Lança um conjunto de dados de 113 tópicos, 8.133 sondas, três perfis de público e um pipeline de avaliação totalmente reproduzível.
5. Avaliação Empírica: Fornece uma análise aprofundada dos sistemas de estado da arte atuais (DeepPresenter, SlideTailor) e uma ablação focada do NotebookLM.

4. Resultados Experimentais

Os autores avaliaram o DeepPresenter, SlideTailor e NotebookLM (como uma ablação) sob configurações agnósticas ao público e condicionadas ao público.

• Recuperação Parcial de Informação Essencial: Os sistemas atuais recuperam uma parte substancial, mas incompleta, da informação essencial para o público.
  • No $\tau_A = 0,7$, o DeepPresenter alcançou a melhor Cobertura de Público de 0,714 (para Aprendizes).
  • O SlideTailor atingiu 0,594 (para Aprendizes).
  • O NotebookLM (configuração agnóstica) atingiu 0,853 para Tomadores de Decisão, embora suas saídas baseadas em imagens tenham impedido comparações diretas de eficiência.
• Efeitos da Condição de Público:
  • Prompts de condicionamento geralmente melhoraram a Cobertura de Público (ex: a cobertura de Especialista do DeepPresenter subiu de 0,413 para 0,496).
  • A Cobertura por Domínio revelou que o condicionamento altera o foco com sucesso (ex: especialistas recebem mais cobertura de "Método" e "Evidência", enquanto tomadores de decisão recebem mais "Implicações" e "Contexto").
• Correção vs. Eficiência:
  • As pontuações de Correção permaneceram altas (aprox. 0,82–0,85) entre os sistemas, indicando que a maioria das afirmações é suportada pela fonte.
  • No entanto, a SafeEfficiency variou significamente. Por exemplo, o deck de aprendiz condicionado do SlideTailor teve a maior SafeEfficiency entre os sistemas geradores de PPTX, enquanto o deck de aprendiz condicionado do DeepPresenter teve a maior Cobertura de Público.
• Trade-offs: O artigo observa que otimizar para uma métrica (ex: cobertura ampla) não garante a otimização para outras (ex: eficiência ou correção). Prompts de público alteram com sucesso a seleção de informação, mas não melhoram automaticamente todas as dimensões de qualidade.

5. Significância e Alegações

O artigo afirma que o X+Slides representa uma mudança fundamental do alinhamento de documentos para a maximização da utilidade para o público.

• Diferenciação: Demonstra que a qualidade visual e a cobertura ampla de tópicos são insuficientes como proxies para a qualidade de um slide; sem uma avaliação fundamentada na fonte e condicionada ao público, os sistemas podem parecer bem-sucedidos enquanto falham em atender às necessidades críticas do público ou incluem afirmações não suportadas.
• Limitações: Os autores reconhecem modestamente as limitações atuais, incluindo possíveis lacunas nas sondas geradas por LLM para documentos altamente visuais, a amplitude dos três perfis de público e a dependência de pontuação textual que não avalia diretamente gráficos ou explicações baseadas em layout.
• Impacto Futuro: O framework é posicionado para apoiar a comunicação científica, educação, briefings de políticas e suporte à decisão de negócios, instando a comunidade a tratar a adaptação ao público como um desafio rigoroso de seleção de informação, em vez de apenas um ajuste estilístico.