VideoAgent: Personalized Synthesis of Scientific Videos

1. O Problema

A complexidade técnica inerente aos artigos de pesquisa limita seu alcance a especialistas, criando a necessidade de formatos mais acessíveis, como vídeos científicos, para disseminar insights. No entanto, os métodos automatizados existentes focam predominantemente em mídias estáticas (pôsteres ou apresentações de slides), que são:

• Limitados por modelos (template-bound): Seguem estruturas rígidas e pré-definidas.
• Lineares: Não adaptam a narrativa ao conhecimento prévio ou às necessidades específicas da audiência.
• Estáticos: Falham em ilustrar processos temporais ou dinâmicos, essenciais para explicar lógica complexa.

O desafio central é transicionar da geração de layouts estáticos para a síntese de vídeo adaptativa à audiência, o que exige:

1. Orquestração Não-Linear: Reestruturar documentos técnicos em fluxos narrativos personalizados sem depender de storyboards fixos.
2. Sincronização Multimodal: Alinhar temporalmente e semanticamente assets visuais heterogêneos (slides estáticos vs. animações dinâmicas) com a narração gerada.

2. Metodologia: VideoAgent

O VideoAgent é um framework modular e orientado a intenções que reformula a síntese de vídeo científico como um problema de planejamento. O sistema opera em quatro estágios principais:

A. Parser de Documentos (Document Parser)

• Decompõe artigos PDF complexos (com tabelas, figuras e layouts multicolumnas) em duas representações complementares:
  • D (Representação Textual Refinada): Estrutura o conteúdo em Markdown/JSON para garantir integridade semântica.
  • M (Biblioteca de Assets Visuais): Extrai equações, figuras e tabelas com metadados de layout, separando o conteúdo semântico dos recursos visuais reutilizáveis.

B. Analisador de Requisitos (Requirement Analyzer)

• Transforma intenções de usuário vagas (ex: "explique para um estudante do ensino médio") em uma configuração estruturada R (JSON).
• Define três dimensões:
  • Especificações Técnicas (Rspec): Resolução, taxa de quadros, tipografia.
  • Requisitos Funcionais (Rfunc): Habilita/desabilita síntese de animação, narração ou geração de imagens.
  • Requisitos de Conteúdo (Rcont): Escolhe o paradigma de narrativa (ex: "Sumário Sequencial", "Distilação de Conhecimento", "Adaptação de Audiência", "Descoberta Heurística" ou "Síntese Dialética").

C. Planejador Personalizado (Personalized Planner)

• O núcleo do sistema, que atua como um agente multi-etapa para orquestrar a narrativa e os assets.
• Planejamento de Narrativa: Gera um esboço não-linear (O) e aloca assets visuais (M_alloc) com base na intenção do usuário.
• Síntese Híbrida:
  • Slides Estáticos: Usa python-pptx para gerar diapositivos com layout automático e narração.
  • Animações Dinâmicas: Para conceitos procedimentais complexos, utiliza o motor Manim para gerar animações de código. O sistema refina o roteiro técnico, gera o código Python e aplica correção automática (self-correction) se houver falhas de renderização.
• Validação: Um operador VLM (Vision-Language Model) verifica a fidelidade visual e a ausência de anomalias de layout antes da finalização.

D. Sintetizador Multimodal (Multimodal Synthesizer)

• Integra os assets finais (narração de texto-para-fala, slides e clipes de animação).
• Realiza o alinhamento temporal estrito: A duração dos slides e animações é ajustada dinamicamente para coincidir com a duração da narração correspondente.
• Utiliza MoviePy para compor o vídeo final (.mp4) com legendas sincronizadas.

3. Contribuições Principais

1. VideoAgent: Um framework inovador que trata a geração de vídeo científico como um problema de planejamento orientado a intenções, permitindo a orquestração adaptativa de slides estáticos e animações dinâmicas para diferentes perfis de audiência.
2. SciVidEval: Um benchmark abrangente para avaliação de síntese de vídeo científico. Ele combina:
   • Métricas automatizadas de qualidade multimodal (fidelidade de narração, qualidade visual, sincronização).
   • Estudos humanos baseados em Video-Quiz para medir a transferência real de conhecimento e a eficácia pedagógica.
3. Evidência Experimental: Demonstração de que o sistema supera métodos existentes na transmissão de lógica técnica complexa, mantendo alta fidelidade narrativa e impacto comunicativo.

4. Resultados

O sistema foi avaliado em um conjunto de dados de 50 pares de artigos/vídeos de conferências de topo (CVPR, ICML, NeurIPS, etc.).

• Desempenho Geral: O VideoAgent (com o modelo Gemini-2.5 Pro) superou consistentemente serviços comerciais (como NotebookLM, Pictory) e soluções de código aberto (AutoSlides, PresentAgent) em todas as dimensões.
• Qualidade de Narração: Alcançou a maior consistência de conteúdo (Rouge-L) e pontuação de julgamento por LLM, superando a fluência natural do NotebookLM em termos de precisão técnica.
• Qualidade Visual: Obteve pontuação de 8.03/10 em qualidade visual julgada por VLM e 79.24% de precisão na correspondência de assets, superando significativamente a baixa taxa de correspondência de concorrentes (ex: 31.99% do NotebookLM).
• Transferência de Conhecimento:
  • Avaliação Automática (VLM-as-Judge): 99.50% de precisão em quizzes sobre o conteúdo.
  • Avaliação Humana: 87.5% de precisão em quizzes respondidos por estudantes de pós-graduação, aproximando-se da eficácia dos vídeos feitos pelos próprios autores (90.0%).
• Análise de Personalização: Diferentes estratégias de persona (ex: "Professor do Ensino Médio" vs. "Consultor Técnico") geraram vídeos com níveis distintos de complexidade e satisfação da audiência, provando a capacidade de adaptação do sistema.
• Eficiência: O custo médio de geração é de aproximadamente $0.35 por vídeo, tornando a síntese em escala economicamente viável.

5. Significado e Impacto

O VideoAgent representa um avanço significativo na democratização do conhecimento científico. Ao superar as limitações de formatos estáticos e lineares, ele permite que pesquisadores comuniquem descobertas complexas de forma envolvente e adaptada a públicos variados (de leigos a especialistas).

A introdução do SciVidEval preenche uma lacuna crítica na comunidade, fornecendo métricas padronizadas para avaliar não apenas a estética, mas a eficácia pedagógica e a transferência de conhecimento em vídeos gerados por IA. O trabalho estabelece um novo paradigma onde a síntese de vídeo não é apenas uma conversão de texto para imagem, mas um processo de planejamento inteligente e orquestração multimodal, essencial para o futuro da comunicação científica.