Resumo Técnico: Geração de Vídeo Baseada em Papel para Explicação de Figuras Científicas Complexas

Declaração do Problema

Figuras científicas, particularmente diagramas arquitetônicos e pipelines, comprimem metodologias complexas em uma única tela visual. No entanto, compreender essas figuras exige mais do que interpretação estática; demanda uma narração passo a passo, fundamentada no artigo, que alinhe destaques visuais a regiões específicas da figura. Os sistemas atuais de geração de vídeo e os benchmarks falham em fornecer essa capacidade. As abordagens existentes tratam figuras como imagens estáticas para legendagem ou para perguntas e respostas isoladas, ou geram explicações animadas a partir de conceitos abstratos (ex: código ou teoremas) sem fundamentá-las em uma figura de origem específica. Além disso, sistemas de geração de apresentações tratam figuras como inserções opacas, movendo cursores através de regiões sem raciocinar sobre a ordem lógica ou a significância científica dos componentes. Geradores de vídeo baseados em difusão frequentemente alucinam detalhes não suportados, falhando em preservar a fidelidade do diagrama científico original.

O desafio central é gerar um vídeo que:

1. Narrem uma figura passo a passo com base no artigo científico circundante.
2. Fundamente cada passo da narração a regiões específicas e validadas da figura original.
3. Mantenha o alinhamento temporal entre a explicação falada e os destaques visuais, aderindo aos princípios de aprendizagem multimídia (contiguidade temporal, sinalização e segmentação).

Metodologia: MINARD

Para enfrentar essas limitações, os autores introduzem o MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition). O MINARD é um pipeline que decompõe a tarefa em três equipes especializadas e colaborativas, separando as decisões de "o que dizer", "o que é válido apontar" e "onde apontar".

1. A Equipe de Narração ($\mathcal{N}$)

Esta equipe lê o artigo completo e a figura alvo para gerar uma narração ordenada e passo a passo. Ela utiliza um fluxo de trabalho multiagente:

• Recuperação ($A_{ret}$): Monta um pacote de evidências específico da figura ($K_F$) contendo a legenda, referências no texto, parágrafos relevantes que descrevem os estágios da figura e sentenças de contribuição. Isso fundamenta a narração no texto do artigo em vez de depender de conhecimentos prévios de LLMs.
• Planejador e Redator ($A_{plan}, A_{draft}$): O planejador recupera uma sequência pedagógica de conceitos (ex: entradas $\to$ módulos $\to$ saídas $\to$ conclusão) com base em $K_F$ e na estrutura da figura. O redator converte este plano em segmentos de narração em linguagem natural.
• Crítico e Revisor ($A_{crit}, A_{rev}$): Quatro críticos especializados verificam o rascunho contra $K_F$ quanto à fidelidade (sem módulos alucinados), cobertura (sem ramos omitidos), coerência (ordem de travessia lógica) e saliência (enfatizando contribuições principais). Um agente revisor funde o feedback para produzir a narração final.

2. A Equipe de Percepção ($\Phi$)

Esta equipe determina quais partes da figura são alvos válidos para destaque, garantindo que o sistema não alucine localizações. Ela opera independentemente da narração:

• Texto e Visão ($A_{ocr}, A_{vis}$): Utiliza OCR para extrair regiões de texto ($T$) e segmentação de vocabulário aberto (ex: SAM3) para extrair regiões visuais ($V$), como ícones, blocos e setas.
• Agrupamento ($A_{clus}$): Agrupa detecções visualmente próximas (ex: vincular um rótulo ao seu bloco de diagrama correspondente) em clusters ($C$) para serem destacados como unidades únicas.
• Construtor ($A_{reg}$): Atribui IDs estáveis e caixas delimitadoras (bounding boxes) para criar uma lista branca de alvos válidos $U = T \cup V \cup C$. Este inventário é derivado exclusivamente da imagem da figura.

3. A Equipe de Fundamentação ($\mathcal{G}$)

Esta equipe alinha cada passo da narração $s_i$ às regiões na lista branca $U$ através de um processo de seleção em estágios e semanticamente restrito:

• Estágio 1 (Narração-para-texto): Fundamenta os passos da narração nas regiões de texto derivadas por OCR primeiro (ex: vincular "STANZA" no texto ao rótulo do módulo STANZA).
• Estágio 2 (Fundamentação visual de candidatos): Usa proximidade espacial e pertencimento ao cluster para herdar passos de narração candidatos para regiões visuais baseadas no texto fundamentado próximo.
• Estágio 3 (Seleção visual restrita): Um modelo de visão-linguagem seleciona os passos de narração corretos para uma região destacada a partir do conjunto de candidatos restrito, evitando destaques excessivos e amplos.
• Validação e Renderização: Um validador determinístico remove vínculos inválidos fora de $U$ e repara seleções incompletas. O renderizador sintetiza o vídeo sobrepondo destaques na figura original, sincronizados com o áudio de TTS (conversão de texto em fala).

Benchmark: FigTalk

Os autores introduzem o FigTalk, o primeiro benchmark para percursos narrados de figuras arquitetônicas derivados de apresentações de conferências.

• Composição: 114 pares figura-vídeo. O FigTalk-Gold (49 vídeos) contém narração humana totalmente verificada e traços de fundamentação exatos. O FigTalk-Extended (65 vídeos) contém explicações arquitetônicas verificadas, mas com traços de fundamentação mais fracos ou incompletos.
• Estratificação: As figuras são categorizadas em níveis Fácil, Médio e Difícil com base na complexidade estrutural (contagem de componentes, profundidade de DAG, número de subfiguras), não no tamanho da imagem.
• Métricas:
  • Narração: Avaliada em Correspondência de Ordem, Fidelidade Interna/Externa, Cobertura de Conceito e Recall de Conclusão.
  • Fundamentação: Utiliza Soft-DTW (similaridade ao nível de frame via juiz VLM, aplicável a todos os sistemas) e IoU-based DTW (precisão/recall rigoroso de nível de região para sistemas que produzem regiões explícitas). Para o conjunto Extended, uma rubrica avalia a Fidelidade de Componentes, Cobertura de Conceito e Taxa de Destaque Excessivo.

Principais Resultados

Experimentos no FigTalk demonstram que o MINARD supera significativamente os baselines existentes, particularmente em figuras complexas.

• Qualidade da Narração: A narração fundamentada no papel (MINARD) melhora substancialmente a Cobertura de Conceito e o Recall de Conclusão em comparação com a narração baseada apenas na figura. Ele recupera a intenção científica (ex: nomes de métodos, racional de design) que é invisível apenas na figura.
• Desempenho de Fundamentação:
  • No FigTalk-Gold, o MINARD alcança os melhores escores tanto em Soft-DTW quanto em IoU-based DTW em todos os backbones (GPT-5, Claude, Gemini).
  • Escalabilidade de Complexidade: A lacuna de desempenho aumenta significativamente em figuras Difíceis. Enquanto a fundamentação de VLMs não restrita e geradores baseados em difusão (ex: Veo, CogVideoX) colapsam em estruturas complexas (frequentemente alucinando ou falhando em preservar a ordem causal), o MINARD mantém alta fidelidade.
  • Preferência Humana: Em estudos humanos, o MINARD é preferido em 74% das comparações de narração e em 63% das comparações de fundamentação sobre os baselines, especialmente quanto à fidelidade e à ausência de destaque excessivo.
• Estudos de Ablação:
  • A Recuperação é o principal motor da fidelidade científica; remover a recuperação causa uma queda brusca na Cobertura de Conceito e no Recall de Conclusão.
  • A Decomposição Estruturada: O processo de fundamentação em estágios (Percepção $\to$ Fundamentação) é crítico. Remover as restrições leva a destaques excessivos e perda de alinhamento temporal.

Significância e Alegações

O artigo afirma que o MINARD representa uma mudança de tratar figuras como imagens opacas para tratá-las como sequências estruturadas de componentes explicáveis.

• Modularidade: Ao separar narração, percepção e fundamentação, o sistema torna as falhas interpretáveis e permite melhorias direcionadas.
• Fidelidade: Ao contrário de sistemas de re-renderização (ex: baseados em Manim ou modelos de difusão) que regeneram os visuais e frequentemente se afastam da fonte, o MINARD preserva a correspondência exata de nível de componente do original, o que é crítico para a comunicação científica.
• Valor Educacional: O sistema alinha-se com a teoria de aprendizagem multimídia, fornecendo explicações temporalmente alinhadas e segmentadas que guiam a atenção para componentes salientes, melhorando assim a compreensão de pipelines científicos complexos.

Os autores observam limitações: o escopo atual é restrito a figuras do tipo arquitetura (pipelines, diagramas de sistema) e não a gráficos ou gráficos estatísticos, e o pipeline é computacionalmente mais caro do que os baselines de passagem única devido aos loops de refinamento. No entanto, os resultados sugerem que, para figuras científicas complexas, a decomposição estruturada e fundamentada no papel é essencial para gerar explicações fiéis e humanas.