Resumen Técnico: Generación de Video Basada en Documentos para la Explicación de Figuras Científicas Complejas

Declaración del Problema

Las figuras científicas, particularmente los diagramas arquitectónicos y los flujos de trabajo (pipelines), comprimen metodologías complejas en un solo lienzo visual. Sin embargo, comprender estas figuras requiere más que una interpretación estática; demanda una narración paso a paso, fundamentada en el documento, que alinee los resaltados visuales con regiones específicas de la figura. Los sistemas actuales de generación de video y los benchmarks fallan al no proporcionar esta capacidad. Los enfoques existentes tratan las figuras como imágenes estáticas para el subtitulado o para la resolución de preguntas aisladas, o generan explicaciones animadas a partir de conceptos abstractos (por ejemplo, código o teoremas) sin fundamentarlos en una figura fuente específica. Además, los sistemas de generación de presentaciones tratan las figuras como inserciones opacas, moviendo cursores a través de regiones sin razonar sobre el orden lógico o la significancia científica de los componentes. Los generadores de video basados en difusión suelen alucinar detalles no sustentados, fallando en preservar la fidelidad del diagrama científico original.

El desafío central es generar un video que:

1. Narre una figura paso a paso basándose en el artículo científico circundante.
2. Fundamente cada paso de la narración en regiones específicas y validadas de la figura original.
3. Mantenga la alineación temporal entre la explicación hablada y los resaltados visuales, adhiriéndose a los principios de aprendizaje multimedia (contigüidad temporal, señalización y segmentación).

Metodología: MINARD

Para abordar estas limitaciones, los autores introducen MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition). MINARD es un flujo de trabajo que descompone la tarea en tres equipos especializados y colaborativos, separando las decisiones de "qué decir", "qué es válido señalar" y "dónde señalar".

1. El Equipo de Narración ($\mathcal{N}$)

Este equipo lee el artículo fuente completo y la figura objetivo para generar una narración ordenada paso a paso. Emplea un flujo de trabajo multi-agente:

• Recuperación ($A_{ret}$): Ensambla un paquete de evidencia específico de la figura ($K_F$) que contiene el pie de figura, referencias en el texto, párrafos relevantes que describen las etapas de la figura y oraciones de contribución. Esto fundamenta la narración en el texto del artículo en lugar de en los conocimientos previos de los LLM.
• Planificador y Redactor ($A_{plan}, A_{draft}$): El planificador recupera una secuencia pedagógica de conceptos (por ejemplo, entradas $\to$ módulos $\to$ salidas $\to$ conclusión clave) basada en $K_F$ y la estructura de la figura. El redactor convierte este plan en segmentos de narración en lenguaje natural.
• Crítico y Revisor ($A_{crit}, A_{rev}$): Cuatro críticos especializados verifican el borrador contra $K_F$ en términos de fidelidad (sin módulos alucinados), cobertura (sin ramas omitidas), coherencia (orden de recorrido lógico) y saliencia (enfatizando contribuciones clave). Un agente revisor fusiona los comentarios para producir la narración final.

2. El Equipo de Percepción ($\Phi$)

Este equipo determina qué partes de la figura son objetivos válidos para resaltar, asegurando que el sistema no alucine ubicaciones. Opera independientemente de la narración:

• Texto y Visión ($A_{ocr}, A_{vis}$): Utiliza OCR para extraer regiones de texto ($T$) y segmentación de detección de vocabulario abierto (por ejemplo, SAM3) para extraer regiones visuales ($V$) como iconos, bloques y flechas.
• Agrupación ($A_{clus}$): Agrupa detecciones visualmente cercanas (por ejemplo, vincular una etiqueta a su bloque de diagrama correspondiente) en grupos ($C$) para ser resaltados como unidades individuales.
• Constructor ($A_{reg}$): Asigna IDs estables y cajas delimitadoras para crear una lista blanca de objetivos válidos $U = T \cup V \cup C$. Este inventario se deriva exclusivamente de la imagen de la figura.

3. El Equipo de Fundamentación ($\mathcal{G}$)

Este equipo alinea cada paso de la narración $s_i$ con las regiones en la lista blanca $U$ mediante un proceso de selección por etapas y semánticamente restringido:

• Etapa 1 (Narración-a-texto): Fundamenta los pasos de la narración en las regiones de texto derivadas de OCR primero (por ejemplo, vincular "STANZA" en el texto con la etiqueta del módulo STANZA).
• Etapa 2 (Fundamentación visual de candidatos): Utiliza la proximidad espacial y la pertenencia al grupo para heredar pasos de narración candidatos para las regiones visuales basándose en el texto fundamentado cercano.
• Etapa 3 (Selección visual restringida): Un modelo de lenguaje y visión selecciona los pasos de narración correctos para una región resaltada a partir del conjunto de candidatos restringido, evitando un resaltado excesivo y amplio.
• Validación y Renderizado: Un validador determinista elimina las vinculaciones inválidas fuera de $U$ y repara las selecciones incompletas. El renderizador sintetiza el video superponiendo los resaltados sobre la figura original, sincronizados con el audio de TTS (texto a voz).

Benchmark: FigTalk

Los autores introducen FigTalk, el primer benchmark para recorridos narrados de figuras arquitectónicas derivados de presentaciones de conferencias.

• Composición: 114 pares de figura-video. FigTalk-Gold (49 videos) contiene narraciones humanas totalmente verificadas y trazas de fundamentación exactas. FigTalk-Extended (65 videos) contiene explicaciones arquitectónicas verificadas pero con trazas de fundamentación más débiles o incompletas.
• Estratificación: Las figuras se categorizan en niveles Fácil, Medio y Difícil según la complejidad estructural (conteo de componentes, profundidad de DAG, número de subfiguras), no por el tamaño de la imagen.
• Métricas:
  • Narración: Evaluada mediante Coincidencia de Orden, Fidelidad Interna/Externa, Cobertura de Conceptos y Recuperación de la Conclusión Clave.
  • Fundamentación: Utiliza Soft-DTW (similitud a nivel de frame mediante un juez VLM, aplicable a todos los sistemas) e IoU-based DTW (precisión/exhaustividad estricta a nivel de región para sistemas que producen regiones explícitas). Para el conjunto Extended, una rúbrica evalúa la Fidelidad del Componente, la Cobertura de Conceptos y la Tasa de Resaltado Excesivo.

Resultados Clave

Los experimentos en FigTalk demuestran que MINARD supera significativamente a los modelos base existentes, particularmente en figuras complejas.

• Calidad de la Narración: La narración fundamentada en el documento (MINARD) mejora sustancialmente la Cobertura de Conceptos y la Recuperación de la Conclusión Clave en comparación con la narración basada solo en la figura. Recupera la intención científica (por ejemplo, nombres de métodos, racionales de diseño) que es invisible en la figura por sí sola.
• Desempeño de la Fundamentación:
  • En FigTalk-Gold, MINARD logra los mejores puntajes tanto en Soft-DTW como en IoU-based DTW en todos los backbones (GPT-5, Claude, Gemini).
  • Escalabilidad de la Complejidad: La brecha de rendimiento se amplía significamente en figuras Difíciles. Mientras que la fundamentación de VLM no restringida y los generadores basados en difusión (por ejemplo, Veo, CogVideoX) colapsan ante estructuras complejas (a menudo alucinando o fallando en preservar el orden causal), MINARD mantiene una alta fidelidad.
  • Preferencia Humana: En estudios humanos, MINARD es preferido en el 74% de las comparaciones de narración y en el 63% de las comparaciones de fundamentación sobre los modelos base, especialmente respecto a la fidelidad y la ausencia de resaltado excesivo.
• Estudios de Ablación:
  • La Recuperación es el principal motor de la fidelidad científica; eliminarla provoca una caída brusca en la Cobertura de Conceptos y la Recuperación de la Conclusión Clave.
  • La Descomposición Estructurada (Percepción $\to$ Fundamentación) es crítica. Eliminar las restricciones conduce a un resaltado excesivo y a la pérdida de alineación temporal.

Significancia y Reivindicaciones

El artículo afirma que MINARD representa un cambio de tratar las figuras como imágenes opacas a tratarlas como secuencias estructuradas de componentes explicables.

• Modularidad: Al separar la narración, la percepción y la fundamentación, el sistema hace que los fallos sean interpretables y permite mejoras dirigidas.
• Fidelidad: A diferencia de los sistemas de re-renderizado (por ejemplo, basados en Manim o modelos de difusión) que regeneran los visuales y a menudo se desvían de la fuente, MINARD preserva la correspondencia exacta a nivel de componente de la figura original, lo cual es crítico para la comunicación científica.
• Valor Educativo: El sistema se alinea con la teoría del aprendizaje multimedia, proporcionando explicaciones segmentadas y temporalmente alineadas que guían la atención hacia los componentes salientes, mejorando así la comprensión de flujos de trabajo científicos complejos.

Los autores señalan las limitaciones: el alcance actual se restringe a figuras de tipo arquitectura (flujos de trabajo, diagramas de sistemas) en lugar de gráficos o diagramas estadísticos, y el flujo de trabajo es computacionalmente más costoso que los modelos base de un solo paso debido a los bucles de refinamiento. Sin embargo, los resultados sugieren que para figuras científicas complejas, la descomposición estructurada y fundamentada en el documento es esencial para generar explicaciones fieles y similares a las humanas.