Resumen Técnico: UniPPTBench y UniPPTEval

1. Declaración del Problema

Los avances recientes en modelos generativos multimodales han hecho que la generación automática de presentaciones sea cada vez más viable. Sin embargo, el campo carece actualmente de un marco unificado para evaluar estos sistemas a través de los diversos entornos de entrada encontrados en escenarios del mundo real. La investigación y las pruebas existentes aíslan típicamente regímenes de entrada específicos, como la generación solo por instrucciones o la conversión de un solo documento a diapositivas, sin abordar el espectro de necesidades de los usuarios que va desde indicaciones vagas hasta la síntesis compleja de múltiples fuentes.

Además, las metodologías de evaluación actuales son insuficientemente específicas para el escenario. Dependen predominantemente de criterios genéricos de calidad de presentación (por ejemplo, atractivo visual, calidad de la maquetación y coherencia general). Estas métricas a menudo fallan al diagnosticar capacidades fundamentales requeridas por entradas específicas, como la compresión fundamentada, la alineación visual-textual y la síntesis de múltiples fuentes. En consecuencia, un sistema puede producir una presentación visualmente pulida que, no obstante, omita evidencia clave, distorsione gráficos o no logre reconciliar información contradictoria de múltiples fuentes. El campo requiere una prueba unificada y un protocolo de evaluación consciente del escenario para diagnosticar fielmente los sistemas de generación de presentaciones en diversos entornos del mundo real.

2. Metodología

A. UniPPTBench: Una Prueba Unificada

Los autores introducen UniPPTBench, una prueba diseñada para cubrir cuatro entornos de entrada representativos organizados por complejidad de fundamentación creciente:

1. Indicación Vaga: Evalúa la planificación abierta bajo intenciones de usuario no especificadas sin materiales de origen.
2. Documento Largo: Prueba la compresión fiel a la fuente y la selección de contenido a partir de textos extensos (promedio de ~128 páginas).
3. Documento Multimodal: Hace hincapié en la alineación entre afirmaciones textuales y materiales visuales (figuras, gráficos, tablas) dentro de un documento.
4. Múltiples Fuentes: Requiere integración de evidencia, eliminación de redundancias y síntesis fiel a través de múltiples documentos heterogéneos (promedio de ~59 páginas de ~4.5 fuentes).

El conjunto de datos comprende 126 tareas en seis dominios de aplicación (por ejemplo, Investigación, Negocios, Política), construidos a partir de fuentes públicas autorizadas (SEC EDGAR, arXiv, ONU, etc.). El pipeline de construcción incluye la recolección de fuentes, la formulación de tareas (emparejamiento de documentos con intenciones realistas), la anotación de metadatos (identificación de puntos clave y rangos de evidencia) y un control de calidad riguroso.

B. UniPPTEval: Un Protocolo de Evaluación Consciente del Escenario

Para abordar las limitaciones de las métricas genéricas, los autores proponen UniPPTEval, que descompone la evaluación en dos componentes:

1. Métricas Compartidas: Un conjunto compacto de métricas derivadas mediante alineación humana, análisis de ortogonalidad y selección del frente eficiencia-precisión. Estas incluyen Cumplimiento de Instrucciones, Compromiso, Precisión del Contenido, Consistencia Visual e Integridad Visual. Permiten la comparación entre configuraciones de la calidad general de la presentación.
2. Métricas Específicas del Escenario: Métricas adaptadas a los requisitos fundamentales de cada entorno de entrada, utilizando un paradigma de Evaluación Fundamentada en la Fuente. Este paradigma emplea una lógica de verificación de dos vías:
   • Verificación de Cobertura a Nivel Macro: Verifica la medida en que las diapositivas generadas cubren una lista de verificación de información clave derivada de los materiales de origen.
   • Búsqueda de Factibilidad a Nivel Micro: Descompone el contenido de la diapositiva en afirmaciones específicas y las verifica contra los materiales de origen para garantizar la veracidad.

Las métricas específicas incluyen Cobertura de Puntos Clave y Fidelidad del Contenido para Documento Largo; Utilización de Elementos Visuales, Alineación Figura-Afirmación y Fidelidad de Traducción de Gráficos para Multimodal; y Cobertura entre Documentos, Integración y Deduplicación de Redundancias para Múltiples Fuentes.

C. UniPPTAgent: Una Línea Base Unificada

Los autores desarrollan UniPPTAgent, un marco de código abierto y multiagente diseñado para soportar los cuatro entornos de entrada dentro de un pipeline unificado. A diferencia de sistemas anteriores adaptados a regímenes únicos, UniPPTAgent descompone la generación en tres agentes especializados:

1. Agente Narrativo: Normaliza entradas heterogéneas en una base de conocimientos estructurada y genera esquemas de diapositivas y descripciones de páginas mediante un procedimiento de plan-esquema-fundamento.
2. Agente de Estilo: Induce un contrato de estilo global a nivel de documento (que cubre tipografía, colores y maquetación) para garantizar la consistencia entre páginas.
3. Agente de Diseño Visual: Traduce maquetaciones a HTML resuelto por estilo y emplea un bucle de retroalimentación iterativo con un Modelo Visión-Lenguaje (VLM) para detectar y corregir defectos perceptuales (por ejemplo, texto recortado, superposiciones).

3. Resultados Clave

Los experimentos en UniPPTBench utilizando UniPPTEval revelan varios hallazgos críticos:

• Variación del Rendimiento: El rendimiento del sistema varía sustancialmente entre los entornos de entrada. Un buen rendimiento en métricas genéricas no implica necesariamente un buen cumplimiento de la tarea en escenarios fundamentados.
• Cuello de Botella de Fundamentación: Los sistemas actuales muestran una brecha significativa entre la fluidez visual y el cumplimiento real de la tarea. En escenarios multimodales, los sistemas fallan frecuentemente en la alineación figura-afirmación o en la utilización efectiva de elementos visuales. En tareas de documentos largos, la fidelidad del contenido es consistentemente menor que la cobertura, lo que indica distorsiones factuales en las salidas comprimidas.
• Desafíos de Síntesis: La síntesis entre múltiples fuentes plantea un desafío de orden superior que la simple extracción de contenido. Los sistemas a menudo luchan por organizar la información recuperada en una narrativa coherente y no redundante, presentando frecuentemente resúmenes aislados en lugar de historias unificadas.
• Fragmentación de Código Abierto: Aunque los sistemas de código abierto muestran promesa, su soporte para diversos entornos de entrada sigue siendo fragmentado en comparación con los sistemas propietarios, particularmente en escenarios fundamentados y de múltiples entradas.
• Validez de la Evaluación: Las métricas específicas del escenario propuestas detectan con éxito degradaciones específicas de capacidad (por ejemplo, alucinaciones, falta de fundamentación visual) que las métricas compartidas genéricas a menudo pasan por alto. El protocolo de evaluación demuestra alta fiabilidad (baja desviación estándar entre ejecuciones) y robustez (alta correlación entre diferentes jueces LLM).

4. Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. UniPPTBench: La primera prueba unificada que cubre cuatro entornos de entrada representativos del mundo real (indicación vaga, documento largo, documento multimodal y múltiples fuentes), permitiendo una comparación sistemática entre flujos de trabajo diversos.
2. UniPPTEval: Un protocolo de evaluación consciente del escenario que combina métricas compartidas de calidad de presentación con métricas específicas del entorno, desplazando el enfoque de la percepción visual al rastreo riguroso de evidencia.
3. UniPPTAgent: Una línea base de referencia transparente y de código abierto que soporta los cuatro entornos de entrada, proporcionando un punto de comparación reproducible para futuras investigaciones.
4. Insights Diagnósticos: Experimentos extensos que revelan limitaciones persistentes en los sistemas actuales respecto a la compresión fundamentada, la alineación multimodal, la integración entre fuentes y la síntesis fiel.

Los autores concluyen que la generación de presentaciones no debe estudiarse como una tarea homogénea única, sino como un problema unificado con demandas de capacidad dependientes del entorno. El marco propuesto proporciona una base fiel y diagnóstica para evaluar y avanzar en los sistemas de generación de presentaciones en diversos escenarios del mundo real. El código y los datos están destinados a ser publicados.