Resumen Técnico: X+Slides: Evaluación de la Generación de Diapositivas Condicionada por la Audiencia

1. Formulación del Problema

El artículo identifica una brecha crítica en los benchmarks existentes para la generación automatizada de diapositivas: estos evalúan principalmente la completitud de la fuente, el diseño y la coherencia visual, mientras que asumen implícitamente un paradigma de "talla única" donde todos los hechos de la fuente son igualmente valiosos. En realidad, la generación de diapositivas es una tarea condicionada por la audiencia: un único documento de origen (por ejemplo, un artículo de investigación) requiere una selección de información fundamentalmente diferente dependiendo del destinatario:

• Los especialistas necesitan pruebas rigurosas, supuestos y estudios de ablación.
• Los estudiantes necesitan ideas centrales, motivaciones y ejemplos.
• Los tomadores de decisiones priorizan conclusiones accionables, riesgos e implicaciones de alto nivel.

Las métricas actuales no logran distinguir entre un conjunto de diapositivas que resume fielmente una fuente y uno que selecciona estratégicamente la información relevante para una audiencia específica. Además, las evaluaciones actuales suelen confundir la alineación con la fuente con la utilidad para la audiencia, lo que dificulta aislar si un sistema está fallando debido a una mala generación o a una mala adaptación a la audiencia.

2. Metodología: El Marco X+Slides

X+Slides introduce un benchmark y un pipeline de evaluación diseñado para desacoplar la cobertura de la fuente de la utilidad para la audiencia. La innovación central es un proceso de evaluación de dos pasos utilizando un banco de sondas compartido y agnóstico a la audiencia.

2.1 Construcción del Benchmark

• Corpus: El conjunto de datos abarca 113 temas diversos (50 artículos académicos, 63 informes no académicos en política, negocios, salud, etc.) a través de 7 escenas de presentación.
• Generación de Sondas: Un LLM genera 8,133 sondas deduplicadas y fundamentadas en la fuente (pares de pregunta-respuesta con fragmentos de evidencia) a partir de los documentos de origen. Estas sondas son agnósticas a la audiencia, lo que significa que se generan sin conocimiento de la audiencia objetivo para garantizar una base fáctica constante.
• Atributos de la Sonda: Cada sonda está etiquetada con:
  • Nivel de Profundidad (1–4): Que va desde contexto/motivación (Nivel 1) hasta detalles de implementación/hiperparámetros (Nivel 4).
  • Dominio de Información: Contexto, Método, Evidencia, Limitaciones, Implementación, Implicaciones.
  • Modalidad de la Evidencia: Texto, tabla, gráfico, figura, ecuación o mezcla multimodal.

2.2 Puntuación Condicionada por la Audiencia

En lugar de generar diferentes preguntas para diferentes audiencias, X+Slides asigna pesos de utilidad específicos de la audiencia ($w_j$) al mismo conjunto de sondas basándose en el perfil de la audiencia (Especialista, Estudiante, Tomador de decisiones) y la escena de la presentación.

• Umbral de Utilidad ($\tau_A$): Las sondas con pesos por encima de un umbral (por ejemplo, $\tau_A = 0.7$) se consideran "esenciales" para esa audiencia específica.
• Lógica de Evaluación: Se califica un conjunto de diapositivas generado basándose en si las sondas esenciales para una audiencia específica pueden responderse utilizando el contenido visible de la diapositiva que esté respaldado por la evidencia de la fuente.

2.3 Métricas de Evaluación

El marco reporta cuatro métricas complementarias:

1. Cobertura de Audiencia: La fracción ponderada de la información esencial de la fuente transmitida con éxito en el conjunto de diapositivas.
2. Cobertura por Dominio: Un desglose granular de la cobertura a través de los seis dominios de información (por ejemplo, qué tan bien se cubren los detalles de "Método" para un especialista frente a un estudiante).
3. Eficiencia: La densidad de información útil entregada por unidad de costo de atención (medida por número de diapositivas y recuento de palabras).
4. Corrección: Una métrica de salvaguarda que verifica que las afirmaciones en el conjunto de diapositivas estén respaldadas fácticamente por la fuente, evitando la recompensa de contenido plausible pero alucinado.
5. SafeEfficiency (Eficiencia Segura): El producto de la Eficiencia y la Corrección, que representa la utilidad útil que también está fundamentada.

3. Contribuciones Clave

1. Conceptualización Formal: Define la generación de diapositivas como un mapeo condicional $f: S \times A \times C \to T$, enmarcando explícitamente la adaptación a la audiencia como un problema de selección de información medible, en lugar de un objetivo de prompting vago.
2. Banco de Sondas Desacoplado: Desarrolla un banco de sondas respaldado por evidencia y agnóstico a la audiencia que es posteriormente ponderado. Esto permite una comparación justa entre audiencias utilizando la misma base fáctica.
3. Suite de Métricas Exhaustiva: Introduce un marco de evaluación tetradimensional (Cobertura, Cobertura por Dominio, Eficiencia, Corrección) que distingue entre adaptación fiel, resumen genérico y alucinación.
4. Benchmark Reproducible: Publica un conjunto de datos de 113 temas, 8,133 sondas, tres perfiles de audiencia y un pipeline de evaluación totalmente reproducible.
5. Evaluación Empírica: Proporciona un análisis profundo de los sistemas actuales de última generación (DeepPresenter, SlideTailor) y una ablación enfocada de NotebookLM.

4. Resultados Experimentales

Los autores evaluaron DeepPresenter, SlideTailor y NotebookLM (como una ablación) bajo configuraciones tanto agnósticas a la audiencia como condicionadas por la audiencia.

• Recuperación Parcial de Información Esencial: Los sistemas actuales recuperan una parte sustancial pero incompleta de la información esencial para la audiencia.
  • Con $\tau_A = 0.7$, DeepPresenter logró la mejor Cobertura de Audiencia de 0.714 (para Estudiantes).
  • SlideTailor alcanzó 0.594 (para Estudiantes).
  • NotebookLM (configuración agnóstica) alcanzó 0.853 para Tomadores de decisiones, aunque sus salidas basadas en imágenes impidieron comparaciones directas de eficiencia.
• Efectos del Condicionamiento de la Audiencia:
  • Los prompts de condicionamiento generalmente mejoraron la Cobertura de Audiencia (por ejemplo, la cobertura de Especialistas de DeepPresenter aumentó de 0.413 a 0.496).
  • La Cobertura por Dominio reveló que el condicionamiento desplaza el enfoque con éxito (por ejemplo, los especialistas reciben más cobertura de "Método" y "Evidencia", mientras que los tomadores de decisiones reciben más "Implicaciones" y "Contexto").
• Corrección vs. Eficiencia:
  • Las puntuaciones de Corrección se mantuvieron altas (aprox. 0.82–0.85) en todos los sistemas, lo que indica que la mayoría de las afirmaciones están respaldadas por la fuente.
  • Sin embargo, la SafeEfficiency varió significamente. Por ejemplo, el deck de estudiante condicionado de SlideTailor tuvo la mayor SafeEfficiency entre los sistemas que generan PPTX, mientras que el deck de estudiante condicionado de DeepPresenter tuvo la mayor Cobertura de Audiencia.
• Compromisos (Trade-offs): El artículo señala que optimizar para una métrica (por ejemplo, cobertura amplia) no garantiza la optimización de otras (por ejemplo, eficiencia o corrección). Los prompts de audiencia cambian con éxito la selección de información, pero no mejoran automáticamente todas las dimensiones de calidad.

5. Significado y Reivindicaciones

El artículo afirma que X+Slides representa un cambio fundamental de la alineación con el documento hacia la maximización de la utilidad para la audiencia.

• Diferenciación: Demuestra que la calidad visual y la cobertura amplia de temas son insuficientes indicadores de la calidad de las diapositivas; sin una evaluación fundamentada en la fuente y condicionada por la audiencia, los sistemas pueden parecer exitosos mientras omiten necesidades críticas de la audiencia o incluyen afirmaciones no respaldadas.
• Limitaciones: Los autores reconocen modestamente las limitaciones actuales, incluyendo posibles brechas en las sondas generadas por LLM para documentos altamente visuales, la amplitud de los tres perfiles de audiencia y la dependencia de la puntuación textual que no evalúa directamente los gráficos o la explicación basada en el diseño.
• Impacto Futuro: El marco se posiciona para apoyar la comunicación de investigación, la educación, la síntesis de políticas y el apoyo a la toma de decisiones empresariales, instando a la comunidad a tratar la adaptación a la audiencia como un desafío riguroso de selección de información en lugar de un simple ajuste estilístico.