Résumé Technique : UniPPTBench et UniPPTEval

1. Énoncé du Problème

Les récents progrès des modèles génératifs multimodaux ont rendu la génération automatique de présentations de plus en plus réalisable. Cependant, le domaine manque actuellement d'un cadre unifié pour évaluer ces systèmes à travers les divers contextes d'entrée rencontrés dans des scénarios réels. Les recherches et les benchmarks existants isolent généralement des régimes d'entrée spécifiques — tels que la génération basée uniquement sur des instructions ou la conversion d'un seul document en diapositives — sans traiter le spectre des besoins des utilisateurs, allant des consignes vagues à la synthèse complexe multi-sources.

De plus, les méthodologies d'évaluation actuelles sont insuffisamment spécifiques aux scénarios. Elles reposent principalement sur des critères génériques de qualité de présentation (par exemple, l'attrait visuel, la qualité de la mise en page et la cohérence globale). Ces métriques échouent souvent à diagnostiquer les capacités fondamentales requises par des entrées spécifiques, telles que la compression ancrée, l'alignement texte-visuel et la synthèse multi-sources. Par conséquent, un système peut produire une présentation visuellement soignée qui omet néanmoins des preuves clés, déforme des graphiques ou échoue à concilier des informations contradictoires provenant de multiples sources. Le domaine a besoin d'un benchmark unifié et d'un protocole d'évaluation conscient du scénario pour diagnostiquer fidèlement les systèmes de génération de présentations à travers divers contextes réels.

2. Méthodologie

A. UniPPTBench : Un Benchmark Unifié

Les auteurs introduisent UniPPTBench, un benchmark conçu pour couvrir quatre contextes d'entrée représentatifs organisés par complexité d'ancrage croissante :

1. Consigne Vague (Vague-Prompt) : Évalue la planification ouverte sous une intention utilisateur sous-spécifiée, sans matériaux sources.
2. Long Document (Long-Document) : Teste la compression fidèle à la source et la sélection de contenu à partir de textes étendus (moyenne d'environ 128 pages).
3. Document Multimodal (Multimodal-Document) : Met l'accent sur l'alignement entre les affirmations textuelles et les matériaux visuels (figures, graphiques, tableaux) au sein d'un document.
4. Multi-Sources (Multi-Source) : Nécessite l'intégration de preuves, la suppression des redondances et une synthèse fidèle à travers plusieurs documents hétérogènes (moyenne d'environ 59 pages provenant d'environ 4,5 sources).

L'ensemble de données comprend 126 tâches réparties sur six domaines d'application (par exemple, Recherche, Entreprise, Politique), construits à partir de sources publiques autoritaires (SEC EDGAR, arXiv, ONU, etc.). Le pipeline de construction comprend la collecte de sources, la formulation de tâches (association de documents à des intentions réalistes), l'annotation de métadonnées (identification des points clés et des segments de preuve) et un contrôle qualité rigoureux.

B. UniPPTEval : Un Protocole d'Évaluation Conscient du Scénario

Pour répondre aux limites des métriques génériques, les auteurs proposent UniPPTEval, qui décompose l'évaluation en deux composantes :

1. Métriques Partagées : Un ensemble compact de métriques dérivées grâce à l'alignement humain, à l'analyse d'orthogonalité et à la sélection de la frontière efficacité-précision. Elles incluent l'Accomplissement de l'Instruction, l'Engagement, la Précision du Contenu, la Cohérence Visuelle et l'Intégrité Visuelle. Elles permettent la comparaison inter-scénarios de la qualité générale des présentations.
2. Métriques Spécifiques au Scénario : Des métriques adaptées aux exigences fondamentales de chaque contexte d'entrée, utilisant un paradigme d'Évaluation Ancrée sur la Source. Ce paradigme emploie une logique de vérification à deux voies :
   • Vérification Macro-niveau de la Couverture : Vérifie dans quelle mesure les diapositives générées couvrent une liste de contrôle d'informations clés dérivée des matériaux sources.
   • Recherche Micro-niveau de la Facticité : Décompose le contenu des diapositives en affirmations spécifiques et les vérifie contre les matériaux sources pour assurer la véracité.

Les métriques spécifiques incluent la Couverture des Points Clés et la Fidélité du Contenu pour le Long Document ; l'Utilisation des Éléments Visuels, l'Alignement Figure-Affirmation et la Fidélité de la Traduction de Graphiques pour le Multimodal ; et la Couverture Inter-Document, l'Intégration et la Déduplication des Redondances pour le Multi-Sources.

C. UniPPTAgent : Une Référence Unifiée

Les auteurs développent UniPPTAgent, un cadre multi-agents open-source conçu pour prendre en charge les quatre contextes d'entrée au sein d'un pipeline unifié. Contrairement aux systèmes précédents adaptés à un seul régime, UniPPTAgent décompose la génération en trois agents spécialisés :

1. Agent Narratif : Normalise les entrées hétérogènes en une base de connaissances structurée et génère des plans de diapositives et des descriptions de pages via une procédure plan-plan-ancrage.
2. Agent de Style : Induit un contrat global de style au niveau du document (couvrant la typographie, les couleurs et la mise en page) pour assurer la cohérence inter-pages.
3. Agent de Design Visuel : Traduit les mises en page en HTML résolu par le style et emploie une boucle de rétroaction itérative avec un Modèle Vision-Langage (VLM) pour détecter et corriger les défauts perceptuels (par exemple, texte coupé, chevauchements).

3. Résultats Clés

Les expériences menées sur UniPPTBench en utilisant UniPPTEval révèlent plusieurs constatations critiques :

• Variance de Performance : La performance des systèmes varie considérablement selon les contextes d'entrée. Une forte performance sur des métriques génériques n'implique pas nécessairement une forte réalisation de la tâche dans des scénarios ancrés.
• Goulot d'Étranglement de l'Ancrage : Les systèmes actuels présentent un écart significatif entre la fluidité visuelle et la réalisation effective de la tâche. Dans les scénarios multimodaux, les systèmes échouent fréquemment à l'alignement figure-affirmation ou à l'utilisation efficace des éléments visuels. Dans les tâches de long document, la fidélité du contenu est systématiquement inférieure à la couverture, indiquant des distorsions factuelles dans les sorties compressées.
• Défis de Synthèse : La synthèse multi-sources pose un défi d'ordre supérieur par rapport à la simple extraction de contenu. Les systèmes peinent souvent à organiser les informations récupérées en un récit cohérent et non redondant, présentant fréquemment des résumés isolés plutôt que des histoires unifiées.
• Fragmentation Open-Source : Bien que les systèmes open-source montrent des promesses, leur prise en charge de contextes d'entrée diversifiés reste fragmentée par rapport aux systèmes propriétaires, en particulier dans les scénarios ancrés et multi-entrées.
• Validité de l'Évaluation : Les métriques spécifiques au scénario proposées détectent avec succès des dégradations spécifiques aux capacités (par exemple, hallucinations, manque d'ancrage visuel) que les métriques partagées génériques manquent souvent. Le protocole d'évaluation démontre une haute fiabilité (faible écart-type entre les exécutions) et une robustesse (forte corrélation entre différents juges LLM).

4. Importance et Contributions

L'article revendique les contributions suivantes :

1. UniPPTBench : Le premier benchmark unifié couvrant quatre contextes d'entrée réels représentatifs (consigne vague, long document, document multimodal et multi-sources), permettant une comparaison systématique à travers divers flux de travail.
2. UniPPTEval : Un protocole d'évaluation conscient du scénario qui combine des métriques partagées de qualité de présentation avec des métriques spécifiques au contexte, déplaçant l'accent de la perception visuelle vers le traçage rigoureux des preuves.
3. UniPPTAgent : Une référence open-source transparente qui prend en charge les quatre contextes d'entrée, fournissant un point de comparaison reproductible pour les recherches futures.
4. Insights Diagnostiques : Des expériences extensives révélant des limitations persistantes des systèmes actuels concernant la compression ancrée, l'alignement multimodal, l'intégration inter-sources et la synthèse fidèle.

Les auteurs concluent que la génération de présentations ne doit pas être étudiée comme une tâche homogène unique, mais comme un problème unifié avec des exigences de capacités dépendantes du contexte. Le cadre proposé fournit une base fidèle et diagnostique pour évaluer et faire progresser les systèmes de génération de présentations dans divers scénarios réels. Le code et les données sont destinés à une publication publique.