PresentBench: A Fine-Grained Rubric-Based Benchmark for Slide Generation

Ce papier présente PresentBench, une nouvelle référence d'évaluation fine et basée sur des critères spécifiques pour la génération automatique de diapositives, qui démontre une meilleure corrélation avec les préférences humaines et révèle la supériorité de NotebookLM par rapport aux autres méthodes existantes.

L'essentiel

Imagine que vous devez préparer un exposé important pour votre entreprise ou vos études. Vous avez une montagne de documents (rapports, articles, livres) et vous devez transformer tout cela en un diaporama (PowerPoint) clair, beau et parfaitement exact. C'est un travail épuisant !

Récemment, l'intelligence artificielle (IA) a commencé à faire ce travail à notre place. Mais comment savoir si l'IA a bien fait son travail ? Est-ce qu'elle a inventé des chiffres ? Est-ce que le design est moche ? Est-ce qu'elle a oublié des pages importantes ?

C'est là que l'article "PresentBench" intervient. Voici une explication simple de ce que les chercheurs de l'Université Tsinghua ont créé, avec quelques images pour vous aider à visualiser.

1. Le Problème : Le "Juge Flou"

Jusqu'à présent, pour évaluer les diaporamas faits par l'IA, on utilisait une méthode un peu comme un jury de concours de beauté.

• L'ancienne méthode : On regardait le résultat final et on disait : "C'est joli, 4/5" ou "C'est moche, 2/5".
• Le souci : C'est trop vague. Si l'IA a inventé un chiffre faux mais que le design est beau, l'ancien juge pourrait quand même donner une bonne note. C'est comme noter un gâteau uniquement sur sa couleur, sans goûter s'il est salé par erreur !

2. La Solution : PresentBench, le "Contrôleur de Qualité"

Les chercheurs ont créé PresentBench, qui est comme un inspecteur de sécurité très rigoureux qui ne se contente pas de regarder la couleur du gâteau.

Au lieu de donner une note globale, PresentBench utilise une liste de contrôle (checklist) ultra-détaillée, comme un inspecteur de chantier ou un contrôleur aérien.

• Le concept : Pour chaque diaporama généré, l'IA doit répondre à 54 questions précises (en moyenne).
• Exemple de questions :
  • "La diapositive 3 contient-elle exactement le même chiffre que le document original ?" (Oui/Non)
  • "Y a-t-il un paragraphe trop long ?" (Oui/Non)
  • "Les couleurs sont-elles les mêmes du début à la fin ?" (Oui/Non)
  • "A-t-on oublié la section 'Conclusion' ?" (Oui/Non)

C'est comme si, au lieu de dire "Ce gâteau est bon", on vérifiait : "Y a-t-il du sucre ? Oui. Y a-t-il des œufs ? Oui. La température du four était-elle bonne ? Oui."

3. Comment ça marche ? (L'Analogie du Traducteur)

Imaginez que vous demandez à un traducteur IA de traduire un livre entier en une seule journée.

• L'ancien test : On lui demandait : "Est-ce que le texte est fluide ?"
• Le test PresentBench : On lui donne le livre original et on lui dit : "Vérifie chaque page. Est-ce que le mot 'Chien' a été traduit par 'Dog' et pas par 'Chat' ? Est-ce que la page 10 existe ? Est-ce que la ponctuation est correcte ?"

PresentBench fait exactement cela pour les diaporamas. Il compare mot pour mot, chiffre pour chiffre ce que l'IA a produit avec les documents originaux fournis.

4. Les Résultats : Qui est le meilleur ?

Les chercheurs ont mis en compétition plusieurs IA (comme NotebookLM, Gamma, Doubao, etc.) avec ce nouveau test difficile.

• La surprise : La plupart des IA ont eu des notes moyennes, voire mauvaises.
• Le champion : Une IA appelée NotebookLM (de Google) a largement gagné. Elle a réussi à suivre les instructions, à ne pas inventer de fausses informations et à faire un joli design.
• La leçon : Cela montre que créer un diaporama parfait est encore très difficile pour les IA. Elles sont souvent bonnes pour le style, mais elles font des erreurs de fait (elles "hallucinent" des données).

5. Pourquoi c'est important ?

PresentBench est comme un nouveau standard de vérité.

• Avant, on ne savait pas vraiment si les IA étaient fiables pour le travail sérieux (médecine, finance, éducation).
• Maintenant, avec cette liste de contrôle, on peut dire : "Cette IA est prête pour le travail réel, celle-là non."

En résumé :
PresentBench a remplacé le "juge qui donne un coup d'œil rapide" par un inspecteur avec une loupe et une liste de 54 points à cocher. Cela permet de voir exactement où l'IA échoue et de l'encourager à devenir plus précise, plus fiable et plus utile pour nos présentations du quotidien.

Résumé technique

1. Problématique et Contexte

La génération de diapositives (slides) est une tâche critique pour la communication dans les domaines académiques, éducatifs et commerciaux. Bien que les modèles génératifs récents aient rendu la création automatique de présentations de plus en plus réalisable, l'évaluation de la qualité de ces sorties reste un défi majeur.

Les limites des approches d'évaluation existantes sont identifiées comme suit :

• Grain grossier (Coarse-grained) : Les méthodes actuelles reposent souvent sur des jugements holistiques (ex: "La diapositive est-elle belle ?") plutôt que sur une analyse détaillée.
• Manque de vérifiabilité : Elles ne vérifient pas systématiquement la fidélité aux documents sources, ce qui rend difficile la détection des hallucinations ou des erreurs factuelles.
• Indépendance de l'instance (Instance-agnostic) : Les mêmes critères sont appliqués à toutes les présentations, ignorant les spécificités des documents sources et des instructions de tâche.
• Biais d'évaluation : Les frameworks actuels (comme PPTEval) tendent à produire des scores trop optimistes et manquent de pouvoir diagnostique pour identifier les échecs spécifiques.

L'objectif est donc de créer un benchmark capable d'évaluer de manière fiable, fine et vérifiable la génération de présentations réelles basées sur des matériaux longs et complexes.

2. Méthodologie : PresentBench

PresentBench est un benchmark fondé sur des rubriques fines (fine-grained rubrics) et des listes de contrôle (checklists). Il se distingue par une approche structurée en trois étapes principales :

A. Constitution du Dataset

• Volume et Diversité : Le dataset contient 238 instances d'évaluation expertes, couvrant cinq domaines : Académique, Éducation, Économie, Conférences (Talk) et Publicité.
• Matériaux Sources : Chaque instance est accompagnée de documents sources authentiques et longs (moyenne de 34 pages, ~22 000 tokens d'entrée), provenant de sources autoritaires (articles de conférences comme ICLR/CVPR, manuels universitaires, rapports financiers de grandes entreprises).
• Instructions Spécifiques : Pour chaque instance, des instructions de génération sont conçues manuellement, imposant des contraintes strictes sur la structure, la fidélité aux données, le style visuel et le public cible.

B. Évaluation par Liste de Contrôle (Checklist)

Au lieu d'un score global, PresentBench décompose l'évaluation en 54,1 items binaires (Oui/Non) par instance en moyenne. Ces items sont répartis en deux catégories complémentaires :

1. Checklist Indépendante des Matériaux (Material-Independent) : Évalue la qualité intrinsèque de la présentation sans référence aux sources.
   • Fondamentaux de la présentation : Clarté, flux logique, concision, sécurité.
   • Design et Mise en page : Cohérence visuelle, équilibre texte/image, lisibilité, absence de surcharge.
2. Checklist Dépendante des Matériaux (Material-Dependent) : Évalue la fidélité aux documents sources.
   • Complétude : Tous les points requis par l'instruction sont-ils présents ?
   • Exactitude : Les informations sont-elles correctes par rapport aux sources ?
   • Fidélité (Fidelity) : Vérification stricte au niveau de chaque diapositive pour s'assurer qu'aucune information n'est inventée (hallucination) ou contradictoire. C'est l'équivalent de la "précision" dans une tâche de récupération d'information.

C. Protocole de Scoring

Chaque item de la liste de contrôle est vérifié indépendamment par un modèle juge (MLLM). Un verdict binaire est attribué avec une justification locale (ex: "Non, la diapositive 12 contient une valeur erronée par rapport à la page 5 du document source"). Le score final est la moyenne des scores normalisés sur les cinq dimensions.

3. Résultats Expérimentaux

Les auteurs ont évalué plusieurs systèmes de génération de diapositives (NotebookLM, Manus 1.6, Gamma, Doubao, PPTAgent, etc.) sur PresentBench.

• Performance Globale : Même le meilleur système (NotebookLM) n'obtient qu'un score global de 62,5/100, indiquant que la génération de présentations ancrées dans des documents longs reste un problème non résolu.
• Comparaison avec l'État de l'Art :
  • NotebookLM surpasse systématiquement les autres modèles, suivi par Manus 1.6.
  • Les systèmes open-source (comme PPTAgent) et les modèles plus petits (Qwen) obtiennent des scores significativement plus bas, soulignant un écart de capacité entre les solutions propriétaires et open-source.
• Points Faibles Identifiés :
  • Design Visuel : C'est le principal goulot d'étranglement. Même les meilleurs modèles obtiennent des scores faibles (62 pour NotebookLM) sur la dimension "Design & Layout", tandis que les scores sur les "Fondamentaux" sont plus élevés (81).
  • Fidélité aux Données : Les erreurs factuelles et les hallucinations numériques sont fréquentes. La dimension "Fidélité" est particulièrement difficile, avec des scores autour de 45 pour les meilleurs modèles.
• Alignement Humain : PresentBench montre une corrélation de Spearman de 0,532 avec les préférences humaines, ce qui est nettement supérieur à PPTEval (0,303) et aux approches de type "LLM-as-a-Judge" standard (0,258). Cela prouve que l'évaluation fine et basée sur des preuves correspond mieux au jugement humain.

4. Contributions Clés

1. Présentation de PresentBench : Un benchmark réaliste et rigoureux pour la génération de diapositives, composé de 238 instances complexes avec des matériaux sources longs.
2. Cadre d'Évaluation Fin et Vérifiable : Introduction d'une méthodologie basée sur des listes de contrôle atomiques (~54 items/instance) qui décompose l'évaluation en critères vérifiables, permettant un diagnostic précis des erreurs.
3. Analyse Comparative Détaillée : Une évaluation exhaustive des systèmes actuels révélant que, bien que la structure et le contenu soient souvent corrects, la qualité visuelle et la fidélité stricte aux données restent des défis majeurs.
4. Validation de l'Alignement Humain : Démonstration que les méthodes d'évaluation fines sont plus corrélées aux préférences humaines que les jugements holistiques actuels.

5. Signification et Impact

PresentBench marque un tournant dans l'évaluation des agents IA pour les tâches de bureau complexes. En passant d'une évaluation subjective à une vérification objective et granulaire, il :

• Fournit un test de référence rigoureux pour mesurer les progrès réels des modèles.
• Met en lumière les lacunes spécifiques (design, hallucinations) qui empêchent l'adoption massive de ces outils en milieu professionnel.
• Encourage le développement de pipelines spécialisés pour la conception visuelle et la vérification factuelle, au-delà de la simple génération de texte.

Le benchmark met en évidence que NotebookLM représente actuellement l'état de l'art dans ce domaine, mais que l'écart avec les besoins réels (notamment en matière de design et de précision absolue) reste significatif, ouvrant la voie à de futures recherches sur l'intégration de moteurs de rendu visuel et de vérification de faits plus robustes.