PresentBench: A Fine-Grained Rubric-Based Benchmark for Slide Generation

Dit paper introduceert PresentBench, een fijnmazig, op rubrics gebaseerd benchmark met 238 instances en gedetailleerde checklists om de kwaliteit van automatisch gegenereerde presentaties nauwkeuriger te evalueren en aan te tonen dat NotebookLM andere methoden significant overtreft.

De kern

Stel je voor dat je een presentatie moet maken voor je werk of school. Je hebt een stapel documenten, rapporten en notities (de "achtergrondmaterialen"). Je moet deze omzetten in een strakke, mooie PowerPoint-presentatie die iedereen begrijpt.

Vroeger was dit een enorm gedoe: je moest zelf de tekst samenvatten, de plaatjes zoeken en zorgen dat alles er mooi uitzag. Nu kunnen slimme computers (AI) dit voor je doen. Maar hier zit een probleem: hoe weet je of die computer een goede job heeft gedaan?

Dit is waar het onderzoek PresentBench van de Tsinghua Universiteit om de hoek komt kijken. Hier is een uitleg in simpele taal, met wat creatieve vergelijkingen.

1. Het Probleem: De "Grote Duim" vs. De "Schaar"

Tot nu toe keken mensen (of andere AI's) naar een gegenereerde presentatie en zeiden: "Ja, dit ziet er wel goed uit, 4 van de 5 sterren!" of "Nee, dit is raar, 2 van de 5."

Dit is als een chef die een gerecht proeft en zegt: "Het smaakt goed." Maar hij heeft niet gekeken of de kok de juiste ingrediënten heeft gebruikt, of de vis wel vers was, of of er per ongeluk een vlieg in de soep zat.

• De oude manier: Kijkt naar het geheel (de "grote duim"). Het is vaag en subjectief.
• PresentBench: Kijkt met een microscoop. Het is een enorme checklist met honderden kleine vragen.

2. De Oplossing: De "Super-Keurmeester" Checklist

PresentBench is geen gewoon testje; het is een gedetailleerde keuringslijst (een "rubric").

Stel je voor dat je een huis bouwt. Een oude keurmeester zegt: "Het huis ziet er mooi uit."
PresentBench is als een inspecteur die een lijstje heeft met 54 vragen per huis, zoals:

• "Is de deur aan de linkerkant of de rechterkant?" (In de opdracht stond links).
• "Is de tegelkleur exact hetzelfde als in het ontwerp?"
• "Heeft de keuken 3 kasten, zoals gevraagd?"
• "Is de elektriciteitsmeter wel aangesloten op de juiste kabel?"

In dit onderzoek hebben ze 238 echte situaties gemaakt (bijvoorbeeld: "Maak een presentatie over een wetenschappelijk artikel" of "Maak een verkooppresentatie voor een auto"). Voor elke situatie hebben ze een unieke lijst met ongeveer 54 ja/nee-vragen gemaakt.

3. De Vijf Dimensies van de Checklist

De checklist kijkt naar vijf belangrijke dingen, alsof je een presentatie beoordeelt als een meesterwerk:

1. De Basis (Fundamentals): Is het logisch opgebouwd? Is de tekst kort en krachtig (geen rommel)?
2. Het Uiterlijk (Design): Ziet het er mooi uit? Zijn de kleuren en lettertypes consistent? Is het niet te volgepropt?
3. Volledigheid (Completeness): Heeft de AI alles gedaan wat er gevraagd werd? (Bijv. "Zorg dat er een slide over de resultaten staat").
4. Juistheid (Correctness): Zijn de feiten kloppend? (Bijv. "Staat er wel dat de winst 10% is en niet 100%?").
5. Trouw aan de Bron (Fidelity): Dit is het belangrijkst. Heeft de AI niets verzonnen? Als de bron zegt dat er 500 mensen waren, en de AI schrijft 5000, dan is het een "halucinatie" (een leugen). De AI moet trouw blijven aan de originele documenten.

4. Wat hebben ze ontdekt? (De Uitslag)

Ze hebben verschillende AI-systemen getest (zoals NotebookLM, Gamma, Qwen, en een open-source versie genaamd PPTAgent).

• De winnaar: NotebookLM (van Google) deed het het beste. Het was de enige die echt goed luisterde naar de bronnen en geen rare feiten verzon.
• Het zwakke punt: De meeste AI's zijn goed in het maken van een structuur (een mooi skelet), maar ze zijn slecht in het ontwerp (de kleding) en het nauwkeurig overnemen van cijfers. Ze vergeten vaak details of maken er iets moois van dat niet waar is.
• Open Source vs. Gesloten: De gratis, open-source systemen (zoals PPTAgent) bleven achter bij de dure, gesloten systemen (zoals NotebookLM). Dit suggereert dat er meer nodig is dan alleen een slimme taalcomputer; je hebt ook een slimme "ontwerper" en "controleur" nodig die samenwerken.

5. Waarom is dit belangrijk?

Vroeger dachten we: "AI maakt wel een presentatie, dat is makkelijk."
PresentBench laat zien: "Nee, het is heel moeilijk om een presentatie te maken die echt waar is, mooi is en alles bevat wat gevraagd werd."

Dit nieuwe testje (PresentBench) is als een straftrainer voor AI. Het dwingt de systemen om niet alleen te "gissen", maar om echt te bewijzen dat ze de opdracht hebben begrepen.

Kort samengevat:
PresentBench is de eerste keer dat we een AI-presentatie niet beoordelen op "het ziet er leuk uit", maar op "heeft hij precies gedaan wat ik vroeg, zonder te liegen en zonder een lelijke lettertype te gebruiken?". En tot nu toe: het is nog een hele uitdaging voor de computers!

Technische samenvatting

Probleemstelling

Het creëren van hoogwaardige presentaties (slides) is een cognitief veeleisende taak die essentieel is in academische, educatieve en zakelijke contexten. Hoewel generatieve modellen (zoals LLM's en multimodale AI's) steeds beter worden in het automatiseren van deze taak, ontbreekt het aan betrouwbare methoden om de kwaliteit van gegenereerde slides nauwkeurig te beoordelen.

Bestaande evaluatiebenchmarks lijden onder de volgende beperkingen:

1. Grofkorrelige evaluatie: Veel methoden gebruiken holistische oordelen (bijv. een score van 1-5) die te vaag zijn om specifieke fouten te diagnosticeren.
2. Gebrek aan context: Evaluaties zijn vaak "instance-agnostisch", wat betekent dat ze dezelfde vragen stellen aan alle presentaties, zonder rekening te houden met de specifieke achtergrondmaterialen of taakeisen.
3. Onverifieerbaarheid: Zonder gedetailleerde criteria is het moeilijk te verifiëren of een model feitelijke fouten maakt, hallucinaties introduceert of de instructies correct volgt.
4. Mismatch met realiteit: Veel benchmarks evalueren alleen losse subtaken (zoals het genereren van één dia) in plaats van het volledige end-to-end proces van het maken van een complete presentatie op basis van lange documenten.

Methodologie: PresentBench

De auteurs introduceren PresentBench, een fijnkorrelig, rubric-gebaseerd benchmark voor het evalueren van geautomatiseerde slide-generatie in real-world scenario's. De methodologie bestaat uit drie hoofdblokken:

1. Dataset Curation (238 Instances)

• De dataset bevat 238 expert-gecureerde evaluatie-instanties uit vijf domeinen: Academie, Onderwijs, Economie, Spreken (Talks) en Reclame.
• Elke instantie is gekoppeld aan authentieke achtergrondmaterialen (bijv. top-tier conferentiepapers, universiteitsboeken, financiële rapporten) met een gemiddelde lengte van 22.2k tokens (ongeveer 34 pagina's).
• De taken vereisen dat modellen lange contexten samenvatten tot een coherent geheel, wat een grote uitdaging vormt voor huidige modellen.

2. Gedetailleerde Instructies

• Voor elke instantie wordt een specifieke instructie ontworpen die strenge beperkingen oplegt qua structuur (aantal slides, volgorde van secties), inhoud (alleen gebaseerd op de bron, geen hallucinaties), visuele lay-out en doelgroep.
• De instructies verbieden het toevoegen van niet-ondersteunde informatie en eisen exacte kwantitatieve nauwkeurigheid.

3. Fijnkorrelige Checklist-Evaluatie
In plaats van één holistische score, gebruikt PresentBench een checklist met gemiddeld 54.1 binaire items per instantie. Deze items zijn onderverdeeld in twee lagen:

• Materiaal-onafhankelijke checklist: Beoordeelt de intrinsieke kwaliteit zonder de bron te raadplegen.
  • Presentatie Fundamenten: Logische flow, beknoptheid, taalgebruik.
  • Visueel Ontwerp & Lay-out: Consistentie, balans tussen tekst en beeld, leesbaarheid.
• Materiaal-afhankelijke checklist: Beoordeelt de trouw aan de bronmaterialen.
  • Inhoudscompleetheid: Zijn alle vereiste secties en punten aanwezig?
  • Inhoudsnauwkeurigheid: Zijn de feiten en cijfers correct volgens de instructie?
  • Inhoudstrouw (Fidelity): Is elke stelling, elk cijfer en elke grafiek traceerbaar naar de bron? (Dit voorkomt hallucinaties).

Elk checklist-item wordt onafhankelijk beoordeeld door een "Judge Model" (een multimodaal LLM) met een binair oordeel (Ja/Nee) en een onderbouwing. De uiteindelijke score is het gemiddelde van de vijf dimensies.

Belangrijkste Bijdragen

1. PresentBench Benchmark: De eerste benchmark die zich richt op real-world, end-to-end slide-generatie met lange contexten en strikte bron-trouw.
2. Rubric-Based Framework: Een systeem dat evaluatie decomposeert in verifieerbare, instance-specifieke binaire vragen, wat leidt tot diagnoseerbare resultaten in plaats van vage scores.
3. Uitgebreide Dataset: Een collectie van 238 complexe taken uit diverse domeinen, inclusief de bijbehorende achtergrondmaterialen en gedetailleerde instructies.
4. Human Alignment: Bewijs dat deze methode beter correleert met menselijke voorkeuren dan bestaande "LLM-as-a-Judge" methoden.

Resultaten

De auteurs hebben diverse state-of-the-art systemen getest, waaronder NotebookLM, Manus 1.6, Gamma, Doubao, en open-source frameworks zoals PPTAgent.

• Algemene Prestaties: Zelfs de beste systemen (NotebookLM) halen een totale score van slechts 62.5%, wat aangeeft dat geautomatiseerde slide-generatie nog verre van opgelost is.
• Visueel Ontwerp als Bottleneck: De dimensie "Visueel Ontwerp & Lay-out" scoort het laagst (NotebookLM: 62.8, anderen vaak <50). Modellen kunnen vaak goede content genereren, maar falen in het creëren van gepolijste, visueel consistente presentaties.
• Brontrouw: Hoewel modellen vaak de juiste structuur hebben (hoge "Completeness"), maken ze veel fouten in feitelijke nauwkeurigheid en cijfers ("Correctness" en "Fidelity"). Hallucinatie van data is een veelvoorkomend probleem.
• Closed-Source vs. Open-Source: Gesloten systemen (zoals NotebookLM) presteren significant beter dan open-source alternatieven (zoals PPTAgent), wat suggereert dat proprietaire end-to-end pipelines en lange-context-planning cruciaal zijn.
• Human Alignment: PresentBench toont een Spearman-correlatie van 0.532 met menselijke rankings, wat aanzienlijk hoger is dan PPTEval (0.303) en een "LLM-as-a-Judge Ranking" baseline (0.258). Dit bevestigt dat de fijnkorrelige checklist menselijke oordelen beter nabootst.

Betekenis en Impact

PresentBench verlegt de lat voor de evaluatie van slide-generatie. Door over te stappen van holistische, subjectieve scores naar verifieerbare, fijnkorrelige checklists, biedt het:

• Betrouwbaardere Vergelijkingen: Het maakt het mogelijk om subtiele verschillen in modelcapaciteiten te meten, vooral op het gebied van feitelijke juistheid en visuele consistentie.
• Diagnose van Fouten: Het biedt ontwikkelaars concrete feedback over waar een model faalt (bijv. "Slide 12 mist de juiste cijfers" in plaats van "de presentatie is slecht").
• Stimulans voor Vooruitgang: De benchmark onthult dat hoewel er vooruitgang is geboekt (met NotebookLM als leider), er nog grote uitdagingen zijn in het combineren van lange-contextbegrip, feitelijke nauwkeurigheid en professioneel visueel ontwerp.

Kortom, PresentBench fungeert als een rigoureuze testomgeving die de ontwikkeling van AI-assistenten voor kantoorwerkzaamheden naar een hoger niveau tilt door eisen te stellen die dichter liggen bij de realiteit van professionele presentatie-creatie.