Technische Samenvatting: UniPPTBench en UniPPTEval

1. Probleemstelling

Recente vooruitgang in multimodale generatieve modellen heeft automatische presentatiegeneratie steeds haalbaarder gemaakt. Het vakgebied mist echter momenteel een unified raamwerk om deze systemen te evalueren over de diverse invoerinstellingen die in real-world scenario's voorkomen. Bestaand onderzoek en benchmarks isoleren doorgaans specifieke invoerregimes—zoals generatie uitsluitend op basis van instructies of conversie van een enkel document naar dia's—en slagen er niet in om het spectrum van gebruikersbehoeften aan te pakken, variërend van vage prompts tot complexe, multi-bron synthese.

Bovendien zijn de huidige evaluatiemethoden onvoldoende scenario-specifiek. Ze vertrouwen voornamelijk op generieke criteria voor presentatiekwaliteit (zoals visuele aantrekkelijkheid, lay-outkwaliteit en algehele coherentie). Deze metrieken slagen er vaak niet in om kerncapaciteiten te diagnosticeren die nodig zijn voor specifieke invoer, zoals grondige compressie, visueel-tekstuele uitlijning en synthese over meerdere bronnen. Bijgevolg kan een systeem een visueel gepolijste set dia's produceren die toch cruciaal bewijsmateriaal wegglaat, grafieken verkeerd voorstelt of niet in staat is tegenstrijdige informatie uit meerdere bronnen te verzoenen. Het vakgebied vereist een unified benchmark en een protocol voor evaluatie dat rekening houdt met het scenario, om presentatiegeneratiesystemen in diverse real-world settings op een betrouwbare manier te diagnosticeren.

2. Methodologie

A. UniPPTBench: Een Unified Benchmark

De auteurs introduceren UniPPTBench, een benchmark ontworpen om vier representatieve invoerinstellingen te bestrijken, georganiseerd op basis van toenemende grondingscomplexiteit:

1. Vage-Prompt: Evalueert open-ended planning onder onvoldoende gespecificeerde gebruikersintentie zonder bronmaterialen.
2. Lang Document: Test brongetrouwe compressie en inhoudsselectie uit uitgebreide teksten (gemiddeld ~128 pagina's).
3. Multimodaal Document: Legt de nadruk op uitlijning tussen tekstuele claims en visueel materiaal (figuren, grafieken, tabellen) binnen een document.
4. Multi-Bron: Vereist integratie van bewijs, verwijdering van redundantie en getrouwe synthese over meerdere heterogene documenten (gemiddeld ~59 pagina's uit ~4,5 bronnen).

De dataset omvat 126 taken over zes toepassingsdomeinen (bijv. Onderzoek, Zaken, Beleid), opgebouwd uit autoritatieve publieke bronnen (SEC EDGAR, arXiv, VN, enz.). Het constructieproces omvat broncollectie, taakformulering (koppeling van documenten aan realistische intenties), metadata-annotatie (identificatie van kernpunten en bewijsreeksen) en strikte kwaliteitscontrole.

B. UniPPTEval: Een Protocol voor Evaluatie Bewust van het Scenario

Om de beperkingen van generieke metrieken aan te pakken, stellen de auteurs UniPPTEval voor, dat evaluatie ontkoppelt in twee componenten:

1. Gedeelde Metrieken: Een compacte set metrieken afgeleid via menselijke afstemming, orthogonaliteitsanalyse en selectie aan de grens van efficiëntie en nauwkeurigheid. Deze omvatten Instructie-Invulling, Betrokkenheid, Inhoudelijke Nauwkeurigheid, Visuele Consistentie en Visuele Integriteit. Ze maken cross-setting vergelijking van algemene dia-setkwaliteit mogelijk.
2. Scenario-specifieke Metrieken: Metrieken op maat gemaakt voor de kernvereisten van elke invoerinstelling, gebruikmakend van een Bron-Gebaseerde Evaluatie paradigma. Dit paradigma hanteert een verificatielogica met twee paden:
   • Macro-niveau Dekkingscontrole: Verifieert in welke mate gegenereerde dia's een lijst met kerninformatie afgeleid van bronmaterialen dekken.
   • Micro-niveau Feitelijke Nagevolgdheid: Ontleedt dia-inhoud aan specifieke claims en verifieert deze tegen bronmaterialen om waarheidsgetrouwheid te waarborgen.

Specifieke metrieken omvatten Dekking Kernpunten en Inhoudelijke Getrouwheid voor Lang Document; Gebruik Visuele Elementen, Uitlijning Figuur-Claim en Fideliteit van Grafiekvertaling voor Multimodaal; en Dekking Over Documenten, Integratie en Redundantie-Deduplicatie voor Multi-Bron.

C. UniPPTAgent: Een Unified Baseline

De auteurs ontwikkelen UniPPTAgent, een open-source, multi-agent framework ontworpen om alle vier invoerinstellingen te ondersteunen binnen een unified pijplijn. In tegenstelling tot eerdere systemen die zijn toegespitst op enkele regimes, decomposeert UniPPTAgent generatie in drie gespecialiseerde agenten:

1. Narrative Agent: Normaliseert heterogene invoer naar een gestructureerde kennisbank en genereert dia-ontwerpen en paginabeschrijvingen via een plan-ontwerp-grond procedure.
2. Style Agent: Leidt een globaal stijlcontract op documentniveau af (dekkend typografie, kleuren en lay-out) om consistentie over pagina's heen te waarborgen.
3. Visual Design Agent: Vertaalt lay-outs naar stijl-opgeloste HTML en hanteert een iteratieve feedbacklus met een Vision-Language Model (VLM) om perceptuele gebreken te detecteren en te corrigeren (bijv. afgesneden tekst, overlappingen).

3. Belangrijkste Resultaten

Experimenten op UniPPTBench met UniPPTEval onthullen enkele kritieke bevindingen:

• Prestatievariatie: Systeemprestaties variëren aanzienlijk over invoerinstellingen. Sterke prestaties op generieke metrieken impliceren niet noodzakelijk sterke taakinvulling in grondige scenario's.
• Grondingsknelpunt: Huidige systemen vertonen een significante kloof tussen visuele vloeiendheid en daadwerkelijke taakinvulling. In multimodale scenario's slagen systemen er vaak niet in in figuur-claim uitlijning of effectief gebruik van visuele elementen. Bij taken met lange documenten is inhoudelijke getrouwheid consequent lager dan dekking, wat wijst op feitelijke vervormingen in gecomprimeerde outputs.
• Synthese Uitdagingen: Synthetiseren over bronnen heen vormt een hogere-orde uitdaging dan eenvoudige inhoudsextractie. Systemen worstelen vaak om opgehaalde informatie te organiseren in een coherent, niet-redundant verhaal, en presenteren vaak geïsoleerde samenvattingen in plaats van verenigde verhalen.
• Open-source Fragmentatie: Hoewel open-source systemen veelbelovend zijn, blijft hun ondersteuning voor diverse invoerinstellingen gefragmenteerd in vergelijking met propriëtaire systemen, met name in grondige en multi-invoer scenario's.
• Validiteit van Evaluatie: De voorgestelde scenario-specifieke metrieken detecteren succesvol capaciteitsspecifieke degradaties (bijv. hallucinaties, ontbrekende visuele gronding) die generieke gedeelde metrieken vaak missen. Het evaluatieprotocol toont hoge betrouwbaarheid (lage standaardafwijking over runs) en robuustheid (hoge correlatie tussen verschillende LLM-beoordelaars).

4. Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

1. UniPPTBench: De eerste unified benchmark die vier representatieve real-world invoerinstellingen bestrijkt (vage-prompt, lang document, multimodaal document en multi-bron), waardoor systematische vergelijking over diverse workflows mogelijk wordt.
2. UniPPTEval: Een protocol voor evaluatie bewust van het scenario dat gedeelde metrieken voor presentatiekwaliteit combineert met instelling-specifieke metrieken, en de focus verschuift van visuele perceptie naar rigoureuze bewijstracering.
3. UniPPTAgent: Een transparante, open-source referentie-baseline die alle vier invoerinstellingen ondersteunt, en een reproduceerbaar vergelijkingspunt biedt voor toekomstig onderzoek.
4. Diagnostische Inzichten: Uitgebreide experimenten die aanhoudende beperkingen in huidige systemen blootleggen met betrekking tot grondige compressie, multimodale uitlijning, integratie over bronnen heen en getrouwe synthese.

De auteurs concluderen dat presentatiegeneratie niet als een enkele homogene taak moet worden bestudeerd, maar als een unified probleem met instellingsafhankelijke capaciteitsvereisten. Het voorgestelde raamwerk biedt een betrouwbare en diagnostische basis voor het evalueren en verbeteren van presentatiegeneratiesystemen in diverse real-world scenario's. Code en data zijn bedoeld voor publieke release.