Technische Samenvatting: X+Slides: Benchmarking van Audiëntie-geconditioneerde Dia-generatie

1. Probleemformulering

Het artikel identificeert een kritiek gat in bestaande benchmarks voor automatische dia-generatie: deze beoordelen primair bronvolledigheid, lay-out en visuele coherentie, terwijl ze impliciet uitgaan van een "one-size-fits-all"-paradigma waarbij alle bronfeiten even waardevol zijn. In werkelijkheid is dia-generatie een audiëntie-geconditioneerde taak. Een enkel brondocument (bijv. een wetenschappelijk artikel) vereist fundamenteel andere informatie-selectie afhankelijk van de doelgroep:

• Specialisten hebben behoefte aan rigoureuze bewijzen, aannames en ablatiestudies.
• Leerlingen hebben behoefte aan kernideeën, motivaties en voorbeelden.
• Besluitvormers geven prioriteit aan actiegerichte conclusies, risico's en hoogwaardige implicaties.

Bestaande metrieken slagen er niet in om onderscheid te maken tussen een deck dat een bron getrouw samenvat en een deck dat strategisch informatie selecteert die relevant is voor een specifiek publiek. Bovendien verwarren huidige evaluaties vaak bron-alignement met audiëntie-utiliteit, waardoor het moeilijk is om te isoleren of een systeem faalt door slechte generatie of slechte aanpassing aan de doelgroep.

2. Methodologie: Het X+Slides Framework

X+Slides introduceert een benchmark en een evaluatiepijplijn die ontworpen zijn om brondekking te ontkoppelen van audiëntie-utiliteit. De kerninnovatie is een tweestaps-evaluatieproces met behulp van een gedeelde, audiëntie-agnostische probe-bank.

2.1 Benchmark Constructie

• Corpus: De dataset beslaat 113 diverse onderwerpen (50 academische papers, 63 niet-academische rapporten in beleid, business, gezondheid, etc.) verspreid over 7 presentatiescenario's.
• Probe Generatie: Een LLM genereert 8.133 gededupliceerde, bron-gegronde probes (vraag-antwoordparen met bewijssegmenten) uit de brondocumenten. Deze probes zijn audiëntie-agnostisch, wat betekent dat ze zijn gegenereerd zonder kennis van de doelgroep om een consistente feitelijke baseline te waarborgen.
• Probe Attributen: Elke probe is getagd met:
  • Dieptepeil (1–4): Variërend van context/motivatie (Niveau 1) tot implementatiedetails/hyperparameters (Niveau 4).
  • Informatiedomein: Context, Methode, Bewijs, Beperkingen, Implementatie, Implicaties.
  • Bewijsmodaliteit: Tekst, tabel, grafiek, figuur, vergelijking of multimodale mix.

2.2 Audiëntie-geconditioneerde Scoring

In plaats van verschillende vragen te genereren voor verschillende doelgroepen, wijst X+Slides audiëntie-specifieke utiliteitsgewichten ($w_j$) toe aan dezelfde set probes op basis van het audiëntieprofiel (Specialist, Leerling, Besluitvormer) en het presentatiescenario.

• Utiliteitsdrempel ($\tau_A$): Probes met gewichten boven een drempelwaarde (bijv. $\tau_A = 0,7$) worden beschouwd als "essentieel" voor die specifieke doelgroep.
• Evaluatielogica: Een gegenereerd deck wordt gescoord op basis van de vraag of de essentiële probes voor een specifieke doelgroep beantwoord kunnen worden met behulp van zichtbare dia-inhoud die onderbouwd wordt door het bronbewijs.

2.3 Evaluatiemetrieken

Het framework rapporteert vier complementaire metrieken:

1. Audiëntie-dekking (Audience Coverage): Het gewogen deel van de voor een specifieke doelgroep essentiële broninformatie die succesvol in het deck is overgebracht.
2. Domein-specifieke dekking (Domain-wise Coverage): Een granulaire uitsplitsing van de dekking over de zes informatiedomeinen (bijv. hoe goed "Methode"-details worden gedekt voor een specialist versus een leerling).
3. Efficiëntie: De dichtheid van nuttige informatie geleverd per eenheid van aandachtskosten (gemeten aan de hand van aantal dia's en woordenaantal).
4. Correctheid (Correctness): Een bewakingsmetriek die verifieert dat claims in het deck feitelijk worden ondersteund door de bron, om te voorkomen dat plausibele maar gehallucineerde inhoud wordt beloond.
5. SafeEfficiency: Het product van Efficiëntie en Correctheid, wat staat voor nuttige utiliteit die ook gegrond is.

3. Belangrijkste Bijdragen

1. Formele Conceptualisering: Definieert dia-generatie als een conditionele mapping $f: S \times A \times C \to T$, waarbij audiëntie-adaptatie expliciet wordt geframed als een meetbaar informatie-selectieprobleem in plaats van een vaag prompting-doel.
2. Ontkoppelde Probe-bank: Ontwikkelt een door bewijs ondersteunde, audiëntie-agnostische probe-bank die vervolgens gewogen wordt. Dit maakt een eerlijke vergelijking tussen doelgroepen mogelijk met dezelfde feitelijke baseline.
3. Omvattend Metriek-suite: Introduceert een vierdimensionaal evaluatieframework (Dekking, Domein-specifieke Dekking, Efficiëntie, Correctheid) dat onderscheid maakt tussen getrouwe adaptatie, generieke samenvatting en hallucinatie.
4. Reproduceerbare Benchmark: Publiceert een dataset van 113 onderwerpen, 8.133 probes, drie audiëntieprofielen en een volledig reproduceerbare evaluatiepijplijn.
5. Empirische Evaluatie: Biedt een diepgaande analyse van huidige state-of-the-art systemen (DeepPresenter, SlideTailor) en een gerichte ablatie van NotebookLM.

4. Experimentele Resultaten

De auteurs evalueerden DeepPresenter, SlideTailor en NotebookLM (als ablatie) onder zowel audiëntie-agnostische als audiëntie-geconditioneerde instellingen.

• Partiële herwinning van essentiële informatie: Huidige systemen herwinnen een aanzienlijk maar incompleet deel van de voor de doelgroep essentiële informatie.
  • Bij $\tau_A = 0,7$ bereikte DeepPresenter de beste Audience Coverage van 0,714 (voor Leerlingen).
  • SlideTailor bereikte 0,594 (voor Leerlingen).
  • NotebookLM (agnostische instelling) bereikte 0,853 voor Besluitvormers, hoewel de beeldgebaseerde outputs directe efficiëntievergelijkingen verhinderden.
• Effecten van Audiëntie-conditionering:
  • Conditionering via prompts verbeterde over het algemeen de Audience Coverage (bijv. de Specialist-dekking van DeepPresenter steeg van 0,413 naar 0,496).
  • Domain-wise Coverage toonde aan dat conditionering succesvol de focus verschuift (bijv. specialisten ontvangen meer "Methode" en "Bewijs" dekking, terwijl besluitvormers meer "Implicaties" en "Context" ontvangen).
• Correctheid versus Efficiëntie:
  • Correctheidsscores bleven hoog (ca. 0,82–0,85) over alle systemen, wat aangeeft dat de meeste claims door de bron worden ondersteund.
  • Echter, SafeEfficiency varieerde aanzienlijk. Zo had het geconditioneerde leerling-deck van SlideTailor de hoogste SafeEfficiency onder de PPTX-genererende systemen, terwijl het geconditioneerde leerling-deck van DeepPresenter de hoogste Audience Coverage had.
• Trade-offs: Het artikel merkt op dat optimalisatie voor één metriek (bijv. brede dekking) geen garantie biedt voor optimalisatie van andere metrieken (bijv. efficiëntie of correctheid). Audiëntie-prompts veranderen succesvol de informatie-selectie, maar verbeteren niet automatisch alle dimensies van kwaliteit.

5. Betekenis en Claims

Het artikel claimt dat X+Slides een fundamentele verschuiving vertegenwoordigt van document-alignement naar maximalisatie van de audiëntie-utiliteit.

• Differentiatie: Het demonstreert dat visuele kwaliteit en brede onderwerpdekking onvoldoende proxies zijn voor de kwaliteit van dia's; zonder bron-gegronde, audiëntie-geconditioneerde evaluatie kunnen systemen succesvol lijken terwijl ze cruciale behoeften van de doelgroep missen of ongegronde claims bevatten.
• Beperkingen: De auteurs erkennen bescheiden huidige beperkingen, waaronder potentiële hiaten in door LLM gegenereerde probes voor zeer visuele documenten, de breedte van de drie audiëntieprofielen, en de afhankelijkheid van tekstuele scoring die grafieken of lay-out-gebaseerde verklaringen niet direct evalueert.
• Toekomstige Impact: Het framework is gepositioneerd om wetenschappelijke communicatie, onderwijs, beleidsbriefing en zakelijke besluitvorming te ondersteunen, en dringt aan bij de gemeenschap om audiëntie-adaptatie te behandelen als een rigoureuze informatie-selectie uitdaging in plaats van een louter stilistische aanpassing.