💻 computer science

X+Slides: Benchmarking Audience-Conditioned Slide Generation

Das Paper stellt X+Slides vor, einen neuartigen Benchmark mit einem dynamischen, publikumskonditionierten Evaluierungsrahmen mit vier komplementären Metriken, um zu bewerten, wie gut große Sprachmodelle Folienpräsentationen erstellen, die eine Balance zwischen quellenbasierter Korrektheit und den spezifischen Informationsbedürfnissen unterschiedlicher Zielgruppen halten.

Ursprüngliche Autoren: Haodong Chen, Xuanhe Zhou, Wei Zhou, Xinyue Shao, Yanbing Zhu, Bo Wang, Jiawei Hong, Anya Jia, Fan Wu

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haodong Chen, Xuanhe Zhou, Wei Zhou, Xinyue Shao, Yanbing Zhu, Bo Wang, Jiawei Hong, Anya Jia, Fan Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein massives, dichtes Lexikon zu einem bestimmten Thema. Nun stellen Sie sich vor, Sie müssten dieses Lexikon in eine kurze, prägnante Präsentation verwandelt.

Das Problem ist: Wer zuschaut, verändert alles.

Wenn Sie vor einem Wissenschaftler präsentieren, will dieser die Details bis ins kleinste Haar, die mathematischen Beweise und die winzigen Ausnahmen.
Wenn Sie vor einem CEO präsentieren, interessiert ihn nur das Endergebnis, die Risiken und die Frage: „Was tun wir als Nächstes?“
Wenn Sie vor einem Studenten präsentieren, braucht dieser nur das große Ganze und eine einfache Geschichte.

Lange Zeit waren Computer, die solche Folien erstellen sollten, wie ein schlechter Kellner, der jedem das exakt gleiche Gericht serviert: ein riesiges, ungeschnittenes Steak. Es mag „korrekt“ sein (das Steak ist echt), aber es ist nutzlos für den Vegetarier, das Kind oder die Person, die nur einen schnellen Snack möchte.

Dieses Paper stellt X+Slides vor, einen neuen Weg, um zu testen, ob eine KI ein besserer Kellner sein kann.

Die Kernidee: Die „Universelle Fragenbank“

Anstatt die KI raten zu lassen, was das Publikum möchte, haben die Forscher eine massive, neutrale „Fragenbank“ basend auf dem Quelldokument erstellt. Denken Sie an dies wie eine Masterliste mit jedem möglichen Fakt aus dem Lexikon.

Die neutrale Liste: Zuerst generieren sie tausende Fragen zum Dokument (z. B. „Was war die Experimentmethode?“ oder „Was ist die Hauptschlussfolgerung?“). Diese Fragen sind neutral; sie wissen noch nicht, wer zuschaut.
Der Publikums-Filter: Dann wenden sie einen „Filter“ basierend auf dem Publikum an.
- Für den Wissenschaftler besagt der Filter: „Die Methode-Frage ist 100 Punkte wert. Die ‚Big Picture‘-Frage ist 10 Punkte wert.“
- Für den CEO dreht sich der Filter um: „Die ‚Big Picture‘-Frage ist 100 Punkte wert. Die Methode-Frage ist 0 Punkte wert.“
Die Punktzahl: Die KI erstellt ein Folien-Set. Die Forscher prüfen dann: „Hat die KI die hochwertigen Fragen für dieses spezifische Publikum enthalten?“

Die vier Bewertungsbögen

X+Slides nutzt nicht nur einen einzigen Wert, um eine Präsentation zu bewerten. Es verwendet vier verschiedene Arten, die Präsentation zu benoten, wie ein Lehrer mit einem Bewertungsraster:

Publikumsabdeckung (Haben sie das Richtige geliefert?): Dies misst, wie viele der für das Publikum „hochwertigen“ Fragen tatsächlich in den Folien beantwortet wurden. Wenn der CEO Risiken wollte und die KI nur Geschichte lieferte, sinkt dieser Wert.
Domänenabdeckung (Haben sie die richtigen Arten von Inhalten gewählt?): Dies geht tiefer. Hat die KI sich zu sehr auf „Methoden“ konzentriert, obwohl das Publikum nach „Implikationen“ fragte? Es ist, als würde man prüfen, ob ein Koch zu viel Garnitur statt des Hauptgerichts serviert hat.
Effizienz (War es zu lang?): Hier wird gefragt: „Wie viel nützliche Information habe ich pro Minute meiner Zeit erhalten?“ Wenn die Folien 50 Seiten lang sind, aber nur das aussagen, was man in 5 Seiten hätte sagen können, ist der Effizienzwert niedrig.
Korrektheit (Haben sie gelogen?): Dies ist die Sicherheitsbarriere. Es wird geprüft, ob jede Behauptung auf der Folie tatsächlich durch das Originaldokument gestützt wird. Dies verhindert, dass die KI cool klingende Fakts erfindet, die nicht wahr sind.

Was sie herausfanden (Die Ergebnisse)

Die Forscher testeten drei populäre KI-Folien-Generatoren (DeepPresenter, SlideTailor und NotebookLM) mit diesem neuen System.

Die gute Nachricht: Die KI ist nicht schlecht. Sie kann viel der wichtigen Informationen erfassen.
Die schlechte Nachricht: Sie verfehlt oft noch das Ziel, wen sie gerade anspricht.
- Wenn sie gebeten wurden, vor einem Wissenschaftler zu sprechen, fehlten der KI oft die tiefen technischen Details (die „Level 3 und 4“ Fakten).
- Wenn sie vor einem CEO sprachen, verstrickte sich die KI manchmal zu sehr in technischem Jargon.
- NotebookLM (ein Google-Tool) war überraschend gut darin, die richtigen Informationen für CEOs und Studenten auszuwählen, hatte aber etwas Schwierigkeiten mit den tiefen technischen Details für Wissenschaftler.

Das wichtigste Fazit

Das Paper argumentiert, dass wir nicht mehr einfach nur sagen können: „Schau mal, wie hübsch und lang dieses Folien-Set ist!“, um eine KI zu beurteilen. Ein schönes Deck, das einem CEO einen 50-seitigen Mathe-Vortrag liefert, ist ein Fehlschlag, selbst wenn die Mathematik zu 100 % korrekt ist.

X+Slides beweist, dass wir, um eine wirklich nützliche KI für Präsentationen zu bauen, aufhören müssen, alle Fakten als gleichwertig zu behandeln. Wir müssen der KI beibringen, dass das, was für einen Wissenschaftler wichtig ist, für einen CEO nutzlos ist, und umgekehrt. Das Paper liefert das Lineal, um zu messen, ob die KI endlich lernt, diese Lektion zu begreifen.

Technisches Resümee: X+Slides: Benchmarking der publikumsabhängigen Folien-Generierung

1. Problemformulierung

Das Paper identifiziert eine kritische Lücke in bestehenden Benchmarks für die automatisierte Folien-Generierung: Diese bewerten primär die Quellenvollständigkeit, das Layout und die visuelle Kohärenz, gehen aber implizit von einem „Einheitsmodell“ aus, bei dem alle Informationen der Quelle als gleichermaßen wertvoll erachtet werden. In der Realität ist die Folien-Generierung jedoch eine publikumsabhängige Aufgabe. Ein einzelnes Quelldokument (z. B. ein Forschungspapier) erfordert eine grundlegend unterschiedliche Informationsselektion, je nach Zielgruppe:

Spezialisten benötigen rigorose Beweise, Annahmen und Ablationsstudien.
Lernende benötigen Kernideen, Motivationen und Beispiele.
Entscheidungsträger priorisieren handlungsorientierte Schlussfolgerungen, Risiken und übergeordnete Implikationen.

Bestehende Metriken versäumen es, zwischen einem Deck, der eine Quelle getreu zusammenfasst, und einem Deck, das Informationen strategisch im Hinblick auf ein spezifisches Publikum auswählt, zu unterscheiden. Darüber hinaus vermengen aktuelle Evaluationen oft die Quellen-Konformität mit dem Publikumsnutzen, was es schwierig macht, zu isolieren, ob ein System aufgrund schlechter Generierung oder schlechter Publikumsanpassung scheitert.

2. Methodik: Das X+Slides Framework

X+Slides führt einen Benchmark und eine Evaluationspipeline ein, die darauf ausgelegt sind, die Quellenabdeckung von der Publikumsnutzen zu entkoppeln. Die zentrale Innovation ist ein zweistufiger Evaluierungsprozess unter Verwendung einer gemeinsamen, publikumsunabhängigen Probe-Bank (Probe Bank).

2.1 Konstruktion des Benchmarks

Korpus: Der Datensatz umfasst 113 diverse Themen (50 akademische Arbeiten, 63 nicht-akademische Berichte aus den Bereichen Politik, Wirtschaft, Gesundheit usw.) über 7 Präsentationsszenarien hinweg.
Generierung der Probes: Ein LLM generiert 8.133 deduplizierte, quellenbasierte Probes (Frage-Antwort-Paare mit Evidenz-Spannen) aus den Quelldokumenten. Diese Probes sind publikumsunabhängig, was bedeutet, dass sie ohne Kenntnis des Zielpublikums erstellt wurden, um eine konsistente faktische Baseline zu gewährleisten.
Probe-Attribute: Jede Probe ist getaggt mit:
- Tiefe-Level (1–4): Reichend von Kontext/Motivation (Level 1) bis hin zu Implementierungsdetails/Hyperparametern (Level 4).
- Informationsdomäne: Kontext, Methode, Evidenz, Limitationen, Implementierung, Implikationen.
- Evidenz-Modalität: Text, Tabelle, Diagramm, Abbildung, Gleichung oder multimodaler Mix.

2.2 Publikumsabhängige Bewertung (Audience-Conditioned Scoring)

Anstatt unterschiedliche Fragen für verschiedene Zielgruppen zu generieren, weist X+Slides demselben Satz von Probes publikumsspezifische Nutzen-Gewichtungen ( $w_j$ ) zu, basierend auf dem Publikumsprofil (Spezialist, Lernender, Entscheidungsträger) und dem Präsentationsszenario.

Nutzen-Schwellenwert ( $\tau_A$ ): Probes mit Gewichten über einem Schwellenwert (z. B. $\tau_A = 0,7$ ) werden als „essenziell“ für dieses spezifische Publikum betrachtet.
Evaluationslogik: Ein generiertes Deck wird danach bewertet, ob die essenziellen Probes für ein spezifisches Publikum mithilfe der sichtbaren Folieninhalte beantwortet werden können, die durch die Quellen-Evidenz gestützt werden.

2.3 Evaluationsmetriken

Das Framework berichtet vier komplementäre Metriken:

Audience Coverage (Publikumsabdeckung): Der gewichtete Anteil der für ein Publikum essenziellen Quelleninformationen, die erfolgreich im Deck vermittelt wurden.
Domain-wise Coverage (Domänenbezogene Abdeckung): Eine granulare Aufschlüsselung der Abdeckung über die sechs Informationsdomänen hinweg (z. B. wie gut „Methoden“-Details für einen Spezialisten vs. einen Lernenden abgedeckt sind).
Effizienz: Die Dichte der gelieferten nützlichen Informationen pro Einheit der Aufmerksamkeitskosten (gemessen an Folienanzahl und Wortanzahl).
Korrektheit (Correctness): Eine Guardrail-Metrik, die verifiziert, dass Behauptungen im Deck faktisch durch die Quelle gestützt werden, um die Belohnung plausibler, aber halluzinierter Inhalte zu verhindern.
SafeEfficiency: Das Produkt aus Effizienz und Korrektheit, welches den nützlichen Nutzen repräsentiert, der zudem fundiert ist.

3. Zentrale Beiträge

Formale Konzeptualisierung: Definiert die Folien-Generierung als eine bedingte Abbildung $f: S \times A \times C \to T$ und rahmt die Publikumsanpassung explizit als messbares Informationsselektionsproblem statt als vages Prompting-Ziel.
Entkoppelte Probe-Bank: Entwickelt eine evidenzbasiert, publikumsunabhängige Probe-Bank, die anschließend gewichtet wird. Dies ermöglicht einen fairen Vergleich über verschiedene Zielgruppen hinweg unter Verwendung derselben faktischen Baseline.
Umfassende Metrik-Suite: Führt ein vierdimensionales Evaluationsframework ein (Abdeckung, Domänenbezogene Abdeckung, Effizienz, Korrektheit), das zwischen getreuer Anpassung, generischer Zusammenfassung und Halluzination unterscheidet.
Reproduzierbarer Benchmark: Veröffentlicht einen Datensatz von 113 Themen, 8.133 Probes, drei Publikumsprofile und eine vollständig reproduzierbare Evaluationspipeline.
Empirische Evaluation: Liefert eine tiefgehende Analyse aktueller State-of-the-Art-Systeme (DeepPresenter, SlideTailor) und eine fokussierte Ablation von NotebookLM.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DeepPresenter, SlideTailor und NotebookLM (als Ablation) sowohl in publikumsunabhängigen als auch in publikumsabhängigen Settings.

Partielle Wiederherstellung essenzieller Informationen: Aktuelle Systeme stellen einen substanziellen, aber unvollständigen Teil der publikumsessentiellen Informationen wieder her.
- Bei $\tau_A = 0,7$ erreichte DeepPresenter die beste Audience Coverage von 0,714 (für Lernende).
- SlideTailor erreichte 0,594 (für Lernende).
- NotebookLM (im agnostischen Setting) erreichte 0,853 für Entscheidungsträger, wobei seine bildbasierten Outputs direkte Effizienzvergleiche verhinderten.
Effekte der Publikums-Konditionierung:
- Die Konditionierung der Prompts verbesserte die Audience Coverage generell (z. B. stieg die Specialist-Coverage von DeepPresenter von 0,413 auf 0,496).
- Die Domänenbezogene Abdeckung zeigte, dass die Konditionierung den Fokus erfolgreich verschiebt (z. B. erhalten Spezialisten mehr „Methoden“- und „Evidenz“-Abdeckung, während Entscheidungsträger mehr „Implikationen“ und „Kontext“ erhalten).
Korrektheit vs. Effizienz:
- Die Korrektheits-Scores blieben über die Systeme hinweg hoch (ca. 0,82–0,85), was darauf hindeutet, dass die meisten Behauptungen durch die Quelle gestützt werden.
- Die SafeEfficiency variierte jedoch signifikant. Beispielsweise hatte das konditionierte Lernenden-Deck von SlideTailor die höchste SafeEfficiency unter den PPTX-generierenden Systemen, während das konditionierte Lernenden-Deck von DeepPresenter die höchste Audience Coverage aufwies.
Trade-offs: Das Paper stellt fest, dass die Optimierung für eine Metrik (z. B. breite Abdeckung) nicht automatisch die Optimierung für andere Metriken (z. B. Effizienz oder Korrektheit) garantiert. Publikums-Prompts ändern zwar erfolgreich die Informationsselektion, verbessern aber nicht automatisch alle Qualitätsdimensionen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass X+Slides einen fundamentalen Wandel von der Dokumentenausrichtung zur Maximierung des Publikumsnutzens darstellt.

Differenzierung: Es zeigt auf, dass visuelle Qualität und breite thematische Abdeckung unzureichende Proxies für die Folienqualität sind; ohne eine quellenbasierte, publikumsabhängige Evaluation können Systeme erfolgreich erscheinen, während sie kritische Bedürfnisse des Publikums verfehlen oder ungestützte Behauptungen aufstellen.
Limitationen: Die Autoren räumen bescheiden potenzielle Einschränkungen ein, darunter mögliche Lücken in LLM-generierten Probes für hochgradig visuelle Dokumente, die Breite der drei Publikumsprofile sowie die Abhängigkeit von textueller Bewertung, welche Grafiken oder layoutbasierte Erklärungen nicht direkt evaluiert.
Zukünftiger Einfluss: Das Framework ist darauf positioniert, die wissenschaftliche Kommunikation, Bildung, politische Briefings und die geschäftliche Entscheidungsfindung zu unterstützen, und fordert die Community auf, die Publikumsanpassung als eine rigorose Herausforderung der Informationsselektion und nicht bloß als stilistische Anpassung zu behandeln.