Talk to Your Slides: High-Efficiency Slide Editing via Language-Driven Structured Data Manipulation

Die Arbeit stellt „Talk-to-Your-Slides" vor, einen effizienten Agenten zur Bearbeitung von Präsentationsfolien, der durch die manipulation von strukturierten Daten statt durch visuelle Bildanalyse eine höhere Geschwindigkeit, Genauigkeit und Kosteneffizienz bei text- und formatierungsbezogenen Aufgaben erreicht und dabei mit dem neu eingeführten TSBench-Datensatz validiert wird.

Das Wesentliche

Titel: „Sag es deinen Folien!" – Wie man Präsentationen nicht mehr mit der Maus, sondern mit Worten bearbeitet

Stell dir vor, du hast einen riesigen Stapel von 50 PowerPoint-Folien, die du von Koreanisch ins Englische übersetzen musst. Oder du musst auf 120 Folien den Preis eines Produkts ändern.

Das alte Problem: Der mühsame Weg
Bisher gab es im Grunde zwei Möglichkeiten, das zu tun:

1. Der menschliche Weg: Du sitzt stundenlang vor dem Bildschirm, klickst jede Folie einzeln an, markierst den Text, löschst ihn und tippst neu. Das ist wie das Händewaschen von 100 Tassen – es funktioniert, aber es ist extrem langweilig und zeitaufwendig.
2. Der „Roboter mit Kamera"-Weg: Es gab neue KI-Agenten, die wie ein Mensch vor dem Bildschirm sitzen. Sie schauen sich einen Screenshot der Folie an (wie eine Kamera), erkennen mit OCR (Texterkennung) den Text und versuchen dann, mit der Maus zu klicken und zu tippen. Das Problem? Das ist wie ein Koch, der ein Rezept nur durch das Anschauen eines Fotos des Gerichts versucht zu kochen. Es ist langsam, teuer (die KI muss viel „denken") und manchmal verwechselt die KI das Bild mit dem Text.

Die neue Lösung: TALK-TO-YOUR-SLIDES
Die Forscher aus diesem Papier haben eine dritte, viel schlauere Methode entwickelt. Sie nennen ihr System „TALK-TO-YOUR-SLIDES".

Stell dir PowerPoint nicht als Bild vor, sondern als einen riesigen, gut organisierten Baukasten aus Lego.

• Die alten Methoden schauten nur auf das fertige Lego-Modell (das Bild) und versuchten, es nachzubauen.
• Die neue Methode öffnet die Schachtel, greift direkt in den Baukasten und sagt: „Nimm den roten Stein an Position X und tausche ihn gegen einen blauen aus."

Wie funktioniert das genau? (Die 4 Schritte)

Das System arbeitet in vier Schritten, wie ein sehr effizientes Büro:

1. Der Planer (Verstehen): Du sagst dem System: „Übersetze alle Titel auf Folie 1 bis 10 ins Englische." Der Planer zerlegt diesen Satz in eine klare Liste: „Folie 1: Titel ändern", „Folie 2: Titel ändern", usw.
2. Der Archivar (Lesen): Statt einen Screenshot zu machen, greift das System direkt in die Datenstruktur der PowerPoint-Datei. Es liest den Text, die Farben und die Formen direkt aus dem Code der Datei aus. Es weiß genau, wo welcher Buchstabe sitzt, ohne ihn erst „sehen" zu müssen.
3. Der Editor (Bearbeiten): Ein KI-Modell nimmt die Liste vom Planer und die Daten vom Archivar und sagt: „Okay, ich ändere jetzt den Text in den Daten." Es schreibt quasi die neue Version der Datei in einer strukturierten Liste (JSON).
4. Der Baumeister (Code): Ein letztes Modul schreibt einen kurzen Computercode (Python), der diese Änderungen direkt in die PowerPoint-Datei einfügt.

Warum ist das so genial? (Die Analogie)

Stell dir vor, du möchtest den Inhalt eines Buches ändern.

• Die alte Methode (Bild-basiert): Du fotografierst jede Seite, lässt eine KI den Text auf dem Foto lesen, druckst die Seite neu aus und klebst sie mit Klebeband über die alte Seite. Das dauert ewig und sieht oft unordentlich aus.
• Die neue Methode (Daten-basiert): Du öffnest das Buch, greifst direkt in den Text und tauschst die Wörter aus. Das Buch bleibt perfekt gebunden, die Seitenzahlen stimmen, und es geht in Sekunden.

Die Ergebnisse: Schnell, billig und genau
Die Forscher haben ihr System getestet und verglichen:

• Geschwindigkeit: Es ist 34 % schneller als die alten Methoden.
• Genauigkeit: Es hält sich 34 % besser an deine Anweisungen (keine verhaspelten Texte).
• Kosten: Es kostet 87 % weniger Geld, weil es keine teuren Bildverarbeitungsschritte braucht.

Ein kleiner Nachteil (Die „Kunst"-Grenze)
Das System ist extrem gut bei Text, Zahlen und Struktur. Aber wenn du sagst: „Mach die Folie mal ein bisschen schöner oder ausgewogener", stolpert es manchmal. Denn es sieht das Bild nicht wirklich. Es kennt die Daten, aber nicht das „Gefühl" der Ästhetik. Für solche Fälle müsste man vielleicht in Zukunft eine Kamera (Visions-KI) als Assistenten hinzunehmen.

Fazit
Dieses Papier zeigt, dass wir für viele Aufgaben nicht brauchen, dass eine KI wie ein Mensch auf den Bildschirm starrt. Wenn wir ihr direkt Zugang zu den „inneren Daten" der Software geben, können wir Aufgaben wie das Übersetzen oder Formatieren von hunderten Folien in einem Bruchteil der Zeit erledigen – schneller, billiger und präziser. Es ist der Unterschied zwischen dem manuellen Umstellen von Möbeln und dem Einsatz eines Roboters, der die Möbel direkt aus dem digitalen Plan neu anordnet.

Technische Zusammenfassung

1. Problemstellung

Das Bearbeiten von Präsentationsfolien (z. B. in PowerPoint) ist eine häufige, aber oft mühsame Aufgabe, die von kreativen Layout-Änderungen bis hin zu repetitiven Textwartungen reicht.

• Herausforderung bei visuellen Agenten: Aktuelle GUI-basierte Agenten, die auf Multimodalen Large Language Models (MLLMs) basieren, nutzen Screenshots und Bilderkennung (OCR). Obwohl sie bei räumlichen Aufgaben stark sind, leiden sie bei textzentrierten oder Batch-Verarbeitungsaufgaben unter hohen Rechenkosten, Latenz und ungenauer Texterkennung.
• Herausforderung bei direkter Code-Generierung: Einfache Ansätze, die natürliche Sprache direkt in ausführbaren Code umwandeln, scheitern oft an komplexen Aufgaben, die Kontextverständnis und eine Zerlegung in einzelne Schritte erfordern.
• Ziel: Es wird ein Agent benötigt, der Folien effizient, kostengünstig und mit hoher Präzision bearbeiten kann, ohne auf visuelle Eingaben angewiesen zu sein, aber dennoch komplexe Anweisungen verstehen kann.

2. Methodik: Talk-to-Your-Slides

Das vorgeschlagene System Talk-to-Your-Slides ist ein Agent, der Folienbearbeitung durch sprachgesteuerte Manipulation strukturierter Daten durchführt, anstatt Pixel zu analysieren.

Architektur

Das System folgt einer hierarchischen Architektur mit vier Modulen, die in zwei Ebenen unterteilt sind:

A. Hohe Ebene (High-Level):

1. Instruktionsverständnis (Instruction Understanding):
   • Ein LLM analysiert die Benutzeranweisung und zerlegt sie in einen strukturierten, schrittweisen Plan.
   • Der Plan spezifiziert genau, welche Folien, Elemente (z. B. Titel, Textkörper) und Aktionen (z. B. Übersetzen, Formatieren) betroffen sind.
   • Ausgabe: Eine strukturierte Liste (JSON) mit Zielen und Aktionen.
2. Dokumentenbearbeitung (Document Editing):
   • Basierend auf dem Plan und den geparsten Daten generiert ein LLM die bearbeiteten Inhalte.
   • Es passt den Text oder die Formatierung an, wobei es die ursprüngliche Struktur und das Styling (Schriftart, Farbe) so weit wie möglich beibehält.

B. Niedrige Ebene (Low-Level):
3. Dokumentenverständnis (Document Understanding):
* Anstatt Screenshots zu nutzen, greift das System direkt auf das Objektmodell der PowerPoint-Datei zu (über COM-Schnittstellen unter Windows oder AppleScript unter macOS).
* Es extrahiert Metadaten, Layout-Informationen und Textinhalte auf „Run-Level" (Textsegmente mit konsistenter Formatierung) und wandelt sie in ein strukturiertes JSON-Format um. Dies ermöglicht eine präzise Erfassung von Formatierungen innerhalb eines Textfeldes.
4. Code-Generator (Code Generator):
* Generiert Python-Code (unter Nutzung von win32com), der die Änderungen direkt im laufenden PowerPoint-Prozess anwendet.
* Selbstreflexion (Self-Reflection): Falls ein Fehler beim Ausführen des Codes auftritt, analysiert das System die Fehlermeldung, korrigiert den Code und versucht es erneut, bis die Änderung erfolgreich ist.

Kernprinzip

Der entscheidende Unterschied zu visuellen Agenten ist der Verzicht auf Bildverarbeitung. Stattdessen wird die interne Sprache der Anwendung (das Objektmodell) genutzt, was zu höherer Geschwindigkeit und Genauigkeit führt.

3. Wichtige Beiträge

1. Talk-to-Your-Slides Framework: Ein neuartiger Agent, der natürliche Sprache in präzise Folienbearbeitungen übersetzt, indem er die strukturierten Daten der Folien direkt manipuliert. Dies übertrifft visuelle Ansätze bei Text- und Formatierungsaufgaben in Geschwindigkeit und Kosten.
2. TSBench (Benchmark-Dataset): Die Einführung eines neuen, menschlich verifizierten Benchmarks mit 379 Anweisungen.
   • Kategorien: Textbearbeitung, Visuelles Formatieren, Layout-Anpassung, Folienstruktur.
   • TSBench-Hard: Eine spezielle Teilmenge für komplexe, visuell abhängige oder mehrdeutige Aufgaben, um die Robustheit des Agents zu testen.
3. Nachweis der Effizienz: Die Demonstration, dass ein nicht-visueller, strukturierter Agent für Batch-Verarbeitungsaufgaben deutlich effizienter ist als state-of-the-art GUI-Agenten (wie UFO).

4. Ergebnisse

Die Experimente verglichen das System mit einem GUI-Agenten (UFO2, basierend auf Gemini-2.5-flash) und einer direkten Code-Generierung.

• Performance:
  • Instruktionsbefolgung: Das System erreichte eine um 34 % höhere Befolgungsgenauigkeit bei Anweisungen im Vergleich zu GUI-Agenten.
  • Erfolgsrate (SR): Bei der direkten Code-Generierung lag die Erfolgsrate oft unter 60 %, während das hierarchische System eine Erfolgsrate von über 96 % erreichte.
• Effizienz:
  • Geschwindigkeit: Die Verarbeitung war um 34 % schneller.
  • Kosten: Die Betriebskosten waren um 87 % niedriger als bei GUI-basierten Baselines.
  • Beispiel: Die Übersetzung von 50 Folien von Koreanisch nach Englisch dauerte mit dem System nur 3 Stunden und kostete ca. 1,84 $, während manuelle Arbeit Tage dauern würde und GUI-Agenten deutlich teurer waren.
• Robustheit: Auf dem schwierigen Teil des Benchmarks (TSBench-Hard) zeigte das System eine überlegene Fähigkeit, komplexe logische Aufgaben zu lösen und nicht ausführbare Anfragen korrekt abzulehnen (Refusal Accuracy).

5. Bedeutung und Ausblick

• Paradigmenwechsel: Das Paper zeigt, dass für viele Software-Automatisierungsaufgaben (insbesondere bei strukturierten Dokumenten) der Zugriff auf das interne Objektmodell überlegener ist als die Analyse von Screenshots. Dies reduziert Latenz und Kosten massiv.
• Praktische Anwendbarkeit: Das System eignet sich ideal für Unternehmen, die große Mengen an Folien pflegen, übersetzen oder formatieren müssen, ohne dass menschliches Eingreifen nötig ist.
• Limitationen und Zukunft: Das System ist weniger effektiv bei rein ästhetischen oder rein visuellen Aufgaben (z. B. „Mache das Bild kleiner, damit es passt"), da es keine visuelle Rückmeldung hat. Die Autoren schlagen Hybrid-Agenten vor, die die Effizienz der strukturellen Manipulation mit der visuellen Intelligenz von VLMs für die finale Qualitätskontrolle kombinieren.

Zusammenfassend stellt Talk-to-Your-Slides einen bedeutenden Fortschritt in der Automatisierung von Präsentationssoftware dar, indem es die Abhängigkeit von rechenintensiver Bildverarbeitung durch eine effiziente, datengetriebene Architektur ersetzt.