PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks
Dieses Paper stellt PPT-Eval vor, einen Benchmark aus 120 PowerPoint-Aufgaben, der zur Evaluierung von Computer-Use-Agenten entwickelt wurde und ein neuartiges rubrikbasiertes Framework nutzt, das Teilfortschritte erfasst und stark mit menschlichem Urteil korreliert, um aufzuzeigen, dass aktuelle Frontier-Modelle bei komplexer Präsentationsbearbeitung noch immer Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man Microsoft PowerPoint benutzt. Sie wollen sehen, ob der Roboter tatsächlich eine Folie betrachten, eine Aufforderung wie „Füge hier einen blauen Kreis ein“ verstehen und dann die richtigen Schaltflächen klicken kann, um dies zu bewirken.
Das Papier „PPT-EVAL“ ist im Wesentlichen ein riesiger, kniffliger Test, der prüft, wie gut diese „Computer-Nutzungs“-Roboter bei echter Präsentationsarbeit sind.
Hier ist die Aufschlüsselung des Papiers unter Verwendung einfacher Analogien:
1. Das Problem: Der Roboter gegen die reale Welt
Die meisten bisherigen Tests für Roboter waren so, als würde man ihnen einen Videospiel-Controller mit einer begrenzten Anzahl von Tasten geben. Der Roboter konnte nur das tun, was das Spiel zuließ (wie „Text hinzufügen“ oder „Farbe ändern“ über einen Code-Befehl).
Aber in der realen Welt benutzen Menschen keinen Code; sie benutzen eine Maus, eine Tastatur und einen Bildschirm. Sie klicken auf Menüs, ziehen Formen und nutzen Design-Werkzeuge, die keine einfachen Code-Buttons haben.
- Die Behauptung des Papiers: Bestehende Tests prüften nicht, ob Roboter tatsächlich eine Maus benutzen können in PowerPoint. Sie prüften nur, ob Roboter einen „Cheat-Code“ (API) verwenden konnten. PPT-EVAL ist der erste Test, der den Roboter zwingt, die tatsächliche PowerPoint-Benutzeroberfläche (GUI) zu benutzen, genau wie ein Mensch es tun würde.
2. Der Test: Das „PowerPoint-Fitnessstudio“
Die Forscher haben ein Fitnessstudio mit 120 verschiedenen Übungen (Aufgaben) gebaut, die sich über 12 verschiedene PowerPoint-Dateien verteilen.
- Die Dateien: Sie sind wie echte Präsentationen, die man in einer Bibliothek finden könnte – einige handeln von Medizin, andere von Geschichte, manche von Buchhaltung. Sie enthalten Diagramme, seltsame Layouts und Animationen.
- Der Schwierigkeitsgrad: Die Übungen werden wie in einem Videospiel bewertet:
- Leicht: „Ändere die Hintergrundfarbe in Blau.“ (Einfach)
- Mittel: „Füge ein neues Teammitglied zur Liste hinzu und ändere dessen Schriftart.“ (Einige Schritte)
- Schwer: „Ordne dieses komplexe Diagramm neu an, füge einen neuen Abschnitt hinzu und stelle sicher, dass die Animation korrekt abläuft.“ (Erfordert Denkarbeit und viele Schritte).
3. Die Bewertung: Das „Bewertungsschema“ (Der wichtigste Teil)
Dies ist die größte Innovation des Papiers. In der Vergangenheit waren Tests wie eine Bestanden/Nicht bestanden-Prüfung. Wenn der Roboter 90 % der Antwort richtig hatte, aber ein winziges Detail verpasste, bekam er eine Null. Das ist unfair, weil der Roboter es versucht hat und den Großteil der Arbeit geleistet hat.
Die Forscher haben ein Bewertungsschema (ein detailliertes Bewertungsblatt) erstellt, das eher wie ein Talentshow-Juror als wie ein strenger Lehrer ist.
- Teilpunkte: Wenn der Roboter den Kreis hinzufügt, ihn aber an der falschen Stelle platziert, gibt der Juror Punkte für das Hinzufügen des Kreises, zieht aber Punkte für die Platzierung ab.
- Abzüge: Wenn der Roboter versehentlich eine Folie löscht oder eine seltsame Animation hinzufügt, nach der nicht gefragt wurde, zieht der Juror Punkte ab.
- Der „menschliche Touch“: Das Bewertungssystem nutzt KI, um eine natürliche Erklärung zu schreiben, wie zum Beispiel: „Du hast den Kreis erstellt, aber er blockiert den Text. Gut gemacht bei der Farbe, aber die Position muss noch verbessert werden.“
Das Ergebnis: Dieses „Talentshow-Juror“-System war zu 77 % deckungsgleich mit der Art und Weise, wie echte Menschen die Arbeit bewerten würden. Das bedeutet, der Test ist fair und präzise.
4. Die Ergebnisse: Die Roboter lernen noch
Die Forscher ließen die klügsten KI-Roboter der Welt (wie Claude-4.5 und Modelle von OpenAI) diesen Test durchlaufen.
- Die Punktzahl: Selbst die besten Roboter schafften nur etwa 45 % der Aufgaben „perfekt“.
- Der Durchschnitt: Im Durchschnitt erreichten sie etwa 57 % der Punkte, wenn man den Teilfortschritt mitrechnet.
- Der Vergleich: Ein menschlicher Experte, der vor derselben Aufgabe stünde, würde etwa 80 % erreichen.
- Die API vs. GUI-Lücke: Interessanterweise machten die Roboter deutlich besser ab, wenn sie „Cheat-Codes“ (APIs) statt der Maus benutzen durften (62 % Erfolg). Dies beweist, dass die Roboter zwar intelligent sind, aber im Vergleich zum Umgang mit Code noch etwas ungeschickt mit Maus und Tastatur sind.
Zusammenfassung
Betrachten Sie PPT-EVAL als eine Fahrprüfung für Roboter.
- Alte Tests: Fragten den Roboter: „Kannst du die Geschwindigkeit des Autos berechnen?“ (Code/API).
- PPT-EVAL: Setzt den Roboter auf den Fahrersitz, reicht ihm das Lenkrad und sagt: „Fahr zum Laden, park in der Lücke und fahr nicht gegen den Bordstein.“ (GUI/Maus).
Das Papier kommt zu dem Schluss, dass unsere heutigen Roboter zwar besser werden, aber immer noch mit der Feinmotorik und dem visuellen Verständnis kämpfen, die erforderlich sind, um PowerPoint wie ein Mensch zu benutzen. Es ist noch ein weiter Weg, bis sie unsere Präsentationsjobs vollständig übernehmen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.