🤖 machine learning

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

Dit artikel introduceert PPT-Eval, een benchmark van 120 PowerPoint-taken ontworpen om computergebruikende agenten te evalueren, met een nieuw op rubrieken gebaseerd framework dat gede progreso vastlegt en sterk correleert met menselijk oordeel om te onthullen dat huidige grensmodellen nog steeds moeite hebben met complexe presentatiebewerking.

Oorspronkelijke auteurs: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Gepubliceerd 2026-07-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij Microsoft PowerPoint moet gebruiken. Je wilt zien of de robot daadwerkelijk naar een dia kan kijken, een verzoek begrijpt zoals "voeg hier een blauwe cirkel toe," en vervolgens op de juiste knoppen kan klikken om dit voor elkaar te krijgen.

Het artikel "PPT-EVAL" is in feite een gigantische, lastige test die ontworpen is om te zien hoe goed deze "computergebruik"-robots zijn in het uitvoeren van echt presentatiewerk.

Hier is de uitsplitsing van het artikel met behulp van eenvoudige analogieën:

1. Het Probleem: De Robot versus de Echte Wereld

De meeste eerdere tests voor robots waren als het geven van een gamecontroller met een beperkt aantal knoppen. De robot kon alleen doen wat het spel toestond (zoals "tekst toevoegen" of "kleur veranderen" via een codecommando).

Maar in de echte wereld gebruiken mensen geen code; ze gebruiken een muis, een toetsenbord en een scherm. Ze klikken op menu's, slepen vormen en gebruiken ontwerptools die geen simpele codeknoppen hebben.

De claim van het artikel: Bestaande tests controleerden niet of robots daadwerkelijk de muis konden gebruiken in PowerPoint. Ze controleerden alleen of robots een "cheatcode" (API) konden gebruiken. PPT-EVAL is de eerste test die de robot dwingt om de werkelijke PowerPoint-interface (de GUI) te gebruiken, precies zoals een mens dat zou doen.

2. De Test: De "PowerPoint-sportschool"

De onderzoekers bouwden een sportschool met 120 verschillende oefeningen (taken) verspreid over 12 verschillende PowerPoint-bestanden.

De bestanden: Deze zijn als echte presentaties die je in een bibliotheek zou kunnen vinden—sommigen gaan over geneeskunde, sommige over geschiedenis, andere over accountancy. Ze bevatten grafieken, vreemde lay-outs en animaties.
De moeilijkheidsgraad: De oefeningen worden beoordeeld als in een videogame:
- Gemakkelijk: "Verander de achtergrondkleur naar blauw." (Simpel)
- Gemiddeld: "Voeg een nieuw teamlid toe aan de lijst en verander hun lettertype." (Enkele stappen)
- Moeilijk: "Herschik dit complexe diagram, voeg een nieuw gedeelte toe en zorg dat de animatie correct wordt afgespeeld." (Vereist nadenken en veel stappen).

3. De Scoring: Het "Beoordelingsschema" (Het belangrijkste deel)

Dit is de grootste innovatie van het artikel. In het verleden waren tests als een Keur/Niet-keur examen. Als de robot 90% van het antwoord goed had maar één klein detail miste, kreeg hij een nul. Dat is onrechtvaardig, omdat de robot wel geprobeerd heeft en het grootste deel van het werk heeft gedaan.

De onderzoekers creëerden een Beoordelingsschema (een gedetailleerd beoordelingsblad), wat meer lijkt op een talentenshow-jury in plaats van een strenge leraar.

Deelsucces: Als de robot de cirkel toevoegt maar hem op de verkeerde plek zet, geeft de jury punten voor het toevoegen van de cirkel, maar trekt het punten af voor de plaatsing.
Strafpunten: Als de robot per ongeluk een dia verwijdert of een vreemde animatie toevoegt waar hij niet om gevraagd werd, haalt de jury punten weg.
De "Menselijke" Touch: Het scoresysteem gebruikt AI om een natuurlijke taalverklaring te schrijven, zoals: "Je hebt de cirkel geplaatst, maar deze blokkeert de tekst. Goed gedaan met de kleur, maar de positie moet beter."

Het resultaat: Dit "Talentenshow-jury"-systeem was 77% in lijn met hoe echte mensen het werk zouden beoordelen. Dit betekent dat de test eerlijk en nauwkeurig is.

4. De Resultaten: De Robots zijn Nog aan het Leren

De onderzoekers lieten de slimste AI-robots ter wereld (zoals Claude-4.5 en de modellen van OpenAI) deze test doen.

De Score: Zelfs de beste robots voltooiden slechts ongeveer 45% van de taken "perfect".
Het Gemiddelde: Gemiddeld behaalden ze ongeveer 57% van de punten wanneer je rekening houdt met hun gedeelde voortgang.
De Vergelijking: Een menselijke expert zou bij dezelfde test ongeveer 80% scoren.
De API versus GUI Kloof: Opvallend genoeg, wanneer de robots werden toegestaan om "cheatcodes" (API's) te gebruiken in plaats van de muis, deden ze het veel beter (62% succes). Dit bewijst dat hoewel de robots slim zijn, ze nog steeds onhandig zijn met een muis en toetsenbord vergeleken met hoe ze met code omgaan.

Samenvatting

Beschouw PPT-EVAL als een rijexamen voor robots.

Oude Tests: Vraagd de robot: "Kun je de snelheid van de auto berekenen?" (Code/API).
PPT-EVAL: Zet de robot in de bestuurdersstoel, geeft hem het stuur en zegt: "Rijd naar de winkel, parkeer in de parkeervak en raak de stoeprand niet." (GUI/Muis).

Het artikel concludeert dat hoewel onze huidige robots beter worden, ze nog steeds worstelen met de fijne motoriek en het visuele redeneren die nodig zijn om PowerPoint te gebruiken zoals een mens. Er is nog een lange weg te gaan voordat ze volledig onze presentatiebanen kunnen overnemen.

Technische Samenvatting: PPT-EVAL

Probleemstelling

Het maken en bewerken van presentaties is een alomtegenwoordige professionele activiteit, maar het blijft een onderbelicht domein voor het evalueren van computergebruik-agenten. Bestaande benchmarks missen ofwel diepgang in presentatiesoftware (bijv. OSWORLD, WindowsAgentArena) of zijn beperkt tot programmatische API's (bijv. PPTC) en tekst-naar-dia generatie (bijv. SlidesBench). Deze beperkingen voorkomen dat agenten toegang krijgen tot de volledige set functies van moderne presentatietools, zoals ontwerptools, geavanceerde graphics, overgangen en animaties, die doorgaans alleen beschikbaar zijn via een grafische gebruikersinterface (GUI). Bovendien vertrouwen huidige evaluatiemetrieken vaak op binaire succes/falen-criteria, wat er niet in slaagt de nuance van gedeeltelijke voortgang te vatten of onnodige wijzigingen in complexe, open eind-taken te bestraffen.

Methodologie

De PPT-EVAL Benchmark

De auteurs introduceren PPT-EVAL, een benchmark bestaande uit 120 taken verspreid over 12 PowerPoint-bestanden afkomstig van de Internet Archive. De taken dekken diverse domeinen (Geneeskunde, Informatica, Boekhouding, etc.) en zijn gestratificeerd in drie moeilijkheidsgraden:

Easy (Gemakkelijk): Eenvoudige taken die $\le$ 5 stappen vereisen.
Medium (Gemiddeld): Samengestelde taken die 5–10 stappen vereisen.
Hard (Moeilijk): Complexe taken die $\ge$ 10 stappen of geavanceerd redeneren vereisen.

De benchmark is ontworpen voor GUI-gebaseerde interactie met behulp van PowerPoint Online. Agenten opereren binnen een gesandboxte Ubuntu-omgeving met een Chromium-browser, waardoor ze kunnen interageren met de volledige end-user feature surface (muis, toetsenbord, scrollen) in plaats van beperkt te zijn tot API-aanroepen zoals python-pptx.

Evaluatiekader: Boomstructuur-rubrieken

Om de uitdaging aan te gaan van het evalueren van multimodale, open eind-taken met meerdere geldige oplossingen, hebben de auteurs een rubriek-gebaseerd evaluatiesysteem ontworpen. Belangrijke componenten zijn:

Boomstructuur-rubrieken: Elke taak wordt gedecomposeerd in een hiërarchie van criteria. Knopen worden geclassificeerd als kritiek (kernvereisten) of niet-kritiek (stijlkeuzes, waarbij extra wijzigingen worden bestraft).
Deelwaardering (Partial Credit Scoring): In tegenstelling tot binaire metrieken, verleent het systeem deelwaardering voor tussenliggende voortgang. De aggregatiestrategie gebruikt een aangepaste formule:
$\bar{s}_{parent} = \max\left(0, \bar{s}_{crit} - \lambda(1 - \bar{s}_{non})\right)$
waarbij $\lambda = 0.3$ . Dit zorgt ervoor dat kritieke fouten de score significant beïnvloeden, terwijl niet-kritieke fouten straffen introduceren zonder de betekenisvolle voortgang volledig teniet te doen.
Multimodale Verificatie: Bladknopen maken gebruik van:
- Programmatische controles (python-pptx, aangepaste PPTDiff-klasse) voor structurele wijzigingen, animaties en overgangen.
- LLM/VLM-aanroepen voor semantische correctheid en visuele verificatie (bijv. kleurovereenkomst, lay-out uitlijning) waar exacte pixelmatches ontoereikend zijn.
Natuurlijke Taalfeedback: Het systeem aggregeert recursief verklaringen van kindknopen om menselijk leesbare feedback te genereren voor de uiteindelijke score.

Experimentele Opstelling

De auteurs evalueerden een reeks agenten op PPT-EVAL:

Closed Frontier Models: OpenAI's COMPUTER-USE-PREVIEW, Anthropic's CLAUDE-4-SONNET, en CLAUDE-4.5-OPUS.
Open-Weights Modellen: OPENCUA (7B, 32B) en QWEN3-VL (8B, 32B).
Baselines: Een menselijke baseline (5 deelnemers) en een API-gebaseerde baseline met behulp van CLAUDE-4.5-OPUS met de pptx-skill.

Belangrijkste Resultaten

Prestaties van de Agenten

Significant Gat: Frontier-agenten worstelen met PowerPoint-taken. Het sterkste model, CLAUDE-4.5-OPUS, behaalde een succespercentage van 45% (perfect score) en een gemiddelde deelscore van 0,57.
Menselijke Baseline: Menselijke deelnemers behaalden een succespercentage van 80% en een gemiddelde deelscore van 0,90, wat duidt op aanzienlijke ruimte voor verbetering in de capaciteiten van agenten.
API vs. GUI: De API-gebaseerde baseline (CLAUDE-4.5-OPUS via de pptx-skill) presteerde aanzienlijk beter dan de beste GUI-agent (62% succespercentage versus 45%), wat aantoont dat huidige GUI-agenten achterlopen op de volwassenheid van CLI/API-getrainde modellen, ondanks hun toegang tot rijkere functies.
Taakmoeilijkheid: De prestaties nemen scherp af bij toenemende moeilijkheid. CLAUDE-4.5-OPUS daalde van 56% succes op Easy-taken naar 35% op Hard-taken.
Foutmodi: Analyse toonde aan dat agenten moeite hebben met geavanceerde structuren (tabellen, animaties, niet-standaard lay-outs) en vaak er niet in slagen consistentie tussen dia's te behouden of onbedoelde wijzigingen te vermijden.

Betrouwbaarheid van de Rubriek

De op rubrieken gebaseerde evaluatie vertoonde een sterke overeenkomst met menselijke beoordeling:

Correlatie: Kendall's $\tau_b$ van 0,77 en Spearman's $\rho$ van 0,84 tussen rubriekscores en door mensen verwachte categorieën.
Granulariteit: Het systeem maakte effectief onderscheid tussen "Geen Voortgang", "Enige Voortgang", "Significante Voortgang" en "Perfecte Voltooiing", hoewel er onenigheid ontstond door subjectieve esthetische oordelen of VLM-hallucinaties.

Betekenis en Claims

Het artikel beweert dat PPT-EVAL een kritiek gat vult in de evaluatie van computergebruik-agenten door een realistische, GUI-niveau benchmark te bieden voor presentatiebewerking. De primaire bijdragen zijn:

Een Realistische Testomgeving: Het gaat verder dan API-gebonden taken om agenten te evalueren op de volledige set functies van PowerPoint, inclus_overgangen, animaties en ontwerptools.
Genuanceerde Evaluatie: Door boomstructuur-rubrieken met deelwaardering en natuurlijke taalfeedback te introduceren, overwint het de beperkingen van binaire succesmetrieken, wat een meer granulair onderzoek van de capaciteiten van agenten mogelijk maakt.
Benchmarking van de Realiteit: De resultaten laten zien dat hoewel frontier-modellen betekenisvolle vooruitgang boeken, ze nog steeds aanzienlijk achterlopen op menselijke prestaties en API-gebaseerde agenten in complexe, iteratieve GUI-workflows.

De auteurs concluderen dat er "aanzienlijke ruimte is voor vooruitgang" in realistische, op GUI gebaseerde computergebruik-capaciteiten en dat hun benchmark een robuust kader biedt om deze vooruitgang te meten voorbij eenvoudige pass/fail metrieken.