🤖 machine learning

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

Questo articolo introduce PPT-Eval, un benchmark di 120 compiti di PowerPoint progettati per valutare gli agenti di utilizzo del computer, caratterizzato da un nuovo framework basato su rubriche che cattura il progresso parziale e correla fortemente con il giudizio umano per rivelare che gli attuali modelli all'avanguardia faticano ancora con l'editing complesso di presentazioni.

Autori originali: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Pubblicato 2026-07-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come usare Microsoft PowerPoint. Vuoi vedere se il robot è in grado di guardare una diapositiva, comprendere una richiesta come "aggiungi un cerchio blu qui" e poi cliccare sui pulsanti giusti per farlo accadere.

Il documento "PPT-EVAL" è essenzialmente un test gigante e complicato progettato per vedere quanto siano bravi questi "robot per l'uso del computer" nel fare veri lavori di presentazione nel mondo reale.

Ecco la scomposizione del documento utilizzando analogie semplici:

1. Il Problema: Il Robot contro il Mondo Reale

La maggior parte dei test precedenti per i robot erano come dare loro un controller per videogiochi con un set limitato di pulsanti. Il robot poteva fare solo ciò che il gioco permetteva (come "aggiungi testo" o "cambia colore" tramite un comando di codice).

Ma nel mondo reale, gli umani non usano il codice; usano un mouse, una tastiera e uno schermo. Cliccano su menu, trascinano forme e usano strumenti di progettazione che non hanno semplici pulsanti di codice.

L'affermazione del documento: I test esistenti non controllavano se i robot potessero effettivamente usare il mouse in PowerPoint. Controllavano solo se i robot potessero usare un "trucco" (API). PPT-EVAL è il primo test che costringe il robot a usare l'interfaccia reale di PowerPoint (la GUI) proprio come farebbe un essere umano.

2. Il Test: La "Palestra di PowerPoint"

I ricercatori hanno costruito una palestra con 120 diversi esercizi (compiti) distribuiti su 12 diversi file di PowerPoint.

I File: Sono come presentazioni reali che potresti trovare in una biblioteca: alcune riguardano la medicina, altre la storia, altre la contabilità. Hanno grafici, layout strani e animazioni.
La Difficoltà: Gli esercizi sono graduati come in un videogioco:
- Facile: "Cambia il colore dello sfondo in blu." (Semplice)
- Medio: "Aggiungi un nuovo membro del team all'elenco e cambia il suo carattere." (Alcuni passaggi)
- Difficile: "Riorganizza questo diagramma complesso, aggiungi una nuova sezione e assicurati che l'animazione si riproduca correttamente." (Richiede pensiero e molti passaggi).

3. Il Punteggio: La "Griglia di Valutazione" (La parte più importante)

Questa è la maggiore innovazione del documento. In passato, i test erano come un esame Pass/Fail (Passato/Bocciato). Se il robot otteneva il compito correttamente al 90% ma sbagliava un minuscolo dettaglio, riceveva zero. Questo è ingiusto perché il robot ci aveva provato e aveva svolto la maggior parte del lavoro.

I ricercatori hanno creato una Griglia di Valutazione (una scheda di valutazione dettagliata), che è come un giudice di una talent show invece di un insegnante severo.

Credito Parziale: Se il robot aggiunge il cerchio ma lo mette nel posto sbagliato, il giudice assegna punti per aver aggiunto il cerchio ma ne detrae alcuni per il posizionamento.
Penalità: Se il robot accidentalmente cancella una diapositiva o aggiunge un'animazione strana che non era stata richiesta, il giudice sottrae punti.
Il "Tocco Umano": Il sistema di punteggio utilizza l'IA per scrivere una spiegazione in linguaggio naturale, come: "Hai ottenuto il cerchio, ma blocca il testo. Buon lavoro sul colore, ma la posizione deve essere migliorata."

Il Risultato: Questo sistema a "Giudice di Talent Show" era allineato al 77% con il modo in cui gli esseri umani reali valuterebbero il lavoro. Ciò significa che il test è equo e accurato.

4. I Risultati: I Robot stanno ancora imparando

I ricercatori hanno sottoposto i robot IA più intelligenti del mondo (come Claude-4.5 e i modelli di OpenAI) a questo test.

Il Punteggio: Anche i migliori robot hanno completato con successo circa il 45% dei compiti in modo "perfetto".
La Media: In media, hanno ottenuto circa il 57% dei punti quando si conta il loro progresso parziale.
Il Confronto: Un esperto umano, sottoposto allo stesso test, otterrebbe circa l'80%.
Il Gap API vs GUI: Interessante è che, quando ai robot era permesso usare i "trucchi" (API) invece del mouse, ottenevano risultati molto migliori (62% di successo). Questo dimostra che, sebbene i robot siano intelligenti, sono ancora goffi con un mouse e una tastiera rispetto a come gestiscono il codice.

Riassunto

Pensa a PPT-EVAL come a un esame della patente per robot.

Vecchi Test: Chiedevano al robot: "Puoi calcolare la velocità dell'auto?" (Codice/API).
PPT-EVAL: Mette il robot al posto di guida, gli consegna il volante e dice: "Guida fino al negozio, parcheggia nel posto giusto e non colpire il marciapiede." (GUI/Mouse).

Il documento conclude che, sebbene i nostri attuali robot stiano migliorando, essi faticano ancora con le capacità motorie fini e il ragionamento visivo richiesti per usare PowerPoint come un essere umano. C'è ancora molta strada da fare prima che possano prendere completamente il controllo dei nostri lavori di presentazione.

Sintesi Tecnica: PPT-EVAL

Definizione del Problema

La creazione e la modifica di slide per presentazioni è un'attività professionale ubiquitaria, eppure rimane un dominio poco esplorato per la valutazione degli agenti di utilizzo del computer (computer-use agents). I benchmark esistenti mancano di profondità nei software di presentazione (ad esempio, OSWORLD, WindowsAgentArena) o sono limitati ad API programmatiche (ad esempio, PPTC) e alla generazione da testo a slide (ad esempio, SlidesBench). Queste limitazioni impediscono agli agenti di accedere all'intero set di funzionalità dei moderni strumenti di presentazione, come gli strumenti di design, la grafica avanzata, le transizioni e le animazioni, che sono tipicamente disponibili solo attraverso un'interfaccia grafica (GUI). Inoltre, le metriche di valutazione attuali spesso si affidano a criteri binari di successo/fallimento, che non riescono a catturare la sfumatura del progresso parziale o a penalizzare modifiche non necessarie in compiti complessi e aperti.

Metodologia

Il Benchmark PPT-EVAL

Gli autori introducono PPT-EVAL, un benchmark composto da 120 task distribuiti su 12 file PowerPoint estratti dall'Internet Archive. I task coprono domini diversi (Medicina, Informatica, Contabilità, ecc.) e sono stratificati in tre livelli di difficoltà:

Easy (Facile): Task semplici che richiedono $\le$ 5 passaggi.
Medium (Medio): Task composte che richiedono 5–10 passaggi.
Hard (Difficile): Task complessi che richiedono $\ge$ 10 passaggi o ragionamento avanzato.

Il benchmark è progettato per l'interazione basata su GUI utilizzando PowerPoint Online. Gli agenti operano all'interno di un ambiente sandbox Ubuntu utilizzando un browser Chromium, consentendo loro di interagire con l'intera superficie delle funzionalità per l'utente finale (mouse, tastiera, scorrimento), anziché essere limitati a chiamate API come python-pptx.

Framework di Valutazione: Rubriche a Struttura ad Albero

Per affrontare la sfida della valutazione di compiti multimodali e aperti con molteplici soluzioni valide, gli autori hanno progettato un sistema di valutazione basato su rubriche. I componenti chiave includono:

Rubriche a Struttura ad Albero: Ogni task è decomposto in una gerarchia di criteri. I nodi sono classificati come critici (requisiti fondamentali) o non critici (scelte stilistiche, che penalizzano modifiche superflue).
Punteggio di Credito Parziale: A differenza delle metriche binarie, il sistema assegna un credito parziale per il progresso intermedio. La strategia di aggregazione utilizza una formula modificata:
$\bar{s}_{parent} = \max\left(0, \bar{s}_{crit} - \lambda(1 - \bar{s}_{non})\right)$
dove $\lambda = 0.3$ . Ciò assicura che i fallimenti critici impattino significativamente il punteggio, mentre gli errori non critici introducono penalità senza azzerare il progresso significativo.
Verifica Multimodale: I nodi foglia utilizzano:
- Controlli programmatici (python-pptx, classe custom PPTDiff) per cambiamenti strutturali, animazioni e transizioni.
- Chiamate LLM/VLM per la correttezza semantica e la verifica visiva (ad esempio, corrispondenza dei colori, allineamento del layout) dove la corrispondenza esatta dei pixel è insufficiente.
Feedback in Linguaggio Naturale: Il sistema aggrega ricorsivamente le spiegazioni dai nodi figli per generare un feedback leggibile dall'uomo per il punteggio finale.

Configurazione Sperimentale

Gli autori hanno valutato una gamma di agenti su PPT-EVAL:

Modelli Closed Frontier: COMPUTER-USE-PREVIEW di OpenAI, CLAUDE-4-SONNET e CLAUDE-4.5-OPUS di Anthropic.
Modelli Open-Weights: OPENCUA (7B, 32B) e QWEN3-VL (8B, 32B).
Baseline: Una baseline umana (5 partecipanti) e una baseline basata su API utilizzando CLAUDE-4.5-OPUS con la skill pptx.

Risultati Chiave

Prestazioni degli Agenti

Gap Significativo: Gli agenti frontier faticano con i task di PowerPoint. Il modello più forte, CLAUDE-4.5-OPUS, ha raggiunto un tasso di successo del 45% (punteggio perfetto) e un punteggio parziale medio di 0,57.
Baseline Umana: I partecipanti umani hanno ottenuto un tasso di successo dell'80% e un punteggio parziale medio di 0,90, evidenziando un ampio margine di miglioramento nelle capacità degli agenti.
API vs. GUI: La baseline basata su API (CLAUDE-4.5-OPUS tramite skill pptx) ha superato significativamente il miglior agente GUI (62% di tasso di successo contro il 45%), dimostrando che gli attuali agenti GUI sono meno maturi rispetto ai modelli addestrati su CLI/API, nonostante abbiano accesso a funzionalità più ricche.
Difficoltà del Task: Le prestazioni degradano bruscamente con l'aumentare della difficoltà. CLAUDE-4.5-OPUS è sceso dal 56% di successo sui task Easy al 35% sui task Hard.
Modalità di Fallimento: L'analisi ha rivelato che gli agenti hanno difficoltà con strutture avanzate (tabelle, animazioni, layout non standard) e spesso non riescono a mantenere la coerenza tra le slide o a evitare modifiche indesiderate.

Affidabilità della Rubrica

La valutazione basata sulla rubrica ha mostrato un forte allineamento con il giudizio umano:

Correlazione: Kendall's $\tau_b$ di 0,77 e Spearman's $\rho$ di 0,84 tra i punteggi della rubrica e le categorie attese dagli umani.
Granularità: Il sistema ha distinto efficacemente tra "Nessun Progresso", "Alcuni Progressi", "Progresso Significativo" e "Completamento Perfetto", sebbene siano emersi alcuni disaccordi dovuti a giudizi estetici soggettivi o allucinazioni dei VLM.

Significato e Rivendicazioni

L'articolo sostiene che PPT-EVAL colmi un vuoto critico nella valutazione degli agenti di utilizzo del computer fornendo un benchmark realistico a livello GUI per l'editing di presentazioni. I suoi principali contributi sono:

Un Testbed Realistico: Va oltre i task vincolati alle API per valutare gli agenti sull'intero set di funzionalità di PowerPoint, incluse transizioni, animazioni e strumenti di design.
Valutazione Sfumata: Introducendo rubriche a struttura ad albero con credito parziale e feedback in linguaggio naturale, supera i limiti delle metriche binarie di successo, permettendo una valutazione più granulare delle capacità degli agenti.
Benchmark della Realtà: I risultati dimostrano che, sebbene i modelli frontier possano fare progressi significativi, sono ancora sensibilmente distanti dalle prestazioni umane e dagli agenti basati su API in flussi di lavoro GUI complessi e iterativi.

Gli autori concludono che esiste un "margine di miglioramento significativo" nelle capacità realistiche di utilizzo del computer basate su GUI e che il loro benchmark fornisce un quadro robusto per misurare questo progresso oltre le semplici metriche pass/fail.