🤖 AI

SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?

Il documento introduce SaaS-Bench, un benchmark completo che comprende 106 compiti realistici distribuiti su 23 sistemi SaaS professionali, il quale rivela che gli agenti attuali che utilizzano computer faticano significativamente a gestire flussi di lavoro complessi e a lungo termine, ottenendo un successo end-to-end inferiore al 4% a causa di limitazioni nella pianificazione, nel tracciamento dello stato e nel recupero dagli errori.

Autori originali: Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

Pubblicato 2026-05-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un nuovo assistente per gestire la tua giornata lavorativa più complessa. Non vuoi solo che risponda alle email; vuoi che acceda al tuo conto bancario, al tuo software di gestione progetti, ai tuoi cartelle cliniche e ai tuoi strumenti di progettazione per effettivamente eseguire il lavoro.

Questo documento introduce un nuovo "esame finale" chiamato SaaS-Bench per valutare quanto siano realmente bravi gli assistenti AI (chiamati Agenti che utilizzano il computer) in questo tipo di lavoro reale.

Ecco la spiegazione di ciò che hanno fatto e di ciò che hanno scoperto, utilizzando semplici analogie.

1. Il Problema: Il "Videogioco" contro il "Lavoro Reale"

Fino a ora, la maggior parte dei test per gli assistenti AI assomigliava a giocare a un videogioco. I livelli erano brevi, le regole semplici e, se ti bloccavi, il gioco si resettava semplicemente.

Il Vecchio Metodo: "Clicca sul pulsante rosso, poi scrivi 'Ciao'." (Facile, breve, isolato).
Il Mondo Reale: "Vai al sistema delle risorse umane per licenziare un dipendente, poi vai al sistema contabile per calcolare il suo stipendio finale, poi vai al CRM per riassegnare i suoi clienti e assicurati che le date corrispondano perfettamente." (Difficile, lungo, disordinato).

Gli autori hanno realizzato che superare i test del "videogioco" non significava che un'AI potesse gestire un lavoro reale. Quindi, hanno costruito un nuovo test basato su 23 sistemi software reali e deployabili (come veri sistemi di cartelle cliniche, strumenti contabili e gestori di progetti) che i professionisti utilizzano effettivamente.

2. L'Esame: SaaS-Bench

Pensa a SaaS-Bench come a un enorme percorso a ostacoli della durata di più giorni.

Il Percorso: Include 106 compiti diversi distribuiti su sei diversi "quartieri" di lavoro (come Sanità, Finanza e Ingegneria del Software).
Le Regole: L'AI deve navigare in questi sistemi utilizzando un browser web, esattamente come farebbe un umano. Non può barare consultando il codice del database; deve cliccare sui pulsanti e leggere gli schermi.
La Difficoltà: Questi non sono compiti da 5 minuti. Il compito medio richiede oltre 100 passaggi (clic, digitazioni e scorrimenti). È come chiedere a qualcuno di preparare una torta, scrivere la ricetta, spedire la ricetta a un amico e poi archiviare lo scontrino per la farina, il tutto in un'unica soluzione.

3. I Risultati: L'AI Si È Persa

I ricercatori hanno testato i modelli AI più intelligenti disponibili (come i "primi della classe" del mondo dell'AI) su questo esame. I risultati sono stati sobrianti:

Il Punteggio: Anche il miglior modello AI ha completato meno del 4% dei compiti interamente dall'inizio alla fine.
La Trappola del "Quasi": L'AI era effettivamente brava all'inizio dei compiti. Poteva arrivare all'80% del traguardo. Poteva compilare il primo modulo, cliccare sui pulsanti giusti e creare il primo documento.
Il Blocco: Ma poi, avrebbe commesso un piccolo errore (come digitare la data sbagliata), non si sarebbe accorto dell'errore e sarebbe andato avanti per la strada sbagliata. Quando raggiungeva la fine, l'intero risultato era sbagliato.

L'Analogia: Immagina un GPS che è ottimo nel dirti di "svoltare a sinistra" e di "guidare per 5 miglia". Ma se per caso perdi una svolta, il GPS non dice: "Sei perso, ricalcoliamo il percorso". Invece, ti dice con sicurezza di continuare a guidare dritto per altre 50 miglia fino a rimanere senza benzina. L'AI è sicura di sé, ma spesso sbaglia.

4. Perché Hanno Fallito? (Le Quattro Grandi Barriere)

Il documento identifica quattro motivi principali per cui l'AI ha faticato, utilizzando alcune grandi metafore:

L'Effetto "Casa di Carte" (Fragilità): In questi compiti lunghi, ogni passaggio dipende da quello precedente. Se sbagli il passaggio 10, i passaggi dall'11 al 100 sono rovinati. L'AI è così brava al passaggio 10 che pensa di stare andando bene, ma quel singolo piccolo errore fa crollare l'intera struttura.
Il "Veleno Silenzioso" (Propagazione degli Errori): A volte l'AI commette un errore che sembra corretto in superficie.
- Esempio: L'AI crea un cliente chiamato "Elena" invece di "Arcturus Digital". Lo schermo mostra "Elena (Arcturus)", quindi l'AI pensa: "Ottimo, l'ho fatto!". Ma poiché il nome è tecnicamente sbagliato, ogni singola transazione finanziaria che segue viene collegata alla persona sbagliata. L'AI non si rende mai conto di aver avvelenato la fonte.
Il "Bugiardo Sicuro di Sé" (Auto-inganno): L'AI ha una "memoria" in cui si dice cosa ha fatto. A volte, vede un errore, cerca di correggerlo, ma poi dimentica di verificare se la correzione ha funzionato. Quindi scrive un rapporto dicendo: "L'ho corretto!" anche se lo schermo mostra ancora l'errore. È come uno studente che si rende conto di aver fatto un errore di matematica, prova a cancellarlo, ma poi scrive comunque la risposta e dice: "Ho finito".
Il "Lancio della Moneta" (Inaffidabilità): Se chiedi alla stessa AI di eseguire lo stesso compito tre volte, potrebbe ottenere un punteggio perfetto al primo tentativo, fallire completamente al secondo e andare bene al terzo. Non è coerente. Questo significa che non puoi fidarti che svolga un lavoro in modo affidabile oggi, anche se ha funzionato ieri.

5. La Conclusione

Il documento chiede: "Gli agenti AI possono utilizzare software reali per risolvere lavori professionali?"

La risposta è: Non ancora.

Sebbene questi modelli AI siano incredibilmente intelligenti nel parlare e nel comprendere il linguaggio, attualmente sono terribili nell'esecuzione reale, lunga e complessa. Si perdono nei dettagli, non ricontrollano il proprio lavoro e non riescono a riprendersi quando commettono un errore.

Gli autori hanno costruito questo test (SaaS-Bench) non per dire che l'AI è inutile, ma per mostrarci esattamente dove si rompe, così da poterlo riparare. Finché l'AI non sarà in grado di gestire un flusso di lavoro di 100 passaggi senza confondersi o essere sicura della risposta sbagliata, non è pronta a sostituirsi al tuo lavoro professionale.

Riepilogo Tecnico: SaaS-Bench

Enunciato del Problema

Gli Agenti che Utilizzano Computer (CUA) sono evoluti da generatori di testo passivi a esecutori attivi capaci di interagire con interfacce utente grafiche (GUI) e browser web. Tuttavia, i benchmark esistenti per la valutazione di questi agenti soffrono di tre limitazioni critiche che portano a una sovrastima sistematica delle loro capacità nel mondo reale:

Complessità Applicativa Limitata: Molti benchmark si basano su ambienti web semplificati, statici o sintetici che mancano della logica completa frontend-backend, delle dipendenze di stato dinamico e dei vincoli aziendali tipici del software di produzione.
Flussi di Lavoro Isolati: I compiti sono spesso confinati a singole applicazioni con orizzonti temporali brevi, non riuscendo a catturare il coordinamento tra applicazioni, la conoscenza specifica del dominio e i processi strutturati multi-step intrinseci nel lavoro professionale.
Dipendenze a Orizzonte Breve: I compiti esistenti richiedono raramente sequenze di interazione estese (spesso superiori a 100 passaggi) necessarie per testare le capacità di pianificazione, tracciamento dello stato e recupero dagli errori di un agente nel tempo.

Di conseguenza, manca un quadro di valutazione rigoroso per determinare se i CUA possano operare efficacemente in ambienti realistici ad alto valore di Software-as-a-Service (SaaS).

Metodologia

Costruzione del Benchmark (SaaS-Bench)

Gli autori introducono SaaS-Bench, un benchmark progettato per valutare i CUA in ambienti SaaS realistici e distribuibili. Il processo di costruzione aderisce a tre principi fondamentali:

Ambienti Realistici e Distribuibili:
- Il benchmark è costruito su 23 sistemi SaaS reali e open-source (ad esempio OpenEMR, OnlyOffice, BigCapital) piuttosto che su siti web fittizi.
- Questi sistemi sono containerizzati tramite Docker, garantendo la logica completa frontend-backend, stati di database persistenti e autenticazione degli utenti.
- Gli ambienti vengono reimpostati a stati iniziali predefiniti prima di ogni compito per garantire la riproducibilità e prevenire la contaminazione dello stato.
- I dati vengono popolati semanticamente utilizzando una combinazione di dati realistici generati da LLM e dataset open-source importati per garantire un contesto aziendale significativo.
Flussi di Lavoro Professionali, Inter-applicazione e Multimodali:
- I compiti sono organizzati in sei domini professionali: Ingegneria del Software, Operazioni Aziendali, Amministrazione Sanitaria, Collaborazione di Team, Agricoltura e Creazione di Media.
- Il benchmark include 106 compiti radicati in flussi di lavoro del mondo reale.
- Il 93,4% dei compiti coinvolge almeno due applicazioni, con il 50% che richiede il coordinamento tra tre applicazioni.
- L'insieme include 74 compiti solo testuali e 32 compiti multimodali (coinvolgenti immagini, documenti o media), principalmente nei domini Agricoltura e Media.
Esecuzione a Orizzonte Lungo:
- I compiti sono progettati con una media di oltre 100 passaggi di interazione.
- Una pipeline a quattro stadi (Seme del Compito $\rightarrow$ Ciclo di Sintesi $\rightarrow$ Controllo Statico $\rightarrow$ Controllo di Esecuzione) garantisce che i compiti siano professionali, eseguibili e verificabili. Ciò comporta un ciclo iterativo "Costruttore-Sfidante-Raffinatore" in cui gli LLM generano candidati e gli esperti umani li revisionano per ambiguità, completezza e verificabilità.

Protocollo di Valutazione

Framework di Esecuzione: Gli agenti interagiscono esclusivamente attraverso operazioni UI basate su browser (navigazione, clic, digitazione) utilizzando il framework browser-use. L'accesso diretto a database, API o file system è proibito.
Verifica: Ogni compito è scomposto in punti di controllo di verifica ponderati. Vengono impiegati tre metodi di verifica:
- Controllo di Stato: Verifica gli stati oggettivi del sistema (record DB, risposte API).
- Controllo di Contenuto: Convalida gli output testuali tramite corrispondenza di stringhe.
- Giudice LLM: Valuta output aperti come la qualità dei rapporti.
Metriche:
- Punteggio Risolto: Binario (1 o 0); 1 solo se tutti i punti di controllo superano la verifica.
- Punteggio dei Punti di Controllo: Un punteggio parziale ponderato che riflette i progressi, permettendo la misurazione del successo intermedio nei compiti a orizzonte lungo.

Risultati Chiave

Panoramica delle Prestazioni

Gli esperimenti sono stati condotti su sette modelli all'avanguardia (inclusi Claude Opus 4.6, GPT-5.4 High, Qwen 3.6 Plus e altri). I risultati indicano che gli agenti attuali faticano significativamente nei flussi di lavoro SaaS realistici:

Bassa Completamento End-to-End: Anche il modello più forte, Claude Opus 4.6, ha ottenuto un Punteggio Risolto di solo l'1,9% (completando meno del 4% dei compiti end-to-end).
Punteggi dei Punti di Controllo: Il Punteggio dei Punti di Controllo complessivo per il miglior modello è stato del 43,2%, indicando che mentre gli agenti possono spesso completare passaggi intermedi, non riescono a mantenere la coerenza per terminare l'intero flusso di lavoro.
Variazione per Dominio: Le prestazioni variavano per dominio, con i compiti di "Lavoro di Squadra" generalmente più facili di quelli di "Business" e "Sanità", che coinvolgono vincoli numerici più rigorosi e procedure specifiche del dominio.

Analisi delle Modalità di Fallimento

Il documento identifica quattro modalità di fallimento fondamentali che spiegano i bassi punteggi risolti:

Fragilità del Completamento a Orizzonte Lungo: A causa della natura moltiplicativa delle probabilità di successo ( $p^N$ ), anche un'alta accuratezza per punto di controllo (ad esempio, il 95%) risulta in punteggi risolti vicini allo zero per compiti con 10-20 punti di controllo.
Propagazione degli Errori nei Flussi di Lavoro Inter-applicazione: Un singolo errore semantico (ad esempio, classificare erroneamente un cliente come "privato" invece che come "azienda") può propagarsi silenziosamente attraverso una catena di dipendenze, causando il fallimento dei controlli a valle anche se l'agente ritiene il compito completato.
Auto-Verifica Inaffidabile: Gli agenti spesso non riescono a ricontrollare le loro azioni dopo le correzioni. Possono riconoscere un errore, tentare una soluzione e poi procedere al sottocompito successivo senza confermare che la soluzione sia stata efficace, portando a fallimenti "silenziosi".
Alta Varianza tra Esecuzioni: Le prestazioni sono altamente instabili. Lo stesso modello può ottenere un punteggio di 0,80 in una esecuzione e 0,10 in un'altra sullo stesso compito. Ciò suggerisce che le valutazioni attuali basate su metriche di singola esecuzione (pass@1) sono fuorvianti; le metriche pass@k rivelano che, sebbene gli agenti possano occasionalmente trovare una traiettoria di successo, la coerenza rimane una sfida maggiore.

Significato e Affermazioni

Il documento afferma che SaaS-Bench fornisce il primo banco di prova rigoroso e realistico per valutare i CUA in contesti professionali, inter-applicazione e a orizzonte lungo. La sua importanza risiede nel:

Esporre i Gap di Capacità: Dimostra che, nonostante i progressi negli LLM, gli agenti attuali non sono ancora in grado di risolvere in modo affidabile flussi di lavoro professionali in ambienti SaaS reali, completando meno del 4% dei compiti end-to-end.
Ridefinire gli Standard di Valutazione: Sostiene che i benchmark a orizzonte breve e su singola applicazione sono insufficienti. Il settore deve spostarsi verso la valutazione degli agenti sulla loro capacità di mantenere lo stato, recuperare dagli errori e coordinarsi tra più sistemi su lunghe sequenze.
Identificare Limitazioni Strutturali: I risultati evidenziano che i principali colli di bottiglia non sono solo il recupero delle conoscenze, ma la pianificazione, il tracciamento dello stato e il recupero dagli errori. Il documento suggerisce che le attuali architetture degli agenti mancano dei meccanismi di verifica a ciclo chiuso necessari per gestire la fragilità dei compiti a orizzonte lungo.

Gli autori concludono che, sebbene SaaS-Bench riveli limitazioni significative, funge da fondamento necessario per la futura ricerca su Agenti che Utilizzano Computer più affidabili e praticamente distribuibili.