💬 NLP

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

Questo articolo introduce WorkSurface-Bench, un nuovo benchmark composto da 1.151 task verificabili progettati per valutare la capacità degli agenti enterprise di instradare le query attraverso superfici di conoscenza eterogenee (documenti, tabelle e grafi), rivelando che, sebbene gli agenti possano raggiungere un'elevata accuratezza nell'instradamento, la sola selezione corretta della superficie è insufficiente per ottenere elevati tassi di completamento dei task.

Autori originali: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Pubblicato 2026-07-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente robotico super intelligente per aiutarti a gestire un ufficio frenetico. Gli poni una domanda complicata, come: "Quanto abbiamo speso per le spedizioni lo scorso mese e quali file stanno causando i ritardi?". Per rispondere a questo, il robot non può limitarsi a tirare a indovinare; deve cercare informazioni. Ma ecco il problema: l'ufficio ha tre tipi di scaffali molto diversi tra loro. C'è una Biblioteca piena di rapporti scritti e PDF (documenti), una Stanza dei Fogli di Calcolo stipata di righe di numeri e calcoli (tabelle) e una Stanza delle Mappe che mostra come ogni file sia collegato a tutti gli altri (grafi).

Per molto tempo, gli scienziati che testavano questi robot hanno chiesto principalmente: "Hai dato la risposta corretta?". Se il robot cercava nella stanza sbagliata, sceglieva il libro sbagliato o sbagliava i calcoli, il test diceva semplicemente: "Fallito". Ma questo non ci diceva perché fosse fallito. Il robot non sapeva di dover andare nella Stanza delle Mappe? O è andato nella Stanza delle Mappe, ha trovato la mappa giusta, ma si è confuso leggendola? Questo articolo affronta quel vuoto. Introduce un nuovo modo per testare i robot separando l'atto di scegliere la stanza giusta dall'atto di risolvere l'enigma una volta entrati. Si chiede: il robot riesce a capire di quale tipo di conoscenza ha bisogno prima ancora di iniziare a cercare?

Il Nuovo Gioco: WorkSurface-Bench

I ricercatori hanno costruito un nuovo campo di prova chiamato WorkSurface-Bench. Immaginatelo come una gigantesca e realistica simulazione di un ufficio con 1.151 compiti diversi. Hanno impostato cinque diversi "personaggi" (come un responsabile della logistica o un analista finanziario) e hanno dato loro accesso a tre superfici distinte: una biblioteca di documenti, un database di tabelle e un grafo di relazioni tra i file.

La grande innovazione qui è il modo in cui valutano i robot. Invece di dare solo un successo o un fallimento sulla risposta finale, assegnano un punteggio a due cose separate:

Percorso (Route): Il robot ha scelto le "superfici" corrette (Biblioteca, Foglio di Calcolo o Mappa)?
Risposta (Answer): Ha effettivamente risolto il problema correttamente una volta scelte?

Hanno creato uno "standard d'oro" per ogni risposta. Se un compito richiede un calcolo matematico, hanno eseguito il codice effettivo per ottenere la risposta vera. Se richiedeva la lettura di un documento, hanno controllato le parole esatte nella fonte. Se richiedeva una connessione tra file, hanno tracciato il percorso effettivo. Ciò significa che la risposta "corretta" non è solo un'ipotesi fatta da un'altra IA; è un fatto verificato.

La Grande Sorpresa: Sapere Dove Guardare Non Basta

Il team ha testato quattro dei modelli IA più intelligenti disponibili (inclusi GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro e GPT-5.5) in sei scenari diversi. Volevano vedere se rendere il lavoro del robot più facile, dicendogli esattamente in quale stanza andare, avrebbe risolto i suoi errori.

Ecco cosa hanno scoperto, ed è un colpo di scena: Sapere dove guardare non garantisce di trovare la risposta.

Quando i ricercatori hanno costretto i robot a usare solo le superfici corrette (un'impostazione "Gold-constrained"), i robot sono diventati quasi perfetti nello scegliere la stanza giusta. Il loro punteggio di "Percorso" è salito tra il 98,7% e il 99,8%. Sapevano esattamente dove andare.

Tuttavia, il loro punteggio di "Risposta" — ovvero la correttezza effettiva della soluzione finale — ha raggiunto solo tra il 56,1% e il 75,3%.

Questo significa che anche quando il robot si trovava nella stanza giusta con la mappa corretta in mano, sbagliava comunque la risposta più di un quarto delle volte. Poteva trovare il file giusto ma leggere male i numeri, oppure poteva combinare in modo errato le informazioni del foglio di calcolo e del documento. Il documento dimostra che "scegliere lo strumento giusto" e "usare lo strumento correttamente" sono due abilità completamente diverse, e l'essere bravi in una non ti rende automaticamente bravo nell'altra.

Suggerimenti vs Restrizioni

I ricercatori hanno anche giocato a un gioco divertente di "dare un suggerimento" rispetto a "togliere le distrazioni".

Il Suggerimento: Hanno detto ai robot: "Devi guardare nel Foglio di Calcolo e nella Mappa". Questo ha aiutato i robot a scegliere meglio le superfici e, per alcuni modelli, ha leggermente migliorato le loro risposte finali.
La Restrizione: Hanno poi tolto tutti gli strumenti di cui i robot non avevano bisogno. Questo ha reso i robot molto più veloci ed efficienti, e hanno scelto le superfici corrette ancora meglio. Ma, sorprendentemente, questo non ha sempre reso la risposta finale migliore. In effetti, per alcuni modelli, rimuovere gli strumenti extra li ha resi leggermente peggiori nel risolvere il problema, probabilmente perché hanno perso la capacità di ricontrollare il proprio lavoro con uno strumento diverso.

Cosa Significa per il Futuro

L'articolo conclude che non possiamo più limitarci a guardare il punteggio finale di un agente IA. Se un'IA sbaglia una domanda, dobbiamo sapere se è fallita perché non sapeva cosa cercare, o perché ha cercato nel posto giusto ma non è riuscita a elaborare ciò che ha trovato.

Gli autori hanno misurato questo attraverso 27.624 diversi tentativi dei robot e sono molto sicuri di questi numeri perché hanno sottoposto i risultati ad audit con controllori umani e regole rigorose. Hanno scoperto che, mentre i migliori robot stanno diventando molto bravi nel routing (98%+), stanno ancora lottando con l'ultimo passaggio di mettere insieme i pezzi correttamente (intorno al 56–75%).

In breve, il futuro dei robot d'ufficio intelligenti non è solo quello di dare loro mappe migliori dell'ufficio; si tratta di insegnare loro come leggere i segnali e fare i calcoli una volta arrivati. Il documento fornisce un nuovo, dettagliato tabellone dei punteggi per aiutare gli sviluppatori a tracciare esattamente dove i loro robot inciampano, in modo da poter riparare la parte specifica del cervello che è guasta, invece di sperare semplicemente che tutto il resto migliori.

Sintesi Tecnica: WorkSurface-Bench

Problematica

Gli agenti enterprise si trovano frequentemente di fronte a domande che richiedono l'accesso simultaneo a forme eterogenee di conoscenza: fatti narrativi in documenti, calcoli in tabelle e relazioni tra file in grafi di dipendenza. I benchmark esistenti valutano tipicamente il recupero (RAG) o l'uso di strumenti in isolamento, fallendo nel distinguere tra la capacità di un agente di selezionare la corretta rappresentazione della conoscenza (routing della superficie) e la sua capacità di ragionare correttamente utilizzando tale rappresentazione. Di conseguenza, i punteggi di accuratezza end-to-end confondono queste distinte capacità, rendendo difficile diagnosticare se un fallimento derivi dalla scelta della fonte errata, dal recupero di evidenze incomplete o dalla sintesi errata della risposta.

Metodologia

Gli autori introducono WorkSurface-Bench, un benchmark progettato per disaccoppiare il routing della superficie dalla generazione della risposta. La metodologia prevede tre componenti principali:

1. Costruzione del Benchmark

Il benchmark deriva dal corpus Workspace-Bench-Lite, proiettato su tre superfici canoniche e routabili:

Documento (RAG): 493 documenti canonici in formato markdown UTF-8.
Tabella: 207 viste DuckDB generate da fogli CSV/XLSX normalizzati.
Grafo: 1.438 archi che rappresentano la linea di discendenza dei file e le dipendenze (es. file-dipende-da-file).
Metadati: Le Procedure Operative Standard (SOP) sono mantenute come metadati del task piuttosto che come superficie routabile.

Il dataset comprende 1.151 task atomici distribuiti su cinque workspace con scope basato su persona. I task sono categorizzati per superfici richieste: rag_only, table_only, graph_only e cross_surface (che richiedono combinazioni delle tre).

2. Gold Standard Verificabile

Per garantire l'auditabilità, le risposte di riferimento non sono generate dai modelli ma derivano da un'esecuzione deterministica:

Risposte Tabellari: Eseguite tramite query DuckDB.
Risposte Documentali: Verificate rispetto a span verbali nei file sorgente.
Risposte al Grafo: Derivate dalle annotazioni di dipendenza della sorgente.
Un rigoroso processo di screening che coinvolge controlli deterministici, proposte assistite da LLM (GPT-5.5) e audit indipendenti umani/LLM (DeepSeek, Gemini) assicura che il set finale non contenga errori di protocollo e superi criteri rigorosi di rispondibilità e necessità della superficie.

3. Protocollo di Punteggio

Il framework di valutazione assegna quattro metriche distinte per ogni task:

Route F1: Misura la precisione e il richiamo del set di superfici selezionato rispetto al set richiesto (gold).
Evidence (Evidenza): Misura la frazione di artefatti richiesti (file, viste, nodi) effettivamente accessi nel trace.
Answer (Risposta): Valuta la correttezza finale utilizzando l'esatta corrispondenza (exact match), la tolleranza dell'errore relativo o l'F1 dell'insieme, a seconda del tipo di risposta.
Efficiency (Efficienza): Un punteggio continuo che penalizza l'uso di token rispetto a un budget specifico per il task.

Queste metriche vengono aggregate in un unico punteggio con i seguenti pesi: Answer (35%), Evidence (30%), Route (25%) ed Efficiency (10%).

Configurazione Sperimentale

Gli autori hanno valutato quattro modelli backbone (GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro e GPT-5.5) sotto sei impostazioni di agente:

No-tool: Baseline a libro chiuso.
Always-RAG: Forza una singola ricerca documentale.
Naive-router: Seleziona esattamente una superficie in anticipo.
ReAct-all: Espone tutte e tre le superfici, permettendo l'interleaving libero.
Gold-constrained: L'agente riceve le superfici richieste ma deve selezionare gli strumenti al loro interno.
Gold-hint/all: L'agente riceve le superfici richieste ma tutti gli strumenti rimangono disponibili.

Risultati Chiave

Gli esperimenti, che coprono 27.624 traiettorie trattenute, producono diverse scoperte critiche:

Routing $\neq$ Answering: Esiste solo una correlazione moderata ( $\rho = 0.62$ ) tra il successo del routing e l'accuratezza della risposta. Anche quando gli agenti sono Gold-constrained (costretti a usare le corrette superfici), raggiungendo un Route F1 quasi perfetto (98.7–99.8%), la loro accuratezza della risposta rimane significativamente più bassa (56.1–75.3%).
Colli di Bottiglia Post-Routing: Alti punteggi di routing non garantiscono l'esecuzione corretta. Sotto le impostazioni Gold-constrained, gli agenti falliscono ancora nel recupero delle evidenze (punteggi Evidence: 66.7–78.5%) e nella successiva computazione/sintesi.
Impatto di Hint vs. Restrizioni:
- Fornire suggerimenti sulla superficie (S4 $\to$ S6) migliora l'accuratezza della risposta per tre dei quattro modelli, ma ha un effetto variabile sul routing.
- Rimuovere gli strumenti irrilevanti (S6 $\to$ S5) migliora significativamente il Route F1 e l'Efficiency, ma non migliora uniformemente l'accuratezza della risposta; in alcuni casi, degrada le prestazioni.
Performance Specifiche per Superficie: Le prestazioni variano in base al tipo di task. Mentre i task "Table-only" generano generalmente i punteggi più alti (fino al 91.0%), i task "Cross-surface" rimangono i più impegnativi, con punteggi che scendono di 13.0–45.7 punti rispetto alla migliore performance del modello su una singola superficie.

Significato e Rivendicazioni

Il paper sostiene che WorkSurface-Bench sia il primo benchmark per workspace a valutare il routing della superficie separatamente dalla metrica della Risposta (Answer). Il suo significato primario risiede in:

Chiarezza Diagnostica: Separando le metriche, il benchmark permette ai ricercatori di individuare se un agente fallisce nella selezione, nel recupero o nella sintesi, invece di attribuire tutti i fallimenti a un monolitico punteggio di "intelligenza".
Disaccoppiamento delle Abilità: I risultati dimostrano che sapere dove guardare (routing) è una capacità distinta dal sapere come utilizzare l'informazione trovata (risposta).
Rigore della Valutazione: L'uso di risposte gold eseguibili e verificabili (SQL, span, annotazioni) elimina la dipendenza da riferimenti generati da modelli, fornendo una verità di base (ground truth) più affidabile per la valutazione degli agenti enterprise.

Gli autori concludono che le future valutazioni degli agenti devono riportare la selezione della superficie separatamente e testare esplicitamente se i sistemi siano in grado di convertire le evidenze recuperate in risposte corrette, piuttosto che affidarsi esclusivamente all'accuratezza end-to-end.