Riepilogo Tecnico: DataSpace: Benchmarking di Data Agent per l'Analisi Verificabile su Workspace Eterogenei
1. Definizione del Problema
I data agent stanno emergendo come interfacce in linguaggio naturale per i dati organizzativi, tuttavia gli scenari analitici realistici presentano una sfida complessa: l'evidenza necessaria per rispondere a una query raramente è contenuta in una singola tabella pulita. Al contrario, l'informazione è dispersa tra database relazionali, file strutturati/semi-strutturati (CSV, JSON), documenti lunghi (PDF, Markdown) e artefatti multimediali (video), spesso coinvolgendo variazioni cross-linguistiche.
I benchmark esistenti non riescono a unificare tre proprietà critiche dell'analisi dei dati realistica:
- Ambito dello Workspace (Workspace Scope): Spesso isolano l'interrogazione strutturata (es. Spider) o il recupero non strutturato (es. HotpotQA), fallendo nel catturare compiti che richiedono la scoperta e l'integrazione di evidenze attraverso modalità eterogenee all'interno di uno workspace locale al task.
- Contratto di Output (Output Contract): Molti benchmark accettano risposte factoidali, report aperti o pipeline eseguibili. L'analisi del mondo reale richiede spesso un risultato tabulare completo e tipizzato che possa essere consumato direttamente.
- Semantica di Valutazione (Evaluation Semantics): Le valutazioni attuali spesso si affidano a giudici basati su modelli o non riescono a gestire in modo deterministico le rappresentazioni equivalenti (es. diversi ordini delle colonne, terminologia degli header o precisione numerica).
L'articolo sostiene che, senza un benchmark unificato che imponga un contratto di output tabulare completo su workspace cross-linguistici ed eterogenei con una valutazione deterministica, il progresso nell'affidabilità dei data agent non possa essere misurato accuratamente.
2. Metodologia
2.1 Benchmark DataSpace
DataSpace è un benchmark composto da 410 task cross-linguistici e 7.439 artefatti per un totale di 15,01 GB.
- Modalità: Gli workspace includono CSV, JSON, SQLite, Markdown, PDF e Video.
- Lingue: I task coinvolgono scenari cross-linguistici in cui la domanda e gli artefatti dello workspace possono mescolare cinese e inglese.
- Formulazione del Task: Un agente riceve una domanda in linguaggio naturale e uno workspace locale al task. Deve scoprire autonomamente le fonti, allineare entità/schemi, eseguire computazioni multi-step (filtraggio, join, aggregazione) e restituire il risultato tabulare completo richiesto sotto forma di file CSV.
- Domini: Analisi finanziaria (fondi, azioni), dati macroeconomici e analisi sanitaria.
2.2 DataSpace-Builder: Framework di Costruzione
Per costruire questi task complessi in modo affidabile, gli autori propongono DataSpace-Builder, un framework basato sull'esecuzione che trasforma le istanze da esistenti benchmark di Text-to-SQL (EHRSQL e BULL) in task di workspace eterogenei. Il processo prevede quattro fasi:
- Trasformazione Cross-Linguistica (CLT): Una migrazione congiunta della domanda, dello stato del database e della SQL eseguibile. Garantisce la coerenza referenziale traducendo i nomi delle entità e i valori, pur preservando identificatori e codici. Un giudice LLM verifica l'allineamento semantico tra la domanda tradotta e la SQL.
- Campionamento Relazionale Consapevole dei Vincoli: Per evitare workspace ripetitivi, il framework campiona le righe dal database sorgente mantenendo l'intero schema. Utilizza un set di salvaguardia (chiavi primarie/esterne, predicati di query) per garantire l'integrità relazionale (es. preservando i percorsi di join) durante il campionamento.
- Routing delle Modalità e Rendering degli Artefatti:
- Base Routing: Le tabelle sono assegnate a renderer (CSV, JSON, SQLite, Markdown, PDF) in base alle proprietà dello schema.
- Document Rendering: Documenti a lungo formato (Markdown/PDF) vengono generati dai dati tabulari utilizzando LLM, garantendo una generazione "fondata sui fatti" dove celle specifiche sono recuperabili dal testo.
- Video Rendering: I dati tabulari vengono convertiti in video di insight sui dati. Vengono utilizzate due strategie: Astrazione dei Predicati (spostando le condizioni di filtro nella narrazione del video) e Rendering dell'Evidenza della Risposta (distribuendo le celle del risultato attraverso le scene del video).
- Revisione Umana e Riparazione dei Task: Un panel di 11 esperti di dominio esegue revisioni cieche e indipendenti. Risolvono il task, verificano il gold standard e redigono la configurazione di valutazione. I disaccordi innescano riparazioni basate sull'evidenza della domanda, dello workspace o della risposta gold.
2.3 Valutatore Deterministico
Il protocollo di valutazione è privo di modelli (model-free) e indifferente all'header (header-invariant):
- Allineamento delle Colonne: Il valutatore trova una mappatura uno-a-uno tra le colonne predette e quelle di riferimento, indipendentemente dalla terminologia dell'header o dall'ordine.
- Normalizzazione: I valori vengono normalizzati in base ai tipi semantici (testo, numero, data, booleano) e alle regole di precisione (es. decimali, convenzioni percentuali).
le procedure di confronto:
- Confronto delle Righe: I task che richiedono un ordine vengono confrontati come sequenze; altri sono confrontati come multiset non ordinati.
- Scoring: Un task è considerato corretto solo se la predizione tabulare completa corrisponde al riferimento sotto queste semantiche.
3. Contributi Chiave
- Un Benchmark di Workspace Eterogenei: DataSpace introduce 410 task che richiedono la sintesi di file strutturati, database, documenti lunghi e video in un unico output tabulare verificabile.
- Un Framework di Costruzione Basato sull'Esecuzione: DataSpace-Builder trasforma le risorse di Text-to-SQL eseguibili in complessi task multimodali, garantendo la coerenza dei dati attraverso salvaguardie di campionamento e revisione esperta.
- Un Valutatore Consapevole delle Sematiche: Un protocollo deterministico che tollera rappresentazioni equivalenti (riordinamento delle colonne, formattazione) ma rifiuta output incompleti o errati, eliminando la dipendenza da giudici LLM.
- Baseline Empiriche: Il paper stabilisce baseline di performance su sei modelli multimodali all'avanguardia e cinque harness di agenti, identificando colli di bottiglia specifici nelle capacità degli agenti attuali.
4. Risultati Sperimentali
Gli autori hanno valutato sei backbones multimodali (Grok 4.5, GPT-5.6 Sol, Kimi K3, MiMo-V2.5, Claude Sonnet 5, MiniMax M3) e cinque harness di agenti (inclusi il loro DataSpace-Agent).
- Performance Complessiva: La configurazione con le migliori prestazioni (Grok 4.5 con DataSpace-Agent) ha raggiunto un'accuratezza del 66,34%. Ciò indica che il benchmark è non saturo, poiché 76 task sono stati mancati da tutti e sei i backbones, mentre solo 56 task sono stati risolti da tutti i modelli.
- Impatto dell'Harness: La scelta dell'harness dell'agente influisce significativamente sulle prestazioni. Con il backbone MiMo-V2.5 fisso, l'accuratezza variava di 15,36 punti percentuali tra i diversi harness (da 30,98% a 46,34%).
- Sfide Chiave:
- Integrazione Multimodale: I task che richiedono evidenze multimodali hanno ridotto costantemente l'accuratezza in tutti i backbones di 1,8–14,0 punti rispetto ai task a singola modalità.
- Join: Le operazioni di join hanno ridotto l'accuratezza di 9,7–19,8 punti.
- Efficienza: GPT-5.6 Sol ha raggiunto un'accuratezza vicina al top (64,63%) utilizzando il 74,2% in meno di token e il 50,3% in meno di azioni rispetto al top performer, Grok 4.5.
- Analisi dei Fallimenti: Un audit di 136 fallimenti di Grok 4.5 ha rivelato che il 52,2% degli errori originava nella materializzazione della risposta (es. aggiungere/omettere colonne o righe dopo aver calcolato correttamente il risultato interno), piuttosto che nella scoperta o estrazione dell'evidenza. Solo 5 di 13 casi di "nessuna sottomissione" erano fallimenti di terminazione pura; la maggior parte derivava da errori persistenti precedenti.
5. Significato e Rivendicazioni
Il paper sostiene che DataSpace stabilisce un banco di prova rigoroso per far avanzare gli agenti di dati affidabili. Il suo significato primario risiede nello spostamento del paradigma di valutazione dalle abilità isolate (es. generazione SQL o recupero di documenti) alla risoluzione end-to-end dello workspace con un contratto di output rigoroso e verificabile.
Gli autori concludono con modestia che, sebbene i modelli all'avanguardia mostrino potenziale, rimangono lacune significative nell'integrazione cross-modalità e nei join. Il benchmark evidenzia che la capacità di "trovare" i dati è insufficiente; gli agenti devono anche materializzare fedelmente l'esatta struttura dell'output richiesto. I risultati suggeriscono che migliorare l'affidabilità dei data agent richiede di affrontare l'intera pipeline, dalla scoperta di evidenze eterogenee alla precisa serializzazione tabulare, piuttosto che concentrarsi esclusivamente sulle capacità di ragionamento.
DataSpace funge da benchmark ufficiale di valutazione per la competizione KDD Cup 2026 Data Agents for Complex Data Analysis, fornendo un ambiente standardizzato e riproducibile per la ricerca futura in questo dominio.