Technische Samenvatting: DataSpace: Benchmarking van Data Agents voor Verifieerbare Analyse over Heterogene Werkruimten

1. Probleemstelling

Data agents komen op als natuurlijke taalinterfaces voor organisatorische gegevens, maar realistische analytische settings vormen een complexe uitdaging: de bewijslast die nodig is om een query te beantwoorden, is zelden beperkt tot één enkele, schone tabel. In plaats daarvan is informatie verspreid over relationele databases, gestructureerde/semi-gestructureerde bestanden (CSV, JSON), lange documenten (PDF, Markdown) en multimedia-artefacten (video), waarbij vaak sprake is van cross-linguale variaties.

Bestaande benchmarks falen in het verenigen van drie cruciale eigenschappen van realistische data-analyse:

1. Werkruimte-omvang (Workspace Scope): Ze isoleren vaak gestructureerde query's (bijv. Spider) of ongestructureerde retrieval (bijv. HotpotQA), waardoor ze er niet in slagen taken te vatten die vereisen dat bewijs wordt ontdekt en geïntegreerd over heterogene modaliteiten binnen een taak-lokale werkruimte.
2. Output-contract: Veel benchmarks accepteren feit-gebaseerde antwoorden, open rapporten of uitvoerbare pipelines. Realistische analyses vereisen echter vaak een volledig, getypeerd tabelresultaat dat direct kan worden geconsumeerd.
3. Evaluatie-semantiek: Huidige evaluaties vertrouwen vaak op model-gebaseerde judges of slagen er niet in om equivalente representaties (bijv. verschillende kolomvolgordes, kolomkoppen of numerieke precisie) deterministisch af te handelen.

Het artikel stelt dat zonder een verenigde benchmark die een volledig tabelvormig output-contract afdwingt over heterogene, cross-linguale werkruimten met deterministische evaluatie, de vooruitgang in de betrouwbaarheid van data agents niet nauwkeurig gemeten kan worden.

2. Methodologie

2.1 DataSpace Benchmark

DataSpace is een benchmark bestaande uit 410 cross-linguale taken en 7.439 artefacten met een totaal van 15,01 GB.

• Modaliteiten: Werkruimten bevatten CSV, JSON, SQLite, Markdown, PDF en Video.
• Talen: Taken omvatten cross-linguale scenario's waarbij de vraag en de werkruimte-artefacten een mix van Chinees en Engels kunnen zijn.
• Taakformulering: Een agent ontvangt een natuurlijke taalvraag en een taak-lokale werkruimte. De agent moet autonoom bronnen ontdekken, entiteiten/schema's uitlijnen, meerstaps berekeningen uitvoeren (filteren, joinen, aggregatie) en het volledige gevraagde tabelresultaat teruggeven als een CSV-bestand.
• Domeinen: Financiële analyse (fondsen, aandelen), macro-economische data en gezondheidszorg-analyse.

2.1 DataSpace-Builder: Constructie-framework

Om deze complexe taken betrouwbaar te construeren, stellen de auteurs DataSpace-Builder voor, een uitvoering-gegrond framework dat instanties van bestaande Text-to-SQL benchmarks (EHRSQL en BULL) transformeert naar heterogene werkruimte-taken. Het proces bestaat uit vier stadia:

1. Cross-Linguale Transformatie (CLT): Een gezamenlijke migratie van de vraag, de database-status en de uitvoerbare SQL. Dit waarborgt referentiële consistentie door entiteitsnamen en waarden te vertalen terwijl identificatoren en codes behouden blijven. Een LLM-judge verifieert de semantische uitlijning tussen de vertaalde vraag en de SQL.
2. Constraint-bewuste Relationele Sampling: Om repetitieve werkruimten te voorkomen, samplet het framework rijen uit de bron-database terwijl de volledige schema behouden blijft. Er wordt een safeguard-set gebruikt (primaire/vreemde sleutels, query-predicaten) om de relationele integriteit (bijv. het behoud van join-paden) tijdens het samplen te garanderen.
3. Modality Routing & Artifact Rendering:
   • Base Routing: Tabellen worden toegewezen aan renderers (CSV, JSON, SQLite, Markdown, PDF) op basis van schema-eigenschappen.
   • Document Rendering: Lange documenten (Markdown/PDF) worden gegenereerd vanuit tabeldata met behulp van LLM's, waarbij "fact-grounded" generatie wordt gewaarborgd waarbij specifieke cellen herstelbaar zijn vanuit de tekst.
   • Video Rendering: Tabulaire data wordt omgezet in data-inzicht video's. Twee strategieën worden gebruikt: Predicate Abstraction (het verplaatsen van filtercondities naar de video-narratief) en Answer-Evidence Rendering (het verdelen van resultaat-cellen over videoscènes).
4. Menselijke Review & Taakherstel: Een panel van 11 domeinexperts voert blinde, onafhankelijke reviews uit. Zij lossen de taak op, verifiëren de gouden standaard en schrijven de evaluatieconfiguratie. Discrepanties leiden tot bewijs-gebaseerde reparaties aan de vraag, de werkruimte of het gouden antwoord.

2.3 Deterministische Evaluator

Het evaluatieprotocol is model-vrij en header-invariant:

• Kolomuitlijning: De evaluator vindt een één-op-één mapping tussen voorspelde en referentie kolommen, ongeacht de bewoording van de headers of de volgorde.
• Normalisatie: Waarden worden genormaliseerd op basis van semantische types (tekst, getal, datum, boolean) en precisie-regels (bijv. decimalen, percentageconventies).
• Rijvergelijking: Taken die een volgorde vereisen worden vergeleken als sequenties; andere worden vergeleken als ongeordende multisets.
• Scoring: Een taak is pas correct als de volledige tabelvoorspelling overeenkomt met de referentie onder deze semantiek.

3. Belangrijkste Bijdragen

1. Een Heterogene Werkruimte Benchmark: DataSpace introduceert 410 taken die de synthese vereisen van gestructureerde bestanden, databases, lange documenten en video tot een enkele, verifieerbare tabelvormige output.
2. Een Uitvoering-gegronde Constructie-framework: DataSpace-Builder transformeert uitvoerbare Text-to-SQL bronnen naar complexe multimodale taken, waarbij de dataconsistentie wordt gewaarborgd door sampling-safeguards en menselijke review.
3. Een Semantiek-bewuste Evaluator: Een deterministisch protocol dat equivalente representaties tolereert (kolomherordening, formattering) terwijl incomplete of foutieve outputs wordt afgewezen, waardoor de afhankelijkheid van LLM-judges wordt geëlimineerd.
4. Empirische Baselines: Het artikel stelt prestatie-baselines vast voor zes frontier multimodale modellen en vijf agent-harnesses, waarbij specifieke knelpunten in de huidige agent-capaciteiten worden geïdentificeerd.

4. Experimentele Resultaten

De auteurs evalueerden zes multimodale backbones (Grok 4.5, GPT-5.6 Sol, Kimi K3, MiMo-V2.5, Claude Sonnet 5, MiniMax M3) en vijf agent-harnesses (inclusief hun eigen DataSpace-Agent).

• Algemene Prestaties: De best presterende configuratie (Grok 4.5 met DataSpace-Agent) behaalde een nauwkeurigheid van 66,34%. Dit geeft aan dat de benchmark niet verzadigd is, aangezien 76 taken door alle zes backbones werden gemist, terwijl slechts 56 taken door alle modellen werden opgelost.
• Impact van de Harness: De keuze van de agent-harness heeft een significante impact op de prestaties. Met de MiMo-V2.5 backbone vastgesteld, varieerde de nauwkeurigheid met 15,36 procentpunt over verschillende harnesses (variërend van 30,98% tot 46,34%).
• Belangrijkste Uitdagingen:
  • Multimodale Integratie: Taken die multimodale bewijslast vereisten, verminderden de nauwkeurigheid consistent over alle backbones met 1,8–14,0 punten vergeleken met single-modal taken.
  • Joins: Join-operaties verminderden de nauwkeurigheid met 9,7–19,8 punten.
  • Efficiëntie: GPT-5.6 Sol bereikte bijna de top-nauwkeurigheid (64,63%) met 74,2% minder tokens en 50,3% minder acties dan de top performer, Grok 4.5.
• Falen-analyse: Een audit van 136 fouten van Grok 4.5 onthulde dat 52,2% van de fouten voortkwamen uit de antwoord-materialisatie (bijv. het toevoegen of weglaten van kolommen of rijen na het berekenen van het juiste interne resultaat), in plaats van in de bewijsontdekking of -extractie. Slechts 5 van de 13 "geen-indiening" gevallen waren pure terminatiefouten; de meeste kwamen voort uit eerdere persistente fouten.

5. Betekenis en Claims

Het artikel claimt dat DataSpace een rigoureuze testomgeving vestigt voor de vooruitgang van betrouwbare data agents. De primaire betekenis ligt in de verschuiving van het evaluatieparadigma van geïsoleerde vaardigheden (zoals SQL-generatie of document retrieval) naar end-to-end werkruimte-oplossing met een strikt, verifieerbaar output-contract.

De auteurs concluderen bescheiden dat hoewel huidige frontier modellen veelbelovend zijn, er aanzienlijke hiaten blijven bestaan in cross-modale integratie en joins. De benchmark benadrukt dat het vermogen om data te "vinden" onvoldoende is; agents moeten ook de exacte gevraagde outputstructuur getrouw materialiseren. De resultaten suggereren dat het verbeteren van de betrouwbaarheid van data agents vereist dat de volledige pijplijn wordt aangepakt, van heterogene bewijsontdekking tot precieze tabelvormige serialisatie, in plaats van enkel te focussen op redeneervermogens.

DataSpace dient als de officiële evaluatiebenchmark voor de KDD Cup 2026 Data Agents for Complex Data Analysis competitie, wat een gestandaardiseerde, reproduceerbare omgeving biedt voor toekomstig onderzoek in dit domein.