Technische Samenvatting: Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities

Probleemstelling

Huidige benchmarks voor het evalueren van Large Language Models (LLMs) bij data-analyse slagen er niet in de realiteit van de praktijk te weerspiegelen. Bestaande datasets (bijv. WikiTableQuestions, Spider) vertrouwen doorgaans op kleinschalige, single-table omgevingen en richten zich primair op feitenretrieval via semantische parsing of text-to-SQL. Deze benchmarks verwaarlozen cruciale praktische uitdagingen, waaronder:

• Schaal en Complexiteit: De noodzaak om massale tabellen (miljoenen rijen) te verwerken en meerdere heterogene tabellen samen te voegen.
• Contextuele Afhankelijkheid: De essentiële rol van metadata en externe kennis (bijv. datadictionaries) die nodig zijn om ruwe data te interpreteren.
• Taakomvang: Het gebrek aan evaluatie voor proactieve, exploratieve ontdekking van inzichten. Bestaande taken richten zich op het beantwoorden van specifieke vragen, waardoor de capaciteit van data-analisten om zonder expliciete gebruikersprompts expert-niveau bevindingen te genereren, buiten beschouwing wordt gelaten.

Als gevolg hiervan blijft het "ontdekkingsgerichte" vaardigheidsset grotendeels ongeëvalueerd, wat een kloof creëert tussen de visie van autonome data-analysesystemen en hun werkelijke prestaties in complexe, real-world scenario's.

Methodologie: DataGovBench

Om deze hiaten te overbruggen, introduceren de auteurs DataGovBench, een benchmark afgeleid van openbare overheidsgegevens (bijv. Data.gov, Data.gov.uk). De benchmark wordt geconstrueerd via een driestaps-proces:

1. Data Curatie: De auteurs identificeerden 53 open dataplatforms en filterden datasets op basis van strikte criteria: ten minste één tabelbestand met >5.000 rijen, beschikbare metadata (beschrijvingen) en de aanwezigheid van externe kennis (bijv. datadictionaries). De uiteindelijke set bestaat uit 178 unieke datasets, met een gemiddelde van 210.000 rijen en 18 kolommen, waarbij de grootste tabel 11,9 miljoen rijen bevat. Opvallend genoeg zijn meer dan 36% van de datasets multi-tabular en bevatten meer dan 57% externe kennis in diverse formaten (PDF, XLSX, etc.).

2. Taakdefinitie: De benchmark evalueert LLMs op twee complementaire taken:

   • Table QA: Modellen moeten eenvoudige of decomposable vragen (multi-step reasoning) beantwoorden met tekstuele of visuele outputs. Om grote tabellen te verwerken, stellen de auteurs Feature Type-Specific Table Serialization voor, een techniek die een compacte samenvatting van een tabel maakt door kolommen te representeren volgens hun datatype (bijv. het vermelden van unieke categorieën voor categorische kolommen, min/max voor numerieke kolommen) in plaats van ruwe rijen.
   • Table Insight: Modellen moeten een open-ended exploratieve analyse uitvoeren om een lijst met expert-niveau bevindingen en een samenvatting te genereren zonder een specifieke gebruikersvraag. De ground truth voor deze taak is afgeleid van officiële rapporten die bij de datasets horen, wat zorgt voor een objectieve evaluatie van subjectieve inzichten.

3. Annotatie Pipeline:

   • QA Paren: Genereren via een human-in-the-loop pipeline met behulp van een ensemble van vier LLM's (GPT-4o, GPT-4o-mini, Gemini 2.0 Flash, Gemini 1.5 Pro). Vragen ondergaan automatische scoring, antwoordgeneratie (via Python code executie) en rigoureuze menselijke verificatie om helderheid, correctheid en analytische complexiteit te waarborgen.
   • Insights: Geëxtraheerd uit domeinexpert-rapporten met behulp van LLM's (NotebookLM, Gemini) om bevindingen te structureren in declaratieve zinnen en samenvattingen, gevolgd door handmatige verificatie.

Experimentele Opstelling

De auteurs evalueerden een divers bereik aan modellen, inclusief open-source LLM's (Llama 3.1, Qwen3, DeepSeek-R1), gespecialiseerde tabelmodellen (TableGPT2) en closed-state-of-the-art modellen (GPT-4o, GPT-5.1, Claude Sonnet 4.6, Gemini 2.5 Flash).

Twee evaluatie-frameworks werden getest:

1. Direct LLM: Modellen genereren direct antwoorden.
2. Agentic Frameworks:
   • Answer Agent: Een modulaire agent met serialization, code generatie met zelfcorrectie, en een reflectiemodule (gebruikmakend van VLM/MLLM voor visuele validatie).
   • Insight Agent: Een uitbreiding van het AgentPoirot framework, gebruikmakend van een Directed Acyclic Graph (DAG) structuur om iteratief vragen, antwoorden en inzichten te genereren, waarbij context van alle voorgaande nodes wordt geaggregeerd in plaats van een simpele boomstructuur.

Evaluatiemetrieken omvatten Exact Match (EM) voor tekst, MLLM-as-a-judge voor visualisaties, en LLaMA-3-Eval scores (aangepast voor GPT-4o) voor de kwaliteit van inzichten, gemeten op zowel samenvattings- als individueel inzichtsniveau.

Belangrijkste Resultaten

Uit uitgebreide experimenten blijkt dat er significante prestatiekloven zijn, wat aangeeft dat huidige systemen verre van tevreden zijn aan de eisen van real-world data-analyse:

• Lage Accuratesse: Zelfs top-presterende closed-source modellen met agentic ondersteuning behaalden lage absolute scores. In de Table QA "Whole" setting (waarbij alle subvragen correct moeten zijn) lag de beste score onder de 0,4. Voor Table Insight scoorden topmodellen onder de 0,35 voor inzicht-niveau alignment en onder de 0,5 voor samenvatting-niveau alignment.

• Agentic Support: Hoewel agentic frameworks (Answer Agent) de prestaties verbeterden ten opzien van base LLM's (bijv. ~27% relatieve verbetering voor Gemini 2.5 Flash in QA), waren de winsten onvoldoende om de moeilijkheidsgraad van de benchmark te overwinnen.

• Modelvergelijking: Open-source modellen bleven aanzienlijk achter bij hun closed-source tegenhangers. Gespecialiseerde tabelmodellen (TableGPT2-7B) presteerden slecht (score < 0,1), wat suggereert dat algemene redeneer-capaciteiten momenteel belangrijker zijn dan tabel-specifieke pre-training voor deze complexe taken.

• Foutanalyse:

  • Table QA: De meest voorkomende fouten waren Condition Filter Errors (32,4%, bijv. het niet vermijden van dubbeltellingen) en Transformation Errors (23,2%, bijv. het parsen van datetime formaten of het converteren van string getallen). Modellen hadden ook moeite met context-handling in multi-turn scenario's en het selecteren van de juiste tabel uit metadata in multi-table datasets.
  • Table Insight: Hoewel agents redelijk presteerden op Topic Relevance, faalden ze regelmatig op Narrative Alignment en Qualitative Details Match. Cruciaal is dat agents volledig faalden bij Quantitative Details Match, waarbij ze niet in staat waren om specifieke numerieke waarden nauwkeurig te berekenen of te presenteren in hun gegenereerde inzichten.

• Ablatie Bevindingen:

  • Serialization vs. Raw Rows: Het verstrekken van meer ruwe rijen (tot 200) verslechterde de prestaties vergeleken met de baseline van 10 rijen. Daarentegen verbeterde de feature type-specifieke serialisatie de prestaties aanzienlijk door een compacte, betrouwbare representatie te bieden.
  • SQL vs. Python: Text-to-SQL benaderingen presteerden aanzienlijk slechter dan Python code generatie voor deze benchmark, met hogere percentages syntax- en kolomselectiefouten.

Betekenis en Claims

Het artikel claimt dat DataGovBench een uitdagende, realistische benchmark biedt die de beperkingen van huidige LLM-gebaseerde data-analysesystemen blootlegt. De primaire bijdragen zijn:

1. Realisme: Het is de eerste benchmark die complex, decomposable QA en inzichtgeneratie holistisch combineert met grootschalige, multi-tabular datasets die metadata en externe kennis vereisen.
2. Identificatie van Prestatiekloof: Het demonstreert dat zelfs state-of-the-art modellen, zowel standalone als agentic, worstelen met de nuances van real-world data, met name bij narratieve redenering en accurate feitenretrieval uit complexe tabellen.
3. Onderzoeksroadmap: Door middel van gedetailleerde kwalitatieve analyse identificeren de auteurs specifieke faalmodi (bijv. het onvermogen om kernargumenten te synthetiseren, fouten in kwantitatieve berekeningen) en ontbrekende capaciteiten, wat een duidelijke gids biedt voor de community om toekomstig onderzoek te richten op het bouwen van robuustere agents die in staat zijn om de complexiteit van real-world data aan te kunnen.

De auteurs concluderen dat hoewel LLM's het paradigma van mens-data interactie hebben verschoven, aanzienlijke vooruitgang nodig is voordat deze systemen autonoom aan de eisen van professionele data-analyse kunnen voldoen.