KramaBench: A Benchmark for AI Systems on Data-to-Insight Pipelines over Data Lakes

Dit paper introduceert KramaBench, een benchmark met 104 handmatig samengestelde uitdagingen die aantoont dat huidige AI-systemen, ondanks hun vaardigheden in geïsoleerde taken, moeite hebben om volledige, werkende data-naar-inzicht-pijplijnen over complexe data lakes te ontwerpen en uit te voeren.

De kern

Hier is een uitleg van het paper "KRAMABENCH" in eenvoudig Nederlands, met behulp van creatieve vergelijkingen.

🕵️‍♂️ De Grote Uitdaging: Van Chaos naar Inzicht

Stel je voor dat je een enorme, rommelige zolder hebt (een Data Lake). Deze zolder zit vol met duizenden dozen, losse papiertjes, oude foto's, handgeschreven notities en digitale bestanden. Sommige dozen zijn goed gelabeld, andere zijn beschadigd, en sommige bevatten helemaal niets dat relevant is.

Je doel is om één specifiek antwoord te vinden op een vraag, bijvoorbeeld: "Hoeveel geld is er in 2024 gestolen via creditcards in New York?"

Om dit antwoord te vinden, moet je:

1. De juiste dozen vinden in de chaos.
2. De rommelige papiertjes schoonmaken (sommige cijfers zijn verkeerd geschreven).
3. De informatie uit verschillende dozen samenvoegen.
4. De getallen optellen en een conclusie trekken.

Dit is wat Data Science is. En tot nu toe dachten we dat AI (zoals slimme chatbots) dit makkelijk kon doen. Maar dit paper, KRAMABENCH, zegt: "Niet zo snel!"

🧪 Wat is KRAMABENCH?

KRAMABENCH is een grote test (een benchmark) die onderzoekers van MIT hebben gemaakt om te zien hoe goed AI-systemen deze "zolder-schoonmaak" klus kunnen uitvoeren.

• De Test: Het bevat 104 echte, moeilijke puzzels uit 6 verschillende werelden (zoals archeologie, sterrenkunde, wetenschap en recht).
• De Materiaal: De AI moet werken met 1.700 bestanden, variërend van schone tabellen tot rommelige tekstbestanden.
• Het Doel: Kijken of een AI alleen de juiste vragen kan stellen, of dat het ook daadwerkelijk de hele route van "chaos" naar "antwoord" kan afleggen zonder dat een mens ingrijpt.

🤖 De AI's op de proef

De onderzoekers hebben 8 verschillende AI-modellen getest. Ze hebben ze op drie manieren laten werken:

1. De "Alleenstaande" AI: Kijkt alleen naar de vraag en probeert het zelf te doen.
2. De "Team-AI": Werkt met een team van AI-agenten die elkaar controleren (zoals een projectmanager en een uitvoerder).
3. De "Gouden Weg": De AI krijgt alleen de juiste bestanden (alsof iemand de juiste dozen al voor je heeft uitgestald).

📉 De Resultaten: Een koude douche

De resultaten zijn verrassend en laten zien dat we nog ver te gaan hebben:

• De beste score: Zelfs het slimste systeem haalde maar 55% van de vragen goed. Dat betekent dat het in bijna de helft van de gevallen faalt, zelfs als het de juiste bestanden heeft.
• Het probleem is niet alleen zoeken: Als je de AI alleen de juiste bestanden geeft (de "Gouden Weg"), stijgt de score maar heel weinig (naar 62%). Dit betekent dat het probleem niet is dat ze de verkeerde dozen pakken, maar dat ze niet weten wat ze ermee moeten doen.
• Plannen vs. Uitvoeren: De AI's zijn goed in het bedenken van een plan (42% goed), maar falen vaak bij het uitvoeren van de kleine stappen (slechts 20% goed).
  • Vergelijking: Het is alsof een AI een perfecte routebeschrijving kan schrijven om naar een stad te rijden, maar zodra het de auto in stapt, vergeet het hoe je moet schakelen of rijdt het tegen een boom op.

🔍 Waarom falen ze? (De drie valkuilen)

1. Te veel vertrouwen op hun geheugen: De AI's proberen vaak het antwoord te "gokken" op basis van wat ze eerder hebben geleerd, in plaats van echt naar de data te kijken. Als de onderzoekers de namen van steden veranderden (bijv. "Los Angeles" werd "La-La Land"), vielen de AI's volledig in de war. Ze leken te memoriseren in plaats van te redeneren.
2. Geen oog voor details: Als er een klein foutje in een bestand staat (bijvoorbeeld een lege cel die "M" betekent voor "Missende waarde"), zien de AI's dit vaak niet. Ze haken af of geven een verkeerd antwoord.
3. Geen holistisch beeld: De AI's begrijpen niet hoe de hele zolder in elkaar zit. Ze weten niet dat een rijtje namen in bestand A eigenlijk dezelfde locatie is als een rijtje in bestand B, tenzij iemand het ze expliciet vertelt.

💡 Wat betekent dit voor de toekomst?

Dit paper is een wake-up call. Het laat zien dat AI's momenteel niet klaar zijn om volledig zelfstandig complexe data-analyses te doen voor bedrijven of wetenschappers.

• Huidige AI: Kan goed code schrijven voor simpele taken en kan een plannetje maken.
• Wat er nodig is: AI's moeten leren om beter te "nadenken" over de data, fouten in de data te herkennen en niet alleen te vertrouwen op wat ze al weten.

Conclusie in één zin:
AI's zijn momenteel als slimme stagiairs die een heel goed plan kunnen schrijven, maar die de rommelige zolder nog niet zelf kunnen opruimen zonder dat een mens constant helpt en corrigeert. KRAMABENCH is de test die dit bewijst en ons vertelt waar we moeten werken om ze echt slim te maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "KRAMABENCH: A BENCHMARK FOR AI SYSTEMS ON DATA-TO-INSIGHT PIPELINES OVER DATA LAKES", geschreven in het Nederlands.

Titel: KRAMABENCH: Een benchmark voor AI-systemen op Data-to-Insight-pijplijnen over Data Lakes

1. Het Probleem

Het ontdekken van inzichten uit real-world data lakes is een complex proces dat vaak onzuivere, semi-gestructureerde en ongestructureerde data bevat. Dit vereist een reeks data-verwerkingstaken, variërend van extractie en schoonmaak tot integratie, analyse en modellering. Hoewel AI-modellen (LLMs) indrukwekkende resultaten hebben geboekt in redenering en codegeneratie, is hun vermogen om complexe, end-to-end pijplijnen te ontwerpen en uit te voeren die deze uitdagingen aanpakken, nog onvoldoende onderzocht.

Bestaande benchmarks (zoals DS-1000 of ARCADE) focussen vaak op geïsoleerde stappen (bijv. codegeneratie vanuit gedetailleerde prompts of text-to-SQL) en missen de heterogeniteit van data-taken en de benodigde redenering voor real-world data science met grote, onzuivere datasets. Er ontbreekt een benchmark die de volledige complexiteit van het "data-to-insight" proces in een data lake simuleert.

2. Methodologie: KRAMABENCH

KRAMABENCH is een nieuwe benchmark ontworpen om de end-to-end capaciteiten van AI-systemen te evalueren bij het oplossen van data-wetenschappelijke uitdagingen.

• Datasets en Omvang: De benchmark bestaat uit 104 handmatig samengestelde en opgeloste uitdagingen die zijn afgeleid van 1700 bestanden uit 24 bronnen over 6 domeinen:
  • Archeologie, Astronomie, Biomedisch onderzoek, Milieuwetenschappen, Juridische inzichten en Wildfire-preventie.
  • De data omvat gestructureerde, semi-gestructureerde en ongestructureerde bestanden (tot 1,7 GB).
• Taakontwerp: Elke taak is een natuurlijke taalbeschrijving van een domeinspecifiek probleem. Systemen moeten relevante data ontdekken, data-wrangling (schoonmaken, normaliseren) uitvoeren en statistische/computationele analyses implementeren om tot een antwoord te komen.
  • Om datalekken in LLM-training te voorkomen, is 20% van de taken "verduisterd" (obscured): echte identificatoren en numerieke data zijn vervangen door synthetische waarden zonder de taakstructuur te veranderen.
• Evaluatie Framework: KRAMABENCH evalueert systemen op drie niveaus:
  1. End-to-End Automatisering: Het vermogen om een taak volledig op te lossen zonder menselijke tussenkomst.
  2. Pijplijnontwerp (Pipeline Design): Het vermogen om de juiste componenten en logica te identificeren voor een succesvolle pijplijn.
  3. Implementatie van Individuele Taken: Het vermogen om fijngestuurde sub-taken correct te coderen binnen een correcte pijplijn.
• Referentie-Implementatie (DS-Guru): De auteurs introduceren DS-Guru, een lichtgewicht framework dat LLMs scaffold om de uitdagingen aan te pakken. Dit omvat strategieën zoals "One-Pass Sampling" (OPS) voor data-retrieval, chain-of-thought prompting voor decompositie en multi-shot debugging.

3. Experimentele Opstelling

De auteurs evalueerden 8 LLMs (waaronder GPT-o3, GPT-4o, Claude-3.7, Llama3.3, DeepSeek-R1) binnen verschillende systemen:

• DS-Guru: Variaties (no-context, one-shot, few-shot).
• smolagents: Open-source agentische systemen (Deep Research, Reflexion, PDT).
• Gesloten Systemen: OpenAI Deep Research en Google Gemini Agentic Mode.
• Human Baseline: Een kleine studie met 9 data-wetenschappers.

4. Belangrijkste Resultaten

De resultaten tonen aan dat huidige AI-systemen nog ver verwijderd zijn van het volledig automatiseren van real-world data science:

• End-to-End Prestaties: Het beste systeem (smolagents Reflexion met Claude-3.7) bereikte slechts 55,37% nauwkeurigheid in de volledige data-lake setting. Zelfs met perfecte data-retrieval (Oracle input) stopte de nauwkeurigheid bij 62,81%.
• Pijplijnontwerp vs. Implementatie:
  • Systemen kunnen redeneren op een hoog niveau en plausibele pijplijnen ontwerpen (ongeveer 42% van de belangrijke taken worden geïdentificeerd).
  • Echter, het volledig implementeren van individuele data-taken lukt slechts in 20% van de gevallen.
• Agentische Controleflow: Systemen met een agentische controleflow (zoals smolagents DR die iteratief zoeken, plannen en repareren) presteerden significant beter (55,83%) dan systemen met een gestructureerde flow zoals DS-Guru (24,98%). Dit suggereert dat dynamische aanpassing cruciaal is.
• Retrieval is niet het grootste probleem: Het leveren van alleen de "gouden" bestanden (Oracle) verbeterde de prestaties slechts marginaal (0-7%). Dit wijst erop dat de uitdaging meer ligt in data-afhankelijk redeneren en het begrijpen van de data dan alleen in het vinden van de juiste bestanden.
• Verduisterde Data: Wanneer de data verduisterd werd, daalden de prestaties drastisch (bijv. van 62,81% naar 12,77% voor Claude-3.7 in Reflexion). Dit suggereert dat systemen vaak vertrouwen op parametrische kennis (memoriseren) in plaats van echte data-afhankelijke redenering.
• Menselijke Vergelijking: Menselijke experts behaalden een gemiddelde van 76,75%, maar maakten ook fouten, voornamelijk in pijplijnontwerp (46%) en domeinkennis (24%).

5. Key Contributions

1. KRAMABENCH Benchmark: De eerste benchmark die zich specifiek richt op end-to-end data-to-insight pijplijnen over heterogene, onzuivere data lakes met 104 real-world taken.
2. Comprehensive Evaluation Framework: Een drie-laags evaluatiemodel (End-to-End, Design, Implementation) dat dieper inzicht geeft in waarom systemen falen.
3. Empirische Inzichten: Het paper onthult dat de beperkingen van huidige LLM-agenten niet liggen in het vinden van data, maar in fine-grained data-afhankelijk redeneren, het integreren van domeinkennis en het holistisch begrijpen van data-structuren.
4. Open Source Assets: Alle code, data, werklasten en evaluatiescripten zijn openbaar beschikbaar gesteld.

6. Significatie en Conclusie

KRAMABENCH demonstreert dat hoewel AI-systemen nuttige technieken hebben (zoals agentische workflows en generieke code-vaardigheden), ze nog niet betrouwbaar zijn voor real-world data science. De grootste uitdagingen zijn:

• Effectieve data-retrieval en -interpretatie in grote, rommelige data lakes.
• Data-afhankelijk redeneren (het verbinden van foutmeldingen met data-observaties).
• Het integreren van vooraf bestaande domeinkennis en het stellen van verduidelijkende vragen bij onduidelijke data.

De studie concludeert dat toekomstig onderzoek zich moet richten op het verbeteren van deze specifieke vaardigheden om tot praktische, geautomatiseerde data science-systemen te komen. De huidige "agentic" systemen zijn veelbelovend, maar nog niet klaar voor de volledige autonomie in complexe data-omgevingen.