Technische Samenvatting: LAKEQA – Een Exploratieve QA-Benchmark over een Data Lake op Miljoenschaal

Probleemdefinitie

Recente Large Language Models (LLMs) hebben significante vooruitgang getoond in lees-gebaseerde Question Answering (QA), waarbij bewijs expliciet wordt verstrekt of triviaal te extraheren is uit nauwe, gecureerde corpora. Echter, real-world scenario's omvatten vaak Exploratieve Question Answering (EQA) over heterogene data lakes. In dergelijke omgevingen is bewijs niet vooraf beschikbaar; in plaats daarvan is het verspreid over massale collecties van gestructureerde (bijv. CSV, JSON) en ongestructureerde (bijv. PDF, HTML) documenten. Het oplossen van dergelijke problemen vereist dat agenten iteratief zoeken naar relevante bestanden, tussenliggende entiteiten ontdekken en redeneren over meerdere afhankelijke stappen voordat ze een definitief antwoord formuleren.

Huidige benchmarks slagen er niet in om deze complexiteit simultaan te vatten. Bestaande datasets bezitten ofwel een hoge zoekintensiteit (grote documentcollecties) maar een lage redeneerdiepte (weinig hops), ofwel een hoge redeneerdiepte maar opereren zij over kleine, gecureerde zoekruimtes. Er is een gebrek aan een uitgebreide benchmark die zowel hoge zoekintensiteit (het scannen van miljoenen documenten) als hoge redeneerintensiteit (long-horizon, multi-hop redeneren met impliciete tussenstappen) vereist.

Methodologie

1. Benchmark Constructie (LAKEQA)

De auteurs introduceren LAKEQA, een benchmark ontworpen om EQA-capaciteiten te evalueren over een massieve, heterogene data lake.

• Data Lake Schaal: De benchmark is gebouwd op een collectie van ongeveer 9,5 TB aan data, bestaande uit circa 40 miljoen unieke documenten.
• Bronnen: De data is geaggregeerd uit twee complementaire open-data bronnen:
  • Wikipedia: Geparsed uit de meest recente Engelse dump om te dienen als een canonieke tekstcorpus.
  • Data.gov: Geoogst uit de Harvard LIL data.gov archive, wat diverse, zwak gestandaardiseerde publieke overheidsartefacten levert (gestructureerde tabellen, metadata, rapporten).
• Taakontwerp: Elke taak is een complexe natuurlijke taalvraag die van een agent vereist dat deze:
  1. Relevante documenten identificeert uit de collectie van 40 miljoen.
  2. Ondersteunende feiten extraheert.
  3. Redeneerstappen ketent waarbij de output van één stap dient als de inputconditie voor de volgende.
• Annotatieproces: Taken worden geconstrueerd via een human-in-the-loop proces waarbij Ph.D.-niveau experts en gevorderde bachelorstudenten betrokken zijn. Dit proces omvat:
  • Subvraag Constructie: Annotatoren afleiden feiten uit documenten en formuleren sub-vragen, waarbij ze deze ketenen zodat $Answer_i$ een vereiste is voor $Question_{i+1}$.
  • Vraag Herschrijven: De keten wordt herschreven naar een enkele, natuurlijk klinkende vraag die documentidentificatoren verbergt om triviale ontdekking te voorkomen.
  • Kwaliteitscontrole: Elke taak ondergaat een meerfasige review door onafhankelijke annotatoren om de logische validiteit, natuurlijkheid en de unieke bepaaldheid van het uiteindelijke antwoord door het bewijs te waarborgen.

2. Experimentele Opstelling

• Geëvalueerde Modellen: Zeven frontier LLMs werden getest, inclusief propriëtaire modellen (OpenAI GPT-5.2, GPT-5-mini, Anthropic Claude Haiku/Sonnet/Opus 4.5) en open-source modellen (DeepSeek-R1, Llama-3.3-70B).
• Agent Omgeving: Modellen werden uitgerust met een toolset die realistische data-analyse workflows nabootst, inclusief:
  • search(query): Keyword en semantische zoekopdrachten over de data lake.
  • list_files, download, inspect: Bestandsbeheer en preview.
  • execute_code: Python-executie voor lokale data-analyse (filtering, aggregatie).
• Baselines: RAG-baselines werden getest met behulp van BM25 en Hybrid (BM25 + Vector) zoekopdrachten over gesamplede subsets van de data lake (10k–50k documenten).
• Metrieken: Prestaties werden gemeten met Exact Match (EM) voor end-to-end accuratesse, naast document-niveau Precision, Recall en F1 voor zoekeffectiviteit.

Belangrijkste Resultaten

1. Prestatiekloof

Zelfs met toegang tot zoek- en inspectietools worstelen state-of-the-art LLM's aanzienlijk met LAKEQA:

• Lage Accuratesse: Het best presterende model, Claude-sonnet-4.5, behaalde slechts 32,87% Exact Match op de volledige benchmark (LAKEQA-full). GPT-5.2 scoorde 18,37%, en open-source modellen presteerden nog lager.
• Cost-Accuracy Trade-off: Hoewel grotere modellen (bijv. Claude Opus) een hogere accuratesse vertoonden op de mini-set (45,93%), brachten zij aanzienlijk hogere kosten en runtime met zich mee. Kleinere, goedkopere modellen faalden vaak door inefficiënte codegeneratie of gebrekkig redeneren.

2. Foutanalyse

Trajectanalyse onthulde dat de primaire bottleneck documentontdekking is, en niet het redeneren over gevonden bewijs:

• Zoekfalen: Modellen faalden vaak in het ophalen van de "gold" documenten die nodig zijn om de vraag te beantwoorden. De recall op de opgehaalde set ($D_{ret}$) was laag, wat aangeeft dat agenten niet in staat waren om relevante bestanden naar boven te halen.
• Exploratiefalen: Zelfs wanneer relevante documenten werden opgehaald, faalden agenten vaak in het inspecteren of analyseren ervan. Bijvoorbeeld, op LAKEQA-full behaalde Claude-sonnet-4.5 42,36% recall op opgehaalde documenten, maar slechts 13,04% recall op geaccessteerde documenten ($D_{acc}$), wat wijst op een disconnect tussen retrieval en effectieve exploratie.
• Foutaccumulatie: De prestaties degradeerden scherp naarmate het aantal redeneerstappen toenam. Taken die meer dan 18 hops vereisten, vertoonden een drastische daling in accuratesse, wat aangeeft dat long-horizon exploratie de cumulatieve fouten van imperfecte retrieval en gemiste restricties versterkt.

3. RAG Baselines

Het toevoegen van retrieval-tools aan gereduceerde document-subsets (10k–50k) verbeterde de prestaties licht, maar loste het probleem niet op. De resultaten suggereren dat EQA geen single-shot retrieval taak is; agenten moeten iteratief ontbrekende informatie afleiden, nieuwe queries formuleren en beslissen wanneer bewijs voldoende is, een capaciteit die huidige RAG-systemen missen.

Betekenis en Claims

Het artikel positioneert LAKEQA als een realistisch testveld voor het ontwikkelen van LLM-agenten die in staat zijn te opereren in moderne data lake-omgevingen. De betekenis ligt in:

1. Het overbruggen van de kloof: Het is de eerste benchmark die simultaan zowel de zoekintensiteit (40M documenten) als de redeneerintensiteit (multi-hop ketens) opschaalt, waarmee het een beperking in eerdere werken zoals OTT-QA (hoge zoekintensiteit, lage redeneerdiepte) en MuSiQue (hoge redeneerdiepte, lage zoekintensiteit) aanpakt.
2. Identificeren van Bottlenecks: De experimenten demonstreren dat huidige LLM-agenten nog niet in staat zijn tot effectieve iteratieve zoekopdrachten en exploratie. De primaire foutmodus is het onvermogen om de juiste bewijsdocumenten te ontdekken en te openen, in plaats van het onvermogen om te redeneren zodra het bewijs is gevonden.
3. Real-world Relevantie: Door heterogene overheids- en Wikipedia-data te gebruiken, weerspiegelt LAKEQA de rommelige, ongestructureerde realiteit van echte data lakes, waarbij verder wordt gegaan dan gecureerde corpora om agenten uit te dagen met de complexiteit van het ontdekken van bewijs in het duister.

De auteurs concluderen dat hoewel LLM's geavanceerd zijn geworden in leesbegrip, effectieve zoekopdrachten en exploratie de primaire bottlenecks blijven voor het oplossen van complexe, open-domein vragen over grootschalige data lakes.