Technische Samenvatting: LAKEQUEST

Probleemdefinitie

Moderne Question Answering (QA)-systemen hebben aanzienlijk succes behaald op gecureerde, homogene corpora (bijv. leesbegrip, open-domain tekstretrieval). Echter, realistische kennis in ondernemingen en de wetenschap is zelden opgeslagen als platte, schema-gealigneerde tekst. In plaats daarvan bevindt deze zich in data lakes: heterogene, zwak gestructureerde collecties van tabellen, passages en gekoppelde metadata.

Huidige benchmarks falen in het evalueren van de end-to-end prestaties die vereist zijn om door deze omgevingen te navigeren. Ze abstraheren ofwel het ruizige ontdekkingsproces weg, of evalueren redeneren over reeds schone data. Bijgevolg is er een gebrek aan evaluatieomgevingen die tegelijkertijd de nadruk leggen op bronontdekking (source discovery), cross-source compositie en getrouwe attributie (faithful attribution) over heterogene, zwak gestructureerde corpora.

Methodologie: Het LAKEQUEST-framework

Om dit gat te dichten, introduceren de auteurs LAKEQUEST, een door mensen gevalideerde benchmark die ontworpen is om de end-to-end retrieve-and-synthesize pipeline te evalueren over realistische data lakes.

1. Datasetconstructie

LAKEQUEST beslaat drie diverse domeinen en behoudt hun natuurlijke structurele heterogeniteit in plaats van ze te plat te slaan naar een uniforme representatie:

• AI/ML Metadata: Een repository van model- en dataset cards van de Hugging Face Hub, met een focus op entiteitsdisambiguatie en relatieketen over zwak gekoppelde metadata.
• Retail Banking: Een hoogwaardige synthetische lake afgeleid van open-banking-geïnspireerde relationele schema's (klanten, rekeningen, transacties, beleid), die besluitvorming op basis van strikte beleidsrestricties evalueert.
• Biomedische Medicatie-informatie: Een hybride corpus dat gestructureerde XML-records van DrugBank 6.0 combineert met open-access wetenschappelijke literatuur van PubMed, waarbij de nadruk ligt op multimodale bewijsvoering-integratie.

De dataset bevat 9.846 door mensen gevalideerde QA-paren. Elke vraag is gekoppeld aan een referentieantwoord en exacte, modaliteit-bewuste bewijspunten (bijv. specifieke tabelrijen of passage-spans).

2. Constructie-pipeline

De auteurs maken gebruik van een reproduceerbare vijffasen-pipeline om de dataset te synthetiseren en te valideren:

1. Lake Instantiatie: Behoud van het natuurlijke schema van het domein.
2. Candidate Synthese: Gebruik van een sterk taalmodel (GPT-5) om vragen, antwoorden en bewijspunten te genereren uit gesamplede subgrafen.
3. Structurele Filtering: Programmatisch verwijderen van malafide outputs.
4. Semantische Filtering: Gebruik van een LLM-als-judge om triviale kandidaten die enkel via parametrische geheugen kunnen worden beantwoord, af te wijzen.
5. Menselijke Validatie: Rigoureuze menselijke controle om zowel Beantwoordbaarheid (kan de vraag uitsluitend met de geciteerde bewijzen worden beantwoord?) als Attributie (is het antwoord getrouw aan de geciteerde tekst?) te verifiëren.

3. Taxtonomie

De benchmark organiseert taken in vier redeneerfamilies:

• Single-source lookups: Fact-extractie uit geïsoleerde objecten.
• Cross-source compositie: Het combineren van feiten over heterogene objecten (bijv. het samenvoegen van een beleid met een transactie).
• Multi-hop reasoning: Geketende inferentie over tussenliggende entiteiten of gekoppelde metadata.
• Anchor-based retrieval: Redeneren over gerelateerde entiteiten te midden van semantisch nabije distractoren.

4. Evaluatieprotocol

De evaluatie isoleert bronontdekking (source discovery/retrieval) van cross-modale synthese (generation). De metrieken zijn onder meer:

• Nauwkeurigheid (Accuracy): Binaire correctheid.
• Getrouwheid (Faithfulness/Attribution): Of het voorspelde antwoord wordt ondersteund door de voorspelde bewijsset (AIS-stijl).
• Retrieval Kwaliteit: Domein-bewuste recall van de gouden bewijzen.
• Tokengebruik: End-to-end token footprint.

Geëvalueerde baselines omvatten Zero-Shot prompting, standaard Retrieval-Augmented Generation (RAG) en agentic tool-use methoden (XMODE, RESP).

Belangrijkste Resultaten en Analyse

Baseline-evaluaties over de drie domeinen laten zien dat hoge kwaliteit van retrieval niet garandeert dat er correct wordt geredeneerd, en dat foutmodi sterk afhankelijk zijn van het domein.

• AI/ML Domein (Ontdekkingsbottleneck): De kwaliteit van de retrieval is de primaire bottleneck. Hoewel RAG een bescheiden recall bereikt (bijv. 0.09 voor Model-vragen), is de nauwkeurigheid hoger (0.35), wat suggereert dat data lakes over feitelijke redundantie beschikken. Systemen kunnen vaak correcte antwoorden synthetiseren uit alternatieve geldige bewijzen, zelfs als het specifieke "gouden" artefact gemist wordt. Het navigeren door zwak gekoppelde metadata voor entiteitsdisambiguatie blijft echter moeilijk.
• Retail Banking Domein (Grounding Fout): De primaire fout is niet de retrieval, maar de grounding. Agentic systemen (XMODE) bereiken een hoge policy recall (>0.85), maar worstelen met het funderen (grounding) van die abstracte regels tegen specifieke operationele grootboeken om getrouwe beslissingen uit te voeren. Zero-shot modellen bereiken soms een hoge nauwkeurigheid door te vertrouwen op parametrische priors voor financiële principes, maar zij falen op de faithfulness-metriek (attributie), wat het risico op niet-auditbare antwoorden in enterprise-omgevingen benadrukt.
• Drug Domein (Synthese Bottleneck): Dit domein wordt gekenmerkt als een cross-modale synthese uitdaging in plaats van een retrieval-beperkte uitdaging. Hoewel de retrieval van passages en tabellen vaak sterk is, daalt de end-to-end nauwkeurigheid aanzienlijk wanneer gezamenlijke redenering over gestructureerde en ongestructureerde bewijzen vereist is (bijv. Passage-Table nauwkeurigheid op 0.66 ondanks hoge individuele recall). Multi-hop redeneren over gestructureerde biomedische bewijzen blijft substantieel moeilijker dan single-table lookups.

Ablatieonderzoek: Wanneer voorzien wordt van perfect gouden bewijs (Context Bundle), verzadigt de AI/ML nauwkeurigheid bij 98.7%, wat bevestigt dat het een ontdekkingsprobleem is. In contrast hiermee bereikt de Drug lake nauwkeurigheid slechts 62.5% met perfect bewijs, wat aangeeft dat cross-modale redenering over dichte biomedische tabellen fundamenteel gebrekkig is in huidige LLM's, onafhankelijk van de retrieval-prestaties.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. De LAKEQUEST Benchmark: Een door mensen gevalideerde dataset van meer dan 9,8k vragen die gegronde redenering evalueert over drie heterogene data lakes (AI/ML, Retail Banking, Biomedical Drug).
2. Een Reproduceerbaar Constructie-framework: Een vijffasen-protocol voor het synthetiseren, filteren en valideren van QA-paren met expliciete bewijstrajecten over zwak gestructureerde corpora.
3. Empirische Analyse van Moderne QA: Uitgebreide baseline-evaluaties die onthullen dat hoge retrieval-kwaliteit niet consistent vertaalt naar nauwkeurige, getrouwe antwoorden, vooral wanneer multi-step of cross-source compositie vereist is.

De auteurs positioneren LAKEQUEST als een noodzakelijke testomgeving om de volgende generatie betrouwbare, agentic QA-systemen aan te drijven die in staat zijn tot rigoureuze ontdekking en getrouwe attributie over real-world data lakes. Zij benadrukken dat de benchmark bedoeld is als een rigoureuze evaluatieresource, en niet als vervanging voor domeinexpertise of menselijk toezicht in processen met hoge inzet.