Technische Samenvatting: Baikal – Gestructureerd zoeken voor diepgaand onderzoek over data lakes

1. Probleemformulering

Het artikel behandelt de uitdaging van diepgaand onderzoek over data lakes, gedefinieerd als de taak waarbij een autonome agent een rapport moet synthetiseren door selectief bewijs te onderzoeken dat verspreid is over duizenden heterogene tabellen en ongestructureerde tekstfragmenten.

De kern van de moeilijkheid ligt in het karakter van gebudgeteerd zoeken (budgeted search) van het probleem. Gegeven een vast budget van $B$ stappen (waarbij elke stap één bevinding oplevert), moet de agent:

1. Query-relevante bewijslast ophalen uit een enorme, heterogene collectie ($L = T \cup P$).
2. Bewijs verwerken met redenering.
3. Cruciaal: Een diverse set van saillante aspecten voor de query identificeren zonder lokaal veelbelovende bewijslast te overexploiteren.

Bestaande iteratieve retrieve-and-generate-methoden falen hier vaak omdat ze vertrouwen op het accumuleren van context om de overtuigingen van het model te verschuiven. Dit bias de agent naar lokaal veelbelovende bewijslast, wat leidt tot een slechte dekking van verschillende semantische regio's en rapporten van lage kwaliteit die belangrijke aspecten van de query missen. De auteurs formaliseren het doel als het maximaliseren van de gemiddelde kwaliteitsscore van bevindingen over het budget, waarbij de kwaliteitsscore ($\rho$) een product is van vier dimensies: grondigheid (groundedness), relevantie, onderscheidend vermogen (distinctness) en bruikbaarheid (utility).

2. Methodologie: Het Baikal-framework

Baikal herformuleert diepgaand onderzoek als een gebudgeteerd multi-armed bandit probleem over een gestructureerde semantische ruimte. Het framework werkt in drie hoofdfasen:

A. Structuur toevoegen (Pre-computatie)

In plaats van direct in ruwe tabellen en passages te zoeken, organiseert Baikal de data lake eerst in semantische regio's:

• Embedding: Een enkele encoder (bijv. Qwen3-Embedding) embedt zowel tabelmetadata (titel, schema) als tekstfragmenten in een gedeelde vectorruimte.
• Clustering: Met behulp van BERTopic (UMAP voor dimensionaliteitsreductie + HDBSCAN voor clustering) groepeert het systeem duizenden items in $|R|$ semantische regio's.
• Regio-definitie: Elke regio $c$ bevat een subset van tabellen $T_c$ en passages $P_c$, samen met een beschrijving. Regio's zijn ontworpen om binnen het contextvenster van een agent te passen terwijl ze topisch coherent blijven. Dit reduceert de zoekruimte van $|L|$ items naar $|R|$ "armen" (arms).

B. Zoeken en Onderzoeken (Runtime)

Voor een gegeven query $q$ voert Baikal een sequentiële zoekopdracht uit over de kandidaat-regio's $C(q)$:

1. Kandidaatselectie: De query wordt ge-embed en top-$k$ tabellen/passages worden opgehaald. Elke regio die overlap vertoont met deze top-$k$ items wordt behouden als kandidaat. Dit zorgt ervoor dat het ophalen van één item de gehele bijbehorende semantische regio binnen bereik brengt.
2. Regioselectiebeleid: Een beleid $\pi$ selecteert een regio $c \in C(q)$ om te onderzoeken. Het artikel evalueert verschillende beleidsregels:
   • Random: Uniforme sampling.
   • LLM-gestuurd: Een LLM selecteert op basis van regio-beschrijvingen en historie.
   • Bayesiaanse $\epsilon$-greedy: Exploitatie van de regio met de hoogst geschatte gemiddelde beloning, met waarschijnlijkheid $\epsilon$ exploratie via softmax over de posterior middelen.
   • Bayes-UCB: Selecteert de regio met de hoogste posterior upper quantile, waarbij een balans wordt gevonden tussen exploratie en exploitatie.
   • Noot: Bayesiaanse beleidsregels worden geïnitialiseerd met LLM-geëliciteerde priors om te voorkomen dat het budget wordt verspild aan onwetende exploratie.
3. Subvraaggeneratie & Selectie: Binnen de geselecteerde regio genereert een LLM tot $K$ analytische subvragen (bijv. tellingen, vergelijkingen) die gebaseerd zijn op de inhoud van de regio. Eén subvraag wordt geselecteerd (willekeurig of via een LLM-beleid) om te worden beantwoord.
4. Executie: Een coding agent (bijv. OpenCode) voert de subvraag uit met behulp van regio-specifieke SQL tegen een SQLite-database van de tabellen in de regio en leest de bijbehorende passages. De agent kan ook regio-expansie uitvoeren (met behulp van grep om aanvullende relevante passages op te halen) als de initiële regio onvoldoende is.
5. Beloningsfeedback: Een LLM-judge scoort de resulterende bevinding op de vier dimensies van het rubric. Deze score dient als de beloning $r_t$ om de waarde-inschatting van het beleid voor die regio bij te werken (met behulp van een pseudo-count schema voor Bayesiaanse updates).

C. Rapport Synthese

Zodra het budget is uitgeput of er geen kandidaten meer over zijn, worden de verzamelde bevindingen gesynthetiseerd in een definitief rapport, waarbij claims worden toegeschreven aan specifieke bewijsmiddelen.

3. Belangrijkste Bijdragen

1. Formalisering: Het presenteren van diepgaand onderzoek over data lakes als een gebutteerd zoekprobleem over gestructureerde semantische regio's, waarbij expliciet wordt ingegaan op de afweging tussen exploratie en exploitatie.
2. Baikal Framework: Een systeem dat heterogene data clustert in semantische regio's en sequentiële besluitvorming (bandit-beleid) gebruikt om bewijsverzameling te sturen, in plaats van enkel te vertrouwen op iteratieve context-accumulatie.
3. Nieuwe Testomgeving & Evaluatie: De constructie van diepgaande onderzoeksvragen over HybridQA (10.993 tabellen) en TAT-QA (2.757 tabellen) data lakes, vergezeld van een praktische rubric voor het evalueren van grondigheid, relevantie, onderscheidend vermogen en bruikbaarheid met behulp van LLM-judges.
4. Empirische Validatie: Het aantonen dat de winst voortkomt uit de zoekprocedure (sequentiële allocatie van het budget) en niet alleen uit de structuur alleen. Het bieden van een sterke coding agent met dezelfde regio's repliceert de prestaties van Baikal niet.

4. Resultaten

De auteurs evalueerden Baikal tegen sterke baselines, inclusief een OpenCode agent (met en zonder retrieval/clustering artefacten) en DeepSearcher, op 15 queries per data lake met een budget van 50 stappen.

• Prestaties: De beste Baikal-configuratie (Bayes-UCB op HybridQA; Random/Bayes $\epsilon$-greedy op TAT-QA) verbeterde de rapportscores met 28% op HybridQA en 36% op TAT-QA ten opzichte van de sterkste baselines.
• Kwaliteitsdimensies: Baikal verbeterde aanzienlijk de grondigheid (0.92 vs. ~0.72 voor baselines) en het onderscheidend vermogen (0.86 vs. ~0.62), wat cruciaal is om repetitieve of hallucinerende inhoud te voorkomen. Hoewel baselines soms hoger scoorden op relevantie, leidde hun gebrek aan grondigheid tot lagere algemene scores vanwege de multiplicatieve aard van de rubric.
• Zoekefficiëntie: Baikal-beleidsregels scheidden zich van de baselines binnen de eerste 10 stappen. Hoewel random selectie verrassend goed presteerde (door de structuur zelf), toonden Bayesiaanse beleidsregels duidelijke voordelen naarmate het budget toenam (bijv. Bayes-UCB won 8,8% op random bij een budget van 200).
• Kostenanalyse: Baikal bracht hogere totale kosten per query met zich mee omdat het meer geldige bevindingen produceerde (44,6 vs. 30,9 voor OpenCode). De kosten per geldige bevinding waren echter vergelijkbaar met de baselines, wat aangeeft dat de meerprijs bruikbaar bewijs koopt in plaats van dure mislukte stappen.

5. Betekenis en Claims

Het artikel claimt dat gestructureerde semantische exploratie essentieel is voor systematisch onderzoek over heterogene data lakes. De primaire bijdrage is niet alleen de clustering van data, maar het expliciete beheer van het zoekproces onder een vast budget.

• Structuur vs. Zoekopdracht: De auteurs benadrukken dat het bieden van een sterke agent met dezelfde gestructureerde regio's (retrieval + clustering) de prestatiewinst niet overdraagt. De verbetering komt voort uit het sequentiële besluitvormingsbeleid dat het budget over regio's verdeelt om dekking en onderscheidend vermogen te maximaliseren.
• Schaalbaarheid: De aanpak handelt het "long-horizon" karakter van diepgaand onderzoek aan door de zoekruimte te reduceren tot semantische regio's, waardoor de agent onderscheidende delen van de data lake kan dekken die iteratieve context-gebaseerde methoden vaak missen.
• Reproduceerbaarheid: De evaluatie-rubric (grondigheid, relevantie, onderscheidend vermogen, bruikbaarheid) werd gevalideerd voor inter-LLM overeenstemming, waarbij een hoge consistentie in het scoren van onderscheidend vermogen en grondigheid werd aangetoond.

Concluderend demonstreert Baikal dat het behandelen van een data lake als een gestructureerde ruimte om doorheen te zoeken, in plaats van een corpus waaruit te extraheren, een robuuste fundering biedt voor diepgaande onderzoeks-taken, vooral wanneer bewijs verspreid is over duizenden tabellen en passages.