Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes

Het paper introduceert A.DOT, een agentisch framework dat natuurlijke taalvragen over hybride data-meren omzet in gerichte acyclische grafieken (DAG) voor efficiënte, meervoudige redenering en verbeterde nauwkeurigheid door parallelle ophaaloperaties en expliciete bewijslijnen.

De kern

Stel je voor dat je in een gigantisch, chaotisch kantoor werkt. Dit kantoor heeft twee soorten archieven:

1. De Strakke Tafels: Een enorme verzameling spreadsheets met strakke kolommen (zoals facturen, data, namen). Dit is de gestructureerde data.
2. De Stapels Papier: Duizenden losse documenten, contracten, e-mails en rapporten die ergens in kasten liggen. Dit is de ongestructureerde data.

Als een manager vraagt: "Wat is de gemiddelde factuurwaarde van klanten uit Texas en wat zijn hun algemene betalingsvoorwaarden?", dan is dat een lastige vraag. Je moet eerst de Excel-tabel in duiken om de Texas-klanten te vinden, en daarna die specifieke papieren contracten zoeken om de betalingsvoorwaarden te lezen.

De meeste huidige systemen doen dit zo: ze gooien de hele vraag naar alle archieven tegelijk, halen alles eruit wat maar een beetje lijkt op "Texas" of "factuur", en hopen dat een slimme computer (een AI) het daarna wel goed bij elkaar kan zetten. Dit is als proberen een naald in een hooiberg te vinden door de hele hooiberg te verbranden. Het is traag, onnauwkeurig en je krijgt veel onzin te zien.

A.DOT: De Slimme Hoofdplanner

De auteurs van dit paper hebben A.DOT bedacht. Dit is een slimme "hoofdplanner" die werkt als een ervaren projectmanager. In plaats van alles door elkaar te halen, doet A.DOT het volgende:

1. De Reisplanner (De DAG)

Stel je voor dat A.DOT een reisplanner is die een routekaart tekent voordat je vertrekt. Deze kaart is een DAG (een grafiek zonder lussen, dus je komt nooit in een cirkel terecht).

• De planner beseft: "Eerst moeten we de Excel-tabel raadplegen om de klantnummers van Texas te vinden."
• "Pas daarna, met die nummers, gaan we de papieren contracten zoeken."
• "Tenslotte rekenen we het gemiddelde uit."

De planner maakt deze stappen in één keer, maar zorgt dat ze slim worden uitgevoerd.

2. De Parallelle Werknemers

In plaats van dat de planner één voor één de stappen doet (wat lang duurt), stuurt hij werknemers (de AI-agenten) erop uit.

• Werknemer A gaat naar de Excel-tabel.
• Werknemer B gaat naar de papieren stapels.
• Als ze onafhankelijk van elkaar kunnen werken, doen ze het tegelijk. Dit bespaart enorm veel tijd.

3. De Slimme Koerier (Variabele Binding)

Dit is het slimste stukje. Als Werknemer A de lijst met Texas-klanten vindt, stuurt hij niet de hele Excel-tabel naar Werknemer B. Dat zou te veel papier zijn om te dragen.
In plaats daarvan stuurt hij alleen de klantnummers (de "sleutels"). Werknemer B gebruikt die nummers om precies de juiste papieren contracten te vinden. Het is alsof je een postbode stuurt met alleen de huisnummers, in plaats van de hele straat te laten overnemen. Dit voorkomt dat er te veel data "lekt" en houdt het systeem snel.

4. De Kwaliteitscontroleur (Validator & DataOps)

Voordat de werknemers vertrekken, kijkt een kwaliteitscontroleur of de routeplaat klopt.

• "Zijn die kolommen in de Excel-tabel wel echt?"
• "Begrijpen we de vraag goed?"

Als er een foutje is, springt er een reparatietechnicus (het DataOps-systeem) bij. Die zegt niet alleen "Fout!", maar denkt mee: "Misschien bedoelde je die andere kolom? Laten we het plan even aanpassen en opnieuw proberen." Zo blijft het systeem niet steken bij een klein foutje.

5. De Bewijskracht (Lineage)

Elke keer als A.DOT een antwoord geeft, houdt hij een spoorboekje bij. Je kunt precies zien: "Dit antwoord komt van rij 42 in de Excel-tabel en pagina 3 van het contract."
In een bedrijf is dit cruciaal. Je wilt niet alleen het antwoord, je wilt ook weten waar het vandaan komt, zodat je het kunt verifiëren en controleren.

Waarom is dit beter?

In tests (met een dataset genaamd HybridQA) bleek dat A.DOT veel beter scoort dan de huidige methoden:

• Meer juistheid: Het geeft 14,8% meer juiste antwoorden.
• Vollediger: Het vergeet minder belangrijke details (10,7% beter).

Samenvattend:
A.DOT is niet zomaar een zoekmachine die alles door elkaar haalt. Het is een slimme regisseur die een plan maakt, werknemers parallel laat werken, alleen de nodige informatie doorgeeft, fouten direct oplost en altijd kan bewijzen waar het antwoord vandaan komt. Het is de toekomst van het vinden van antwoorden in die grote, hybride data-lakes van bedrijven.

Technische samenvatting

Probleemstelling

Bedrijven staan steeds vaker voor de uitdaging om vragen in natuurlijke taal (NL) te beantwoorden op basis van hybride data lakes. Deze omgevingen combineren gestructureerde data (bijv. SQL-tabellen met factuurmetadata) met ongestructureerde documenten (bijv. volledige factuurteksten, contracten).

Bestaande oplossingen, zoals RAG-systemen (Retrieval-Augmented Generation), hebben hierbij belangrijke tekortkomingen:

1. Inefficiëntie: Ze gebruiken vaak een "brute-force" aanpak waarbij elke dataopslag onafhankelijk wordt bevraagd en de resultaten pas achteraf worden samengevoegd.
2. Gebrek aan multi-hop redenering: Ze kunnen moeilijk complexe vragen beantwoorden die meerdere stappen vereisen, waarbij informatie heen en weer moet worden gehaald tussen gestructureerde en ongestructureerde bronnen.
3. Datalekken en hallucinaties: Door te veel data op te halen om niets te missen, neemt het risico op datalekken toe. Bovendien zijn modellen die direct van NL naar SQL of vectorzoekopdrachten vertalen (NL2SQL/NL2Vector) vatbaar voor hallucinaties als de benodigde informatie niet direct beschikbaar is.
4. Gebrek aan traceerbaarheid: Er is vaak geen duidelijke lijn (provenance) te trekken tussen het eindantwoord en de specifieke bronnen waaruit het is afgeleid, wat cruciaal is voor compliance in enterprise-omgevingen.

Methodologie: A.DOT Framework

De auteurs presenteren A.DOT (Agentic DAG-Orchestrated Transformer), een raamwerk dat NL-vragen omzet in uitvoeringsplannen gebaseerd op een Gerichte Acyclische Graaf (DAG). Het systeem is ontworpen om parallelle uitvoering, strikte validatie en gedetailleerde data-lineage te ondersteunen.

De architectuur bestaat uit de volgende kerncomponenten:

1. Plan Generator:

   • Zet de input-vraag om in een DAG waar elke knoop een atomische sub-vraag vertegenwoordigt die naar één specifieke data-bron (SQL of Vector-store) verwijst.
   • Kanten in de graaf definiëren afhankelijkheden; onafhankelijke knopen kunnen parallel worden uitgevoerd.

2. Plan Validator:

   • Voert zowel structurele checks uit (geldige kolommen, geen hangende variabelen, acyclisch) als semantische checks (behoud van intentie, juiste join-sleutels).
   • Voorkomt dure uitvoering van onjuiste plannen.

3. DataOps Systeem (Diagnose en Remediatie):

   • Een tweestapsproces dat ingrijpt bij validatiefouten of uitvoeringsfouten.
   • Bestaat uit een Diagnoser (identificeert de oorzaak), Recommender (suggereert acties), Fixer (past lokale fouten aan) en Replanner (herbouwt het plan bij structurele problemen).

4. Plan Executor:

   • Voert de DAG uit in topologische volgorde.
   • Variabele binding: In plaats van grote datasets door te geven, worden alleen de noodzakelijke sleutels (bijv. document-ID's) doorgegeven aan afhankelijke stappen om de contextgrootte en geheugengebruik te minimaliseren.
   • Ondersteunt streaming: tussenresultaten kunnen direct worden getoond als dat nodig is.

5. Plan Caching:

   • Hergebruikt eerder gegenereerde DAG-plannen voor semantisch equivalente vragen (via paraphrase-aware matching), wat de latency verlaagt voor veelgestelde enterprise-vragen.

6. Lineage en Logging:

   • Elke stap registreert de bron, input en output, waardoor een volledig bewijspad (evidence trail) ontstaat voor verificatie en auditing.

Belangrijkste Bijdragen

1. Unificatie van Planning en Executie: Het eerste framework dat DAG-gebaseerde planning combineert met structurele/semantische validatie, een DataOps-cyclus voor foutoplossing, en parallelle uitvoering voor hybride data.
2. Selectieve Data-doorvoer: Een mechanisme voor variabele binding dat alleen essentiële data-elementen tussen sub-vragen doorgeeft, wat schaalbaarheid verbetert en datalekken beperkt.
3. Parallelle Uitvoering: Benut de onafhankelijkheid van DAG-knopen om de totale latency te verlagen, in tegenstelling tot sequentiële agenten zoals ReAct.
4. Verifieerbaarheid: Biedt een plan-gedreven uitvoeringsmodel dat expliciete data-lineage vastlegt, essentieel voor trust en compliance in bedrijven.
5. Empirische Validatie: Demonstreert aanzienlijke verbeteringen op de HybridQA-benchmarks.

Resultaten

Het systeem is getest op de HybridQA-dataset (3.466 vraag-antwoordparen), een benchmark die multi-hop redenering vereist over tabellen en teksten.

• Prestaties: A.DOT presteert significant beter dan state-of-the-art baselines (Standard RAG, ReAct, LLM Compiler).
  • Correctheid: 14,8% absolute verbetering ten opzichte van de sterkste baseline (Standard RAG).
  • Volledigheid: 10,7% absolute verbetering.
• Ablatie-studie: De studie toont aan dat zowel de Plan Validator als het DataOps Systeem cruciaal zijn. Het verwijderen van het DataOps-systeem leidt tot de grootste daling in prestaties (van 71,8% naar 60,0% correctheid), omdat het systeem dan niet kan herstellen van uitvoeringsfouten.
• Foutanalyse: De meeste fouten komen voort uit mislukte sub-query's (NL2SQL/NL2Milvus) of verkeerde toewijzing van data-bronnen, wat de noodzaak van het DataOps-herstelmechanisme onderstreept.

Betekenis en Toekomst

De A.DOT-framework vertegenwoordigt een belangrijke stap van onderzoek naar enterprise-ready implementatie.

• Praktische Toepassing: Het systeem wordt momenteel geëvalueerd voor integratie als de primaire data-retrievalmodule in IBM Watsonx.data Premium.
• Vertrouwen en Compliance: Door expliciete bewijslijnen en data-lineage te bieden, lost A.DOT het "black box"-probleem van veel AI-systemen op, wat essentieel is voor financiële en juridische toepassingen.
• Toekomst: De auteurs plannen uitbreiding naar meervoudige conversaties (multi-turn) en integratie van extra modaliteiten zoals graf-databases en afbeeldingen.

Kortom, A.DOT biedt een robuuste, schaalbare en traceerbare oplossing voor complexe vraag-antwoordtaken in hybride data-omgevingen, waarbij het de efficiëntie en nauwkeurigheid van bestaande methoden aanzienlijk verbetert.