DataFactory: Collaborative Multi-Agent Framework for Advanced Table Question Answering

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een enorme, rommelige schuur hebt vol met dozen, lijsten en kaarten. Je wilt er een antwoord op een vraag uit halen, bijvoorbeeld: "Welke sporten werden er op de Wereldkampioenschappen jeugd beoefend en wie waren de beste atleten?"

Als je dit aan een enkele slimme robot (een 'AI') vraagt, kan het misgaan. De robot probeert alles in één keer te onthouden, raakt de draad kwijt in de chaos, of verzint feiten die er niet zijn (dit noemen we 'hallucinaties').

De auteurs van dit paper hebben een oplossing bedacht genaamd DataFactory. In plaats van één robot, hebben ze een gespecialiseerd team opgericht dat samenwerkt als een goed georganiseerd kantoor. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Drie Hoofdpersoonnen in het Team

Het systeem bestaat uit drie hoofdrollen die perfect op elkaar zijn afgestemd:

De Chef (De Data Leader):
Dit is de manager. Hij luistert naar jouw vraag en beseft direct: "Dit is te ingewikkeld voor één persoon." Hij deelt het werk uit. Hij gebruikt een slimme methode (ReAct) waarbij hij eerst nadenkt, dan actie onderneemt, en daarna kijkt of het resultaat klopt voordat hij verder gaat. Hij is de regisseur die zorgt dat iedereen op zijn plek zit.
De Boekhouder (Het Database Team):
Deze groep is gespecialiseerd in strakke lijsten, tabellen en rekenen. Ze zijn goed in het beantwoorden van vragen als: "Hoeveel geld hebben we verdiend in maart?" of "Wie heeft de hoogste score?" Ze praten de taal van databases (SQL). Ze zijn precies, snel en houden van getallen.
De Ontdekkingsreiziger (Het Kennisgraph Team):
Deze groep is gespecialiseerd in verbanden en netwerken. Ze kijken niet alleen naar lijsten, maar naar hoe dingen met elkaar verbonden zijn. Ze beantwoorden vragen als: "Wie werkt samen met wie?" of "Welke sporten hangen samen met welke landen?" Ze gebruiken een soort 'stippellijn-kaart' (een Kennisgraph) om verborgen paden te vinden die de boekhouder niet ziet.

2. Hoe werken ze samen? (De Creatieve Analogie)

Stel je voor dat je een detective bent die een complex misdrijf moet oplossen.

De oude manier: Je stuurt één detective de zaak in. Die probeert alles zelf te onthouden, schrijft alles op een briefje en hoopt dat hij het niet vergeet. Vaak raakt hij de draad kwijt of verzint hij details.
De DataFactory-methode: De Chef (Data Leader) roept twee specialisten bij elkaar.
1. Hij vraagt de Boekhouder: "Kijk in de administratie, welke verdachten hadden contact met het slachtoffer?"
2. Hij vraagt de Ontdekkingsreiziger: "Kijk op de kaart, welke verdachten hebben een verborgen relatie met elkaar?"
3. De Chef neemt de antwoorden van beiden, legt ze naast elkaar en zegt: "Ah, nu zie ik het patroon!"

Dit samenwerken voorkomt dat de AI iets verzonnen. Als de Boekhouder zegt "Er is geen cijfer" en de Ontdekkingsreiziger zegt "Er is een verbinding", dan weet de Chef dat hij beide kanten moet bekijken.

3. De Magische Transformatie: Van Lijst naar Netwerk

Een van de coolste dingen die dit systeem doet, is het automatisch omzetten van saaie Excel-lijsten in een levendig netwerk.

Voorbeeld: Stel je hebt een lijst met projecten en namen.
De Boekhouder ziet alleen rijen en kolommen.
Het Systeem pakt die lijst en bouwt er een 3D-netwerk van. Plotseling ziet de computer niet meer alleen "Project A" en "Persoon B", maar ziet het een lijn tussen hen: "Persoon B werkt AAN Project A".
Dit maakt het mogelijk om vragen te stellen die verder gaan dan de lijst zelf, zoals: "Wie heeft gewerkt aan projecten die door dezelfde persoon zijn geleid?" Zonder dit netwerk zou de AI dit nooit kunnen vinden.

4. Waarom is dit zo goed? (De Resultaten)

De auteurs hebben dit getest op verschillende moeilijke vragen. Het resultaat?

Minder fouten: Omdat ze niet alles in één keer proberen te onthouden, verzinnen ze veel minder onzin.
Beter redeneren: Ze kunnen complexe vragen oplossen die meerdere stappen nodig hebben (bijv. eerst A vinden, dan B, en dan zien hoe A en B samenhangen).
Succes: In tests scoorde hun team 20% tot 24% beter dan de beste eerdere methoden. Het is alsof je van een fiets naar een snelle auto bent gegaan.

5. Het Gevaar van te veel overleg

Interessant genoeg ontdekten ze ook een valkuil. Als het team te vaak heen en weer praat (te veel overleg), wordt het antwoord juist slechter. Het is alsof als je te veel mensen in een vergadering roept, er niemand meer weet wat de oorspronkelijke vraag was.

De beste strategie: De Chef moet weten wanneer hij moet stoppen. Soms is één vraag aan de Boekhouder genoeg. Soms moet hij even overleggen met de Ontdekkingsreiziger. Maar als ze blijven praten zonder nieuwe informatie, wordt het antwoord onzeker.

Conclusie

DataFactory is geen enkele super-robot, maar een slim kantoor met een manager en gespecialiseerde afdelingen. Door de kracht van lijsten (rekenen) en netwerken (verbanden) te combineren, en door te laten praten in gewone menselijke taal in plaats van starre instructies, kunnen ze complexe vragen over data beantwoorden die voor andere systemen te moeilijk waren.

Het is een stap in de richting van AI die niet alleen slim is, maar ook samenwerkt zoals wij mensen dat doen: door elkaars sterke punten te gebruiken.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het artikel "DataFactory: Collaborative Multi-Agent Framework for Advanced Table Question Answering" in het Nederlands.

Probleemstelling

Table Question Answering (TableQA) stelt gebruikers in staat om vragen in natuurlijke taal te stellen over gestructureerde tabulaire data. Bestaande benaderingen op basis van Large Language Models (LLM's) kampen echter met drie kritieke beperkingen:

Contextlengte-beperkingen: LLM's kunnen grote tabellen niet volledig in hun context opnemen, wat de verwerkingscapaciteit beperkt.
Hallucinaties: Modellen genereren vaak antwoorden die niet worden ondersteund door de feitelijke data in de tabel.
Enkelvoudige agent-architecturen: Bestaande systemen worstelen met complexe redeneertaken die semantische relaties en multi-hop-logica (meerdere stappen) vereisen. Traditionele methoden (zoals directe prompting of code-generatie) missen vaak de diepgang voor relationele redenering en zijn gevoelig voor fouten bij complexe queries.

Methodologie: Het DataFactory Framework

Het voorgestelde DataFactory-framework lost deze problemen op door een gespecialiseerd multi-agent systeem te introduceren dat samenwerking tussen drie specifieke componenten faciliteert. Het systeem werkt in drie fasen: Informatieopslag, Kennisextractie en Inzichtgeneratie.

1. Architectuur

Het framework bestaat uit drie hoofdcomponenten:

Data Leader: Een coördinerende agent die het ReAct-paradigma (Reasoning and Acting) gebruikt. Deze agent deconstrueert complexe gebruikersvragen in subtaken, plant de strategie dynamisch en coördineert de communicatie tussen de teams via natuurlijke taalconsultatie (in plaats van starre workflows).
Database Team: Gespecialiseerd in gestructureerde data-verwerking. Deze team gebruikt SQL voor numerieke berekeningen, aggregaties en precieze filtering. Het bevat agents voor informatieverwerking, ophalen (Text-to-SQL), analyse en visualisatie.
Knowledge Graph (KG) Team: Gespecialiseerd in relationele kennisrepresentatie. Deze team transformeert tabulaire data naar een Kennisgraf en gebruikt Cypher (voor Neo4j) voor relationele redenering, padontdekking en multi-hop queries.

2. Kerninnovaties

Geautomatiseerde Data-naar-KG Transformatie: Het artikel formaliseert een mapping-functie $\Gamma: \mathcal{D} \times \mathcal{S} \times \mathcal{R} \rightarrow \mathcal{G}$ , waarbij tabulaire data ( $\mathcal{D}$ ), schema-definities ( $\mathcal{S}$ ) en relatiepatronen ( $\mathcal{R}$ ) automatisch worden omgezet in een kennisgraf ( $\mathcal{G}$ ). Dit omvat entiteitsconstructie, attribuutmapping en het ontdekken van intra- en inter-rij relaties.
Context Engineering & RAG: Om hallucinaties te verminderen, gebruiken de retrieval-agents (voor zowel SQL als Cypher) Retrieval-Augmented Generation (RAG). Ze integreren historische vraag-antwoordparen, DDL-schema's (Database Definition Language) en domeinkennis in de prompts.
Dynamische Consultatie: In tegenstelling tot systemen met vaste workflows, stelt DataFactory agents in staat om via natuurlijke taal met elkaar te overleggen. De Data Leader kan strategieën aanpassen op basis van tussentijdse bevindingen (bijv. "De database bevat geen directe resultaten, zoek nu in de kennisgraf naar gerelateerde entiteiten").
Drie-fasen Werkstroom:
1. Data Discovery: Verkenning van beschikbare kolommen en entiteiten voordat er gevraagd wordt.
2. Evidence-based Query Planning: Het opstellen van queries gebaseerd op geverifieerde data.
3. Comprehensive Synthesis: Het samenvoegen van gestructureerde (SQL) en relationele (Cypher) resultaten tot een coherent antwoord.

Belangrijkste Bijdragen

Gespecialiseerde Teamcoördinatie: De introductie van gescheiden teams voor gestructureerde data (SQL) en relationele kennis (KG), gecoördineerd door een Data Leader, overwint de beperkingen van enkelvoudige agenten.
Geautomatiseerde Kennisintegratie: Een robuust algoritme voor het automatisch omzetten van tabellen in kennisgrafen, wat schaalbaarheid en semantisch inzicht mogelijk maakt zonder handmatige schema-engineering.
Dynamische Redeneerorkestratie: Een implementatie van ReAct die flexibel schakelt tussen SQL en Cypher, waardoor complexe multi-hop redeneringen mogelijk worden die voorheen onoplosbaar waren voor standaard TableQA-systemen.
Interactief Platform: Een demonstratieplatform dat eindgebruikers toelaat om data te verkennen, kennisgrafen te visualiseren en samen te werken met de multi-agent teams.

Resultaten

Het framework is geëvalueerd op drie benchmarks (TabFact, WikiTableQuestions, FeTaQA) met gebruik van 8 verschillende LLM's van 5 providers.

Prestatieverbetering: DataFactory behaalde aanzienlijke verbeteringen ten opzichte van bestaande methoden (DNN, prompting, code-generatie, single-agent):
- TabFact: +20,2% nauwkeurigheid.
- WikiTableQuestions: +23,9% nauwkeurigheid.
- FeTaQA: Significant hogere ROUGE-2 scores (tot +17,1% ten opzichte van single-team varianten).
- De effectgrootte (Cohen's d) was >1, wat wijst op statistisch significante verbeteringen.
Ablatie-studies: Het verwijderen van het Knowledge Graph Team leidde tot een daling in prestaties, vooral bij complexe multi-hop taken (WikiTQ en FeTaQA), wat de noodzaak van relationele redenering bevestigt.
Modelonafhankelijkheid: Het framework werkt effectief met zowel grote commerciële modellen (bijv. Claude 4.0 Sonnet) als kleinere open-source modellen (bijv. Qwen3-14B), waarbij de team-samenwerking de beperkingen van kleinere modellen compenseert.
Samenwerkingsfrequentie: Er werd een omgekeerde U-vormige relatie gevonden tussen het aantal interacties en de prestatie. Te veel wisselwerking (6+ calls) leidde tot prestatieverlies door verwarring en foutaccumulatie; optimale prestaties werden bereikt bij 1-3 interacties.

Betekenis en Toekomstperspectief

Theoretische Impact: Het werk biedt een nieuw perspectief op multi-agent samenwerking door te tonen dat gespecialiseerde rollen en natuurlijke taalconsultatie superieur zijn aan starre workflows. Het formaliseert de overgang van gestructureerde data naar semantische kennisgrafen als een standaardstap voor geavanceerde redenering.

Praktische Toepassing: DataFactory democratiseert data-analyse voor niet-technische gebruikers. Bedrijven kunnen complexe vragen stellen over hun data zonder SQL-kennis, terwijl het systeem transparante, onderbouwde antwoorden en visualisaties levert. De modulariteit maakt het geschikt voor zowel lokale implementaties (open-source modellen) als cloud-oplossingen.

Toekomstig Werk: De auteurs richten zich op het optimaliseren van de computerefficiëntie voor grootschalige implementaties, het verbeteren van adaptieve stopmechanismen om overmatige interactie te voorkomen, en het uitbreiden van het framework naar multimodale dialogue-systemen.