🤖 AI

ProfiliTable: Profiling-Driven Tabular Data Processing via Agentic Workflows

ProfiliTable is een autonoom multi-agentkader dat dynamische profilering, kennisverrijkte code-synthese en gesloten-lusfeedback benut om ambigu gebruikersintenties betrouwbaar om te zetten in robuuste, governance-conforme tabulaire gegevensverwerkingspijplijnen, en dat bestaande baselines overtreft in complexe meerstaps-scenario's.

Oorspronkelijke auteurs: Wei Liu, Yang Gu, Xi Yan, Zihan Nan, Beicheng Xu, Keyao Ding, Bin Cui, Wentao Zhang

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wei Liu, Yang Gu, Xi Yan, Zihan Nan, Beicheng Xu, Keyao Ding, Bin Cui, Wentao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, rommelige spreadsheet hebt vol met real-world data. Misschien zijn het verkoopregistraties met ontbrekende prijzen, klantenlijsten met inconsistente datumformaten, of voorraadlogboeken waarbij "NA" in elke kolom iets anders betekent. Je baas geeft je een vage instructie: "Maak de valuta-kolom recht en zorg dat alle data in een standaard formaat is."

Als je een standaard AI (zoals een basis Large Language Model) dit laat doen, kan het code schrijven die er op papier perfect uitziet, maar in de praktijk faalt. Het kan bijvoorbeeld raden dat "valuta" dollars betekent, terwijl de data eigenlijk Euro's, Yen of zelfs handgeschreven notities gebruikt. Het is als een chef-kok die een recept probeert te koken zonder eerst de ingrediënten te proeven.

ProfiliTable is een nieuw systeem dat is ontworpen om dit probleem op te lossen. In plaats van alleen maar te raden, werkt het als een team van expert data-detectives die samenwerken om de data te begrijpen voordat ze proberen het te repareren.

Hier is hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: De "Blinde Schilder"

Huidige AI-tools proberen vaak een schilderij te maken (code te schrijven) zonder naar het doek (de daadwerkelijke data) te kijken. Ze vertrouwen op algemene regels. Als je ze zegt "valuta standaardiseren", schrijven ze misschien gewoon een generiek script. Als de data rare symbolen of onverwachte waarden bevat, crasht het script of produceert het onzin. Ze zijn "blind" voor de specifieke eigenaardigheden van jouw data.

2. De Oplossing: Een Team van Gespecialiseerde Agenten

ProfiliTable gebruikt niet één groot brein; het gebruikt een team van gespecialiseerde agenten die in een lus met elkaar communiceren. Denk hierbij aan een bouwteam waar iedereen een specifieke taak heeft:

De Interpreter (De Projectmanager):
Deze agent luistert naar je vage instructie ("Maak de valuta recht") en bepaalt precies wat er gedaan moet worden. Het beslist of dit een simpele eenstapsklus is of een complex meerstapsproject.
De Profiler (De Detective):
Dit is het belangrijkste nieuwe onderdeel. Voordat er code wordt geschreven, gaat de Profiler de datawarehouse in en begint met onderzoek. Het kijkt niet alleen naar de kolomnamen; het steekt daadwerkelijk steekproeven uit de data.
- Analogie: Als je de Profiler zegt "maak de valuta recht", raadt het niet. Het pakt een vergrootglas, kijkt naar de werkelijke waarden en zegt: "Ah, ik zie 'USD', '€' en 'Yen' gemengd met enkele typefouten zoals 'dollars'." Het bouwt een gedetailleerde kaart van hoe de data er echt uitziet.
De Generator (De Bouwer):
Nu de Bouwer precies weet hoe de data eruitziet (dankzij de Profiler) en een bibliotheek heeft met vooraf geteste tools (zoals een gereedschapskist met specifieke "valuta repareren" of "datums repareren" scripts), schrijft het de code. Omdat het de kaart heeft, raadt het niet; het bouwt een oplossing die is toegespitst op de specifieke rommel die het heeft gevonden.
De Evaluator en Samenvatter (De Inspecteurs):
Zodra de code draait, controleren deze agenten het resultaat. Is het probleem daadwerkelijk opgelost?
- Analogie: Als de code nog steeds enkele "€"-symbolen heeft achtergelaten, zegt de Samenvatter niet alleen "Fout". Het onderzoekt waarom en vertelt de Bouwer: "Je hebt de Euro-symbolen gemist omdat je niet naar de tweede pagina van het bestand keek."
De Lus (Het Verfijningstadium):
Als de Inspecteur een fout vindt, geeft het team niet op. Ze voeden die feedback terug naar de Profiler en de Bouwer. De Profiler gaat terug om het specifieke deel dat faalde te onderzoeken, en de Bouwer probeert het opnieuw met betere informatie. Dit gebeurt totdat de data schoon is.

3. Waarom Het Beter Is

Het paper beweert dat deze "Dynamische Profiling"-aanpak een gamechanger is om drie redenen:

Het stopt met raden: Door eerst actief de data te verkennen, vermijdt het systeem de "syntactisch correcte maar semantisch gebrekkige" code die andere AI-tools plagen.
Het gaat om met complexiteit: Real-world data-problemen vereisen vaak veel stappen (opruimen, dan sorteren, dan samenvoegen). ProfiliTable breekt deze grote problemen op in kleine, hanteerbare taken en lost ze één voor één op.
Het is betrouwbaar: In hun tests was ProfiliTable het enige systeem dat code kon uitvoeren voor 100% van de taken, zelfs de zeer moeilijke. Andere systemen crashten vaak of produceerden code die helemaal niet kon draaien.

De Conclusie

ProfiliTable verandert de manier waarop AI met data omgaat. In plaats van blind een regel toe te passen, gedraagt het zich als een menselijke expert: het kijkt naar de data, begrijpt de unieke eigenaardigheden, plant een specifieke oplossing, bouwt de oplossing en controleert het werk voordat het als klaar wordt beschouwd. Dit maakt het veel betrouwbaarder voor het omzetten van rommelige, real-world spreadsheets in schone, bruikbare data.

Technische Samenvatting: ProfiliTable

Probleemstelling

Tabelverwerking – omvattende reiniging, transformatie, augmentatie en matching – is een fundamentele, maar zeer foutgevoelige fase in real-world datapipelines. Hoewel Large Language Models (LLM's) veelbelovend hebben getoond bij het automatiseren van deze taken door uitvoerbare code (bijvoorbeeld pandas of SQL) te genereren op basis van natuurlijke taal-instructies, lijden huidige benaderingen aan aanzienlijke beperkingen. Bestaande methoden hebben vaak moeite met ambiguïteit in instructies, complexe meerstaps-taakstructuren en een gebrek aan gestructureerde feedback. Bijgevolg produceren ze vaak code die syntactisch correct is, maar semantisch gebrekkig.

Specifiek vertrouwen veel bestaande agents op statische, regelgebaseerde profilering of beperkte steekproeven (bijvoorbeeld het inspecteren van slechts enkele rijen), wat faalt in het vastleggen van het volledige scala aan datawaarden dat nodig is om vage gebruikersintenties te interpreteren (bijvoorbeeld "standaardiseer de valuta-kolom"). Zonder actieve, adaptieve exploratie van de daadwerkelijke data-inhoud kunnen agents geen geschikte mappingtabellen construeren of domeinspecifieke nuances hanteren, wat leidt tot breekbare prestaties in productiemilieus.

Methodologie: ProfiliTable

Om deze uitdagingen aan te pakken, stellen de auteurs ProfiliTable voor, een autonoom multi-agent framework dat centraal staat om dynamische profilering. In tegenstelling tot passieve metadata-consumptie, behandelt ProfiliTable profilering als een actief, iteratief proces van semantische constructie dat evolueert door interactie, feedback en kennisintegratie.

Het framework functioneert als een gesloten-lus, zelfverbeterende pipeline die verschillende gespecialiseerde agents omvat:

Interpreter: Parseert de natuurlijke taal-instructie van de gebruiker om taakcomplexiteit te bepalen (één-staps versus meerstaps) en routeert het verzoek dienovereenkomstig.
Profiler: Fungeert als de semantische grondslagmodule. Het hanteert een ReAct-stijl (Redeneren + Acteren) exploratielus om actief de ruwe invoertabellen te ondervragen. In plaats van uitsluitend te vertrouwen op schema-metadata, voert het lichtgewicht acties uit (bijvoorbeeld het bemonsteren van unieke waarden, het berekenen van verdelingen) om hypothesen over datakwaliteit en -structuur te formuleren en te testen. Dit genereert een dynamische profileringssamenvatting ( $p^{(t)}$ ) die linguïstische intentie verbindt met tabulaire realiteit.
Decomposer: Voor meerstaps-taken breekt deze agent complexe instructies op in een geordende reeks atomaire subtaken, waardoor gerichte operatorretrieval voor elke stap mogelijk wordt.
Generator: Synthetiseert uitvoerbare code door de intentie van de gebruiker en de huidige profileringssamenvatting te gronden in een Retrieval-Augmented Generation (RAG) framework. Het haalt gecureerde, vooraf gevalideerde operator-sjablonen op uit een kennisbank om ervoor te zorgen dat de gegenereerde code vertrouwt op betrouwbare, domeinspecifieke primitieven.
Evaluator: Voert de gegenereerde code uit in een afgesloten omgeving (sandbox) en berekent een taakspecifieke score ( $s^{(t)}$ ) met behulp van met grondwaarheid afgestemde logica (bijvoorbeeld F1-score), zodat ervoor wordt gezorgd dat "uitvoerbare" code ook "correct" is.
Summarizer: Werkt in een ReAct-stijl lus over de verwerkte tabel om de uitlijning met de oorspronkelijke intentie te valideren. Het formuleert verificatiehypothesen, voert lichtgewicht validatieacties uit en biedt diagnostische inzichten ( $\tau^{(t)}$ ) met betrekking tot niet-vervulde subdoelen.
Finalizer: Beheert de beëindiging van de iteratieve lus. Het selecteert de best presterende kandidaat over alle iteraties heen als de succesdrempel niet wordt gehaald, zodat de workflow het meest accurate resultaat dat is waargenomen teruggeeft.

De kerninnovatie is de Unificatie van Dynamische Profilering Context ( $P^{(t)}$ ), die iteratief de actieve profileringssamenvatting, opgehaalde operators en feedbackgeschiedenis integreert om volgende codegeneratie en verfijning te sturen.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Het ProfiliTable Framework: Een autonoom multi-agent systeem dat interactieve exploratie, feedbackgestuurde verfijning en kennisverrijkte synthese verenigt onder een dynamisch profileringparadigma om de breekbaarheid van één-shot LLM-codegeneratie te overwinnen.
Een Omvattende Benchmark: De constructie van een benchmark bestaande uit 18 verschillende typen tabelverwerkingstaken, gecategoriseerd in reiniging, transformatie, augmentatie en matching, ontworpen om real-world curatie-uitdagingen beter te reflecteren dan bestaande benchmarks.
Empirische Validatie: Uitgebreide experimenten die aantonen dat ProfiliTable state-of-the-art (SOTA) prestaties bereikt in zowel één-staps als complexe meerstaps-scenario's, met consistente winst in correctheid, volledigheid en uitvoerbetrouwbaarheid ten opzichte van sterke baselines.

Experimentele Resultaten

Experimenten werden uitgevoerd met GPT-4o en GPT-5.2 als onderliggende modellen, waarbij ProfiliTable werd vergeleken met baselines zoals MetaGPT, CAMEL, ChatDev, CleanAgent en DataGovAgent.

Één-staps Taken: ProfiliTable behaalde een Average Task Score (ATS) van 86,82 (GPT-4o) en 89,66 (GPT-5.2), wat significant beter presteerde dan de op één na beste baselines (MetaGPT met 56,21 respectievelijk ChatDev2.0 met 70,02).
Meerstaps Taken: ProfiliTable vestigde een nieuwe SOTA met ATS-scores van 80,19 (GPT-4o) en 82,49 (GPT-5.2). Cruciaal was dat het de enige methode was die een 100% Task-wise Runnable Rate (TRR) bereikte in meerstaps-scenario's, waarbij ervoor werd gezorgd dat elke taak een uitvoerbare output produceerde.
Efficiëntie: Ondanks het iteratieve karakter van het framework toonde ProfiliTable hoge kostenefficiëntie. Het gebruikte het laagste gemiddelde tokenaantal onder de toppresteerders (bijvoorbeeld ~24.907 tokens voor GPT-5.2 één-staps) terwijl het hoge nauwkeurigheid behield, en traceerde een Pareto-optimale grenslijn tussen tokenkosten en oplossingskwaliteit.
Ablatiestudies: Het verwijderen van een kerncomponent (Profiler, Feedback, RAG of Decomposer) leidde tot prestatiedegradatie. Het Feedbackmechanisme werd geïdentificeerd als het meest kritieke onderdeel, waarbij de verwijdering ervan de ernstigste daling in prestaties veroorzaakte, met name in meerstaps-scenario's.

Betekenis en Claims

De auteurs beweren dat ProfiliTable de kritieke rol van dynamische profilering benadrukt bij het betrouwbaar vertalen van ambiguïteit in gebruikersintenties naar robuuste, governance-conforme tabeltransformaties. Het artikel betoogt dat betrouwbare tabelverwerking meer vereist dan alleen sterke LLM's; het vereist gestructureerde, reflecterende workflows die tabellen behandelen als dynamische, semantisch rijke artefacten.

Door over te schakelen van statische, regelgedreven profilering naar een actieve, hypothese-gedreven exploratie, adresseert ProfiliTable de "breekbaarheid" van huidige agents. Het vermogen van het framework om 100% uitvoerbare rates te bereiken in complexe meerstaps-scenario's positioneert het als een levensvatbare kandidaat voor productiedeployering, waar uitvoerbetrouwbaarheid even belangrijk is als codecorrectheid. Het werk suggereert een nieuw paradigma van "profilering-gedreven agency", waarbij iteratieve, interactieve en foutbewuste systemen essentieel zijn voor het automatiseren van datagerelateerde taken.