Constraint-Aware Synthetic Tabular Data Generation via Inter-Column Constraint Discovery with LLM Agents

In het digitale tijdperk liggen enorme hoeveelheden informatie opgesloten in spreadsheets, die alles registreren van vluchtschema's en kredietaanvragen tot basketbalstatistieken en medische geschiedenissen. Wanneer echte gegevens schaars, gevoelig of moeilijk te delen zijn, wenden onderzoekers en ingenieurs zich tot synthetische data: door de computer gegenereerde records die de statistische patronen van de echte wereld nabootsen. Deze kunstmatige datasets stellen teams in staat om software te bouwen en te testen, kunstmatige intelligentie te trainen en scenario's te verkennen zonder de privacy in gevaar te brengen of vertrouwelijke details bloot te legg muchten. Er heeft echter lang een aanzienlijk probleem in dit veld gewoeld. Hoewel computers uitstekend zijn in het kopiëren van de algemene vorm van data — door ervoor te zorgen dat de gemiddelde leeftijd of de verdeling van het inkomen correct lijkt — falen ze vaak in het begrijpen van de diepe, logische regels die kolommen aan elkaar binden. Een computer kan een synthetische bestelling genereren waarbij een pakket wordt bezorgd voordat het zelfs is gekocht, of een financieel record waarbij de totale kosten niet overeenkomen met de prijs vermenigvuldigd met de hoeveelheid. Deze fouten, bekend als structurele schendingen, zorgen ervoor dat de data er aan de oppervlakte echt uitziet, maar onder eenvoudige logische controles in elkaar stort, waardoor het onbruikbaar wordt voor serieuze analyse of besluitvorming.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld om dit gebrek te verhelpen, door een systeem te creëren dat kunstmatige intelligentie leert om de verborgen logische regels van een dataset te ontdekken en af te dwingen. In plaats van te proberen de datagenerator vanaf het begin strikte regels op te leggen, wat de data vaak vertekent of complexe hertraining vereist, fungeert hun aanpak als een geavanceerde nabehandelingsstap. Het systeem gebruikt eerst grote taalmodellen — geavanceerde AI-tools die getraind zijn op enorme hoeveelheden tekst — om de beschrijvingen en steekproefrecords van de dataset te lezen. Deze modellen fungeren als nieuwsgierige auditors die hypothesen voorstellen over hoe verschillende kolommen met elkaar in relatie moeten staan. Ze kunnen suggereren dat een leverdatum altijd later moet zijn dan een besteldatum, of dat een specif으로 producttype alleen via bepaalde methoden verzonden kan worden.

De innovatie ligt in de manier waarop deze voorstellen worden getest en verfijnd. In plaats van de gissingen van de AI blindelings te accepteren, vertaalt het systeem elk idee naar een strikte, machineleesbare instructie die tegen elke regel van de oorspronkelijke data kan worden gecontroleerd. Als een voorgestelde regel zelfs maar een paar keer faalt, gooit het systeem deze regel niet onmiddellijk weg. In plaats daarvan laat het systeem de AI de specifieke voorbeelden zien waar de regel werd geschonden, waardoor het model zijn hypothese kan herzien. Deze cyclus van voorstellen, testen en corrigeren gaat door totdat het systeem tot een set regels komt die waar zijn voor de gehele dataset. De onderzoekers concentreerden zich op drie hoofdtypen relaties: vergelijkingen waarbij één getal exact het resultaat is van anderen, ongelijkheden waarbij één waarde groter of kleiner moet zijn dan een andere, en logische afhankelijkheden waarbij de categorie van één item de toegestane categorieën van een ander bepaalt.

Zodra de regels zijn ontdekt en geverifieerd, past het systeem deze toe op de synthetische data die door elk standaard hulpmiddel wordt gegenereerd. Het fungeert als een coördinator die fouten in een specifieke volgorde herstelt om ervoor te zorgen dat het corrigeren van de ene fout niet een andere fout creëert. Als een regel bijvoorbeeld vereist dat een totaal de som is van twee delen, herstelt het systeem eerst het totaal op basis van de delen, en past pas daarna de delen aan om binnen eventuele bredere grenzen te passen. Deze zorgvuldige sequentie zorgt ervoor dat de uiteindelijke dataset alle ontdekte wetten gelijktijdig naleeft. In hun experimenten testten de onderzoekers deze workflow op zeven verschillende publieke datasets, variërend van vluchtgegevens tot energieverbruik in de staalindustrie, met behulp van vier verschillende typen datageneratoren. Vóór de fix bevatten de synthetische data vaak honderden schendingen, waarbij sommige datasets lieten zien dat bijna elk gegenereerd record minstens één regel schond. Nadat het systeem de correcties toepaste, daalde het aantal schendingen naar nul voor elke regel die afgedwongen kon worden.

Cruciaal is dat deze rigoureuze opschoning de bruikbaarheid van de data niet ruïneerde. De onderzoekers maten hoe goed de schoongemaakte data presteerde in real-world taken, zoals het trainen van een model om kredietrisico of vluchtvertragingen te voorspellen. In de meeste gevallen verbeterde de bruikbaarheid van de data zelfs, en in de slechtste gevallen was de daling in prestaties verwaarloosbaar. Het systeem behield ook de individuele kenmerken van de data, waardoor de verdeling van waarden in elke kolom getrouw bleef aan het origineel. De studie demonstreert dat door logische regels te behandelen als een systeem van interagerende beperkingen in plaats van geïsoleerde controles, het mogelijk is om synthetische data te genereren die niet alleen statistisch vergelijkbaar zijn met de werkelijkheid, maar ook structureel solide zijn. Deze aanpak biedt een praktisch pad vooruit voor het creëren van betrouwbare synthetische data, waarbij wordt gegarandeerd dat de kunstmatige records die onze toekomstige systemen trainen, gebouwd zijn op een fundament van logische waarheid.