Technische Samenvatting: LLM-TabLogic

Probleemstelling

Synthetische tabulaire data wordt steeds belangrijker om datatekorten en privacyzorgen aan te pakken in industriële toepassingen zoals supply chain-analyse en digitale tweeling-simulaties. Bestaande generatieve modellen staan echter voor een kritieke beperking: hoewel ze vaak globale statistische eigenschappen behouden (bijvoorbeeld marginale verdelingen en paarsgewijze correlaties), slagen ze er regelmatig niet in om ** domeinspecifieke interkolom-logische relaties** te handhaven.

In complexe real-world systemen zijn kolommen onderling afhankelijk via strikte beperkingen, zoals:

• Temporele beperkingen: Leveringsdata moeten na besteldata vallen.
• Wiskundige beperkingen: De totale verkoopprijs moet gelijk zijn aan de eenheidsprijs vermenigvuldigd met de hoeveelheid.
• Hiërarchische beperkingen: Een specifieke stad moet behoren tot een bijbehorend land.

Huidige methoden, waaronder interpolatie-gebaseerde technieken (SMOTE), Generative Adversarial Networks (CTGAN), diffusiemodellen (TabDDPM, TabSyn) en Large Language Model (LLM)-benaderingen (GReaT), worstelen met het expliciet behouden van deze ingewikkelde, rij-specifieke afhankelijkheden. Dit falen resulteert in synthetische data die ondanks mogelijk hoge statistische fideliteit, geen reële bruikbaarheid heeft voor simulatie en besluitvorming.

Methodologie: LLM-TabLogic

De auteurs stellen LLM-TabLogic voor, een nieuw raamwerk dat LLM-redenering integreert met score-gebaseerde latente diffusie om synthetische tabulaire data te genereren die strikt voldoet aan interkolom-logische relaties. De aanpak werkt via een vierfasige pijplijn:

1. Serialisatie en Prompt-geleide Redenering

Het proces begint met het serialiseren van kolomnamen en hun metadata-beschrijvingen naar natuurlijke taal. Deze geserialiseerde invoer, gecombineerd met algemene prompts en taakspecifieke instructies, wordt ingevoerd in een LLM (bijvoorbeeld GPT-4 of DeepSeek). De LLM voert logische redenering uit om complexe interkolom-relaties af te leiden en te comprimeren tot gestructureerde representaties. De uitvoer wordt gecategoriseerd in drie afhankelijkheidstypen:

• Hiërarchische consistentie ($R_H$): Koppelingen tussen granulaire en geaggregeerde attributen (bijvoorbeeld Stad $\to$ Land).
• Wiskundige afhankelijkheden ($R_M$): Koppelingen tussen onafhankelijke variabelen en afgeleide variabelen (bijvoorbeeld Prijs $\times$ Hoeveelheid $\to$ Totaal).
• Temporele afhankelijkheden ($R_T$): Gesorteerde reeksen van kolommen (bijvoorbeeld Besteldatum $\to$ Leveringsdatum).

2. Compressie van Tabulaire Data

In plaats van een generatief model te dwingen om starre, deterministische regels te leren (wat geen probabilistisch signaal biedt), gebruikt het raamwerk de door de LLM afgeleide relaties om de data te comprimeren.

• Deterministische variabelen (bijvoorbeeld afgeleide kolommen) worden verwijderd of vervangen door hun genererende functies.
• De overige "onafhankelijke" variabelen vormen een gecomprimeerde dataset ($X_c$).
• Deze stap ontkoppelt de logische beperkingen effectief van het stochastische generatieproces, waardoor het generatieve model zich kan richten op het leren van de onderliggende verdeling van de onafhankelijke variabelen.

3. Generatie in de Latente Ruimte

De gecomprimeerde data $X_c$ wordt getokeniseerd en gecodeerd naar een latente ruimte met behulp van een Transformer-gebaseerde Variational Autoencoder (VAE). Vervolgens wordt een score-gebaseerd diffusiemodel getraind op deze latente embeddings ($H_0$).

• Voorwaartse proces: Gaussisch ruis wordt progressief toegevoegd aan de latente embeddings.
• Omgekeerd proces: Een neurale netwerk leert de scorefunctie ($\nabla \log p(H_t)$) om de data iteratief te ontdoen van ruis en de oorspronkelijke latente verdeling te herstellen.
• Synthetische latente embeddings ($H'$) worden bemonsterd uit deze geleerde verdeling.

4. Decompressie van Synthetische Data

De gegenereerde latente embeddings worden gedecodeerd terug naar de gecomprimeerde data-ruimte ($X'_c$). Tot slot gebruikt de decompressiefunctie ($f_{decom}$) de eerder geëxtraheerde logische relaties ($R_H, R_M, R_T$) om de volledige dataset ($X'$) te reconstrueren. Deze stap herintroduceert de afgeleide variabelen en handhaaft de hiërarchische en temporele beperkingen, waardoor de uiteindelijke synthetische data logisch consistent is met het oorspronkelijke schema.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Het artikel introduceert de eerste methode om complexe interkolom-relaties expliciet te behouden bij de generatie van synthetische tabulaire data zonder handmatige domeinkennis te vereisen, waarbij LLM's worden ingezet voor het afleiden van relaties.
2. Evaluatiekader: De auteurs stellen een uitgebreid evaluatiekader voor dat synthetische data beoordeelt op zes dimensies: Nauwkeurigheid, Diversiteit, Bruikbaarheid, Privacy, Consistentie en Afhankelijkheid. Dit gaat verder dan traditionele metrieken (zoals ML-brikbaarheid) door logische consistentie op te nemen.
3. Hybride Architectuur: De aanpak combineert uniek de semantische redeneercapaciteiten van LLM's (voor relatie-extractie) met de modellering van verdelingen met hoge fideliteit van score-gebaseerde diffusiemodellen (voor datageneratie).

Experimentele Resultaten

De methode werd geëvalueerd op twee real-world industriële datasets (Retail en Purchasing) en vergeleken met vijf baselines: SMOTE, CTGAN, TabDDPM, TabSyn en GReaT.

• Logische Consistentie: LLM-TabLogic behaalde bijna perfecte scores (ongeveer 99,9% - 100%) op de Hiërarchische Consistentie Score (HCS) en de Multivariate Dependency Index (MDI), en presteerde significant beter dan alle baselines. Hoewel GReaT sterke logische behoud liet zien, had het moeite met andere metrieken. Modellen gebaseerd op latente ruimten (CTGAN, TabDDPM) presteerden slecht op logische consistentie.
• Data Fideliteit: De methode behaalde state-of-the-art prestaties in $\alpha$-Precision (hogere-orde statistieken) en paarsgewijze correlaties, en kwam overeen met of overtrof de prestaties van TabSyn en SMOTE.
• Bruikbaarheid: In downstream machine learning-taken (classificatie via XGBoost) behaalde LLM-TabLogic de hoogste AUC-scores op de Retail-dataset en de op een na hoogste op de Purchasing-dataset, wat aantoont dat logische consistentie leidt tot betere voorspellende bruikbaarheid.
• Privacy: De methode behaalde een optimale balans tussen Data Fideliteit en Privacy (gemeten door Distance to Closest Record, DCR). In tegenstelling tot SMOTE, dat hoge fideliteit maar slechte privacy bood, en TabDDPM, dat hoge privacy maar lage bruikbaarheid bood, behield LLM-TabLogic hoge bruikbaarheid terwijl het sterke privacybehoud garandeerde.

Betekenis en Claims

Het artikel beweert dat LLM-TabLogic een nieuwe benchmark zet voor de generatie van synthetische tabulaire data door de "logische consistentie"-kloof op te lossen die de toepasbaarheid van bestaande methoden in real-world industriële scenario's heeft beperkt.

• Eerste in zijn soort: De auteurs stellen dat dit de eerste methode is die interkolom-relaties effectief behoudt zonder expliciete domeinkennis te vereisen, en in plaats daarvan vertrouwt op LLM-redenering.
• Industriële Toepasbaarheid: Door ervoor te zorgen dat synthetische data voldoet aan real-world beperkingen (bijvoorbeeld supply chain-logistiek, financiële berekeningen), maakt de methode betrouwbaar gebruik mogelijk in digitale tweelingen, agent-gebaseerde simulaties en besluitvormingssystemen waar logische fouten synthetische data nutteloos zouden maken.
• Gebalanceerde Trade-off: De aanpak navigeert succesvol door de traditionele trade-off tussen data fideliteit, bruikbaarheid en privacy, en biedt een robuuste oplossing voor privacy-bewuste datadeling in gevoelige industriële domeinen.

De auteurs erkennen beperkingen, en merken op dat de prestaties van de methode afhankelijk zijn van het vermogen van de LLM om kolombeschrijvingen te interpreteren (wat kan falen bij ambigu of afgekorte namen) en dat de huidige evaluaties beperkt zijn tot supply chain- en gezondheidszorgdatasets. Toekomstig werk heeft als doel dit uit te breiden tot inter-tabel relaties en meer diverse industriële domeinen.