🤖 machine learning

LLM-TabLogic: Preserving Inter-Column Logical Relationships in Synthetic Tabular Data via Prompt-Guided Latent Diffusion

Das Papier stellt LLM-TabLogic vor, ein neuartiges Framework, das die Schlussfolgerungsfähigkeiten großer Sprachmodelle mit einer Diffusion im latenten Raum kombiniert, um synthetische tabellarische Daten zu erzeugen, die komplexe logische Beziehungen zwischen Spalten wirksam bewahren, ohne dass Domänenwissen erforderlich ist, und dadurch bestehende Baseline-Modelle in Bezug auf Genauigkeit, Nutzbarkeit und Datenschutz übertreffen.

Ursprüngliche Autoren: Yunbo Long, Liming Xu, Alexandra Brintrup

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yunbo Long, Liming Xu, Alexandra Brintrup

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Frankenstein"-Daten

Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein neues Kochbuch zu erstellen. Sie haben ein echtes Kochbuch mit tausenden Rezepten. Sie möchten ein gefälschtes Kochbuch erstellen, das genau wie das echte aussieht und schmeckt, aber ohne Verwendung der originalen Rezepte (um die Geheimnisse des Kochs zu schützen).

Das Problem ist, dass echte Daten (wie Rezepte) eine Logik besitzen.

Wenn ein Rezept sagt „Bei 400 °F backen", kann es nicht auch sagen „10 Minuten backen", wenn es sich um einen empfindlichen Soufflé handelt, der 2 Stunden benötigt.
Wenn ein Versanddatensatz sagt „Versendet aus London", muss die Spalte „Land" zwingend „UK" angeben. Es kann nicht „Frankreich" sein.

Die meisten Computerprogramme, die gefälschte Daten generieren, sind wie blinde Kopisten. Sie betrachten die Spalte „London" und die Spalte „Land" getrennt voneinander. Sie könnten eine Zeile generieren, die „London" und „Frankreich" enthält, weil beide in den echten Daten häufig vorkommen, obwohl diese Kombination in der realen Welt unmöglich ist. Dies erzeugt „Frankenstein"-Daten: Sie sehen auf der Oberfläche echt aus, aber die interne Logik ist gebrochen, was sie für reale Entscheidungen unbrauchbar macht.

Die Lösung: LLM-TabLogic

Die Autoren dieses Papiers haben ein neues System namens LLM-TabLogic entwickelt. Stellen Sie es sich als einen Zwei-Schritte-Prozess vor, an dem ein „Intelligenter Architekt" und ein „Meisterbauer" beteiligt sind.

Schritt 1: Der Intelligente Architekt (Das LLM)

Zuerst verwenden sie ein Large Language Model (LLM) – eine superintelligente KI, die Texte liest und versteht.

Was es tut: Anstatt nur auf Zahlen zu schauen, liest die KI die Spaltennamen und Beschreibungen (wie „Bestelldatum" und „Lieferdatum").
Die Magie: Sie agiert wie ein Detektiv und findet die Regeln heraus. Sie erkennt: „Aha, das 'Lieferdatum' muss immer nach dem 'Bestelldatum' liegen." Sie stellt auch fest, dass „Stadt" mit „Land" übereinstimmen muss.
Die Komprimierung: Die KI schreibt diese Regeln dann als einfache „Spickzettel" oder eine Reihe von Anweisungen auf. Sie entfernt die komplexen, starren Regeln aus den Daten, damit der nächste Schritt sich nicht darum kümmern muss, sie zu brechen.

Schritt 2: Der Meisterbauer (Das Diffusionsmodell)

Als Nächstes verwenden sie ein Diffusionsmodell. Stellen Sie sich dies als einen Bildhauer vor, der mit einem Block aus Rauschen (Statik) beginnt und ihn langsam zu einer Statue meißelt.

Der Prozess: Normalerweise haben Bildhauer (Diffusionsmodelle) Schwierigkeiten mit komplexen Formen, weil sie durch die Details verwirrt werden.
Die Wendung: Da der „Intelligente Architekt" ihnen bereits den Spickzettel mit den Regeln gegeben hat, muss sich der Bildhauer nur auf die Erstellung der Form und Textur der Daten (die Zahlen und Kategorien) konzentrieren, ohne sich um die Logik kümmern zu müssen.
Das Ergebnis: Das Modell generiert neue, gefälschte Datenzeilen, die statistisch perfekt aussehen.

Schritt 3: Das Puzzle wieder zusammenfügen

Schließlich nimmt das System die „gemeißelten" Daten und verwendet den „Spickzettel" des Architekten, um die fehlenden logischen Teile einzufügen.

Wenn der Bildhauer eine „Menge" und einen „Preis" generiert hat, berechnet das System automatisch den „Gesamtbetrag", um sicherzustellen, dass die Mathematik perfekt ist.
Wenn es eine „Stadt" generiert hat, erzwingt es, dass das „Land" der Regel entspricht.

Warum ist das besser als die alten Methoden?

Das Papier testete dies gegen fünf andere Methoden (einschließlich alter Techniken und neuerer KI-Modelle). Hier ist der Vergleich:

Alte Methoden (wie SMOTE): Sie sind wie Fotokopierer. Sie nehmen einfach bestehende Zeilen und mischen sie leicht. Sie sind gut darin, den „Geschmack" zu bewahren, aber schlecht darin, neue, vielfältige Kombinationen zu schaffen. Oft versagen sie auch darin, die Privatsphäre zu schützen.
Deep-Learning-Modelle (wie CTGAN oder TabDDPM): Diese sind wie Statistiker. Sie sind hervorragend darin, die durchschnittlichen Zahlen und Muster anzupassen, verpassen aber oft die „Geschichte". Sie könnten ein „Lieferdatum" generieren, das vor dem „Bestelldatum" liegt, weil sie den Zeitablauf nicht verstanden haben.
LLM-TabLogic: Dies ist der Hybrid. Er versteht die Geschichte (Logik) dank des LLM, generiert aber die Daten (Zahlen) effizient mithilfe des Diffusionsmodells.

Die Ergebnisse: Was haben sie herausgefunden?

Das Papier testete dies an realen industriellen Daten (wie Einzelhandelsverkäufen und Einkaufsprotokollen).

Logik ist König: LLM-TabLogic war die einzige Methode, die die „Logik" fast 100 % der Zeit korrekt erfasste. Es generierte niemals unmögliche Daten oder nicht übereinstimmende Länder.
Privatsphäre: Es hielt die Daten privat. Es kopierte und fügte nicht einfach echte Daten echter Personen ein; es erstellte neue, einzigartige Zeilen, die echt aussahen, aber niemandem Bestimmten gehörten.
Nützlichkeit: Als sie diese gefälschten Daten nutzten, um andere Computer zum Treffen von Vorhersagen zu trainieren (wie „Wird diese Sendung verspätet sein?"), waren die Ergebnisse fast genauso gut, als hätten sie die echten Daten verwendet.

Das Fazit

Das Papier behauptet, dass LLM-TabLogic die erste Methode ist, die einem Computer erfolgreich beibringt, die Regeln einer Tabelle (wie eine Lieferkette) zu verstehen, bevor es gefälschte Daten generiert.

Durch die Trennung der Logik (behandelt von der intelligenten, textlesenden KI) von der Generierung (behandelt vom Rauschen-zu-Daten-Bildhauer) schufen sie synthetische Daten, die:

Logisch konsistent sind: Keine unmöglichen Daten oder nicht übereinstimmenden Standorte.
Privat sind: Sie verraten keine echten Geheimnisse.
Nützlich sind: Sie funktionieren für echte Geschäftssimulationen.

Die Autoren geben zu, dass das System darauf angewiesen ist, dass die KI die Spaltennamen korrekt versteht (wenn die Namen verwirrend sind, könnte die KI verwirrt werden), aber derzeit setzt es einen neuen Standard für die Erstellung realistischer, sicherer und logischer gefälschter Daten.

Technische Zusammenfassung: LLM-TabLogic

Problemstellung

Synthetische tabellarische Daten werden zunehmend entscheidend, um Datenknappheit und Datenschutzbedenken in industriellen Anwendungen wie Lieferkettenanalysen und digitalen Zwillingssimulationen zu adressieren. Bestehende generative Modelle stoßen jedoch auf eine kritische Einschränkung: Während sie oft globale statistische Eigenschaften (z. B. Randverteilungen und paarweise Korrelationen) bewahren, versagen sie häufig darin, domänenspezifische interkolonnare logische Beziehungen aufrechtzuerhalten.

In komplexen realen Systemen sind Spalten durch strenge Constraints voneinander abhängig, wie zum Beispiel:

Temporale Constraints: Lieferdaten müssen nach Bestelldaten liegen.
Mathematische Constraints: Der Gesamtsalespreis muss dem Stückpreis multipliziert mit der Menge entsprechen.
Hierarchische Constraints: Eine bestimmte Stadt muss zu einem entsprechenden Land gehören.

Aktuelle Methoden, einschließlich Interpolationsverfahren (SMOTE), Generative Adversarial Networks (CTGAN), Diffusionsmodelle (TabDDPM, TabSyn) und Large-Language-Model-Ansätze (GReaT), haben Schwierigkeiten, diese komplexen, zeilen spezifischen Abhängigkeiten explizit zu bewahren. Dieses Versagen führt zu synthetischen Daten, die trotz potenziell hoher statistischer Genauigkeit für Simulationen und Entscheidungsfindung keinen realen Nutzen bieten.

Methodik: LLM-TabLogic

Die Autoren schlagen LLM-TabLogic vor, ein neuartiges Framework, das LLM-Reasoning mit score-basiertem latentem Diffusionsprozess integriert, um synthetische tabellarische Daten zu generieren, die strikt interkolonnaren logischen Beziehungen folgen. Der Ansatz arbeitet durch eine vierstufige Pipeline:

1. Serialisierung und promptgestütztes Reasoning

Der Prozess beginnt mit der Serialisierung von Spaltennamen und deren Metadatenbeschreibungen in natürliche Sprache. Diese serialisierten Eingaben werden, kombiniert mit allgemeinen Prompts und aufgaben spezifischen Anweisungen, in ein LLM (z. B. GPT-4 oder DeepSeek) eingespeist. Das LLM führt logisches Reasoning durch, um komplexe interkolonnare Beziehungen zu inferieren und in strukturierte Repräsentationen zu komprimieren. Die Ausgabe wird in drei Abhängigkeitstypen kategorisiert:

Hierarchische Konsistenz ( $R_H$ ): Abbildungen zwischen granularer und aggregierter Attribute (z. B. Stadt $\to$ Land).
Mathematische Abhängigkeiten ( $R_M$ ): Abbildungen zwischen unabhängigen Variablen und abgeleiteten Variablen (z. B. Preis $\times$ Menge $\to$ Gesamtsumme).
Temporale Abhängigkeiten ( $R_T$ ): Geordnete Sequenzen von Spalten (z. B. Bestelldatum $\to$ Lieferdatum).

2. Kompression tabellarischer Daten

Anstatt ein generatives Modell zu zwingen, starre, deterministische Regeln zu erlernen (die kein probabilistisches Signal liefern), nutzt das Framework die vom LLM abgeleiteten Beziehungen, um die Daten zu komprimieren.

Deterministische Variablen (z. B. abgeleitete Spalten) werden entfernt oder durch ihre erzeugenden Funktionen ersetzt.
Die verbleibenden „unabhängigen" Variablen bilden einen komprimierten Datensatz ( $X_c$ ).
Dieser Schritt entkoppelt die logischen Constraints effektiv vom stochastischen Generierungsprozess und ermöglicht es dem generativen Modell, sich auf das Erlernen der zugrunde liegenden Verteilung der unabhängigen Variablen zu konzentrieren.

3. Generierung im latenten Raum

Die komprimierten Daten $X_c$ werden tokenisiert und mittels eines Transformer-basierten Variational Autoencoders (VAE) in einen latenten Raum kodiert. Ein score-basiertes Diffusionsmodell wird dann auf diesen latenten Embeddings ( $H_0$ ) trainiert.

Vorwärtsprozess: Gaußsches Rauschen wird schrittweise zu den latenten Embeddings hinzugefügt.
Rückwärtsprozess: Ein neuronales Netzwerk lernt die Score-Funktion ( $\nabla \log p(H_t)$ ), um die Daten iterativ zu entrauschen und die ursprüngliche latente Verteilung wiederherzustellen.
Synthetische latente Embeddings ( $H'$ ) werden aus dieser gelernten Verteilung gesampelt.

4. Dekompression synthetischer Daten

Die generierten latenten Embeddings werden zurück in den komprimierten Datenraum ( $X'_c$ ) dekodiert. Schließlich nutzt die Dekompressionsfunktion ( $f_{decom}$ ) die zuvor extrahierten logischen Beziehungen ( $R_H, R_M, R_T$ ), um den vollständigen Datensatz ( $X'$ ) wiederherzustellen. Dieser Schritt führt die abgeleiteten Variablen wieder ein und erzwingt die hierarchischen und temporalen Constraints, wodurch sichergestellt wird, dass die finalen synthetischen Daten logisch konsistent mit dem ursprünglichen Schema sind.

Hauptbeiträge

Neuartiges Framework: Die Arbeit stellt die erste Methode vor, die komplexe interkolonnare Beziehungen bei der Generierung synthetischer tabellarischer Daten explizit bewahrt, ohne manuelles Domänenwissen zu erfordern, und stattdessen LLMs für die Inferenz von Beziehungen nutzt.
Evaluierungsframework: Die Autoren schlagen ein umfassendes Evaluierungsframework vor, das synthetische Daten über sechs Dimensionen bewertet: Genauigkeit, Vielfalt, Nutzen, Datenschutz, Konsistenz und Abhängigkeit. Dies geht über traditionelle Metriken (wie ML-Nutzen) hinaus und schließt logische Konsistenz ein.
Hybride Architektur: Der Ansatz kombiniert einzigartig die semantischen Reasoning-Fähigkeiten von LLMs (für die Extraktion von Beziehungen) mit der hochgenauen Verteilungsmodellierung score-basierter Diffusionsmodelle (für die Datengenerierung).

Experimentelle Ergebnisse

Die Methode wurde an zwei realen industriellen Datensätzen (Retail und Purchasing) evaluiert und mit fünf Baselines verglichen: SMOTE, CTGAN, TabDDPM, TabSyn und GReaT.

Logische Konsistenz: LLM-TabLogic erzielte nahezu perfekte Werte (ca. 99,9 % – 100 %) beim Hierarchical Consistency Score (HCS) und Multivariate Dependency Index (MDI) und übertraf damit alle Baselines deutlich. Während GReaT eine starke logische Bewahrung zeigte, hatte es Schwierigkeiten mit anderen Metriken. Modelle auf Basis des latenten Raums (CTGAN, TabDDPM) schnitten bei der logischen Konsistenz schlecht ab.
Datengenauigkeit: Die Methode erreichte State-of-the-Art-Leistung bei $\alpha$ -Precision (hochordentliche Statistiken) und paarweisen Korrelationen und entsprach oder übertraf die Leistung von TabSyn und SMOTE.
Nutzen: Bei nachgelagerten Machine-Learning-Aufgaben (Klassifikation via XGBoost) erzielte LLM-TabLogic die höchsten AUC-Werte auf dem Retail-Datensatz und den zweithöchsten auf dem Purchasing-Datensatz, was zeigt, dass logische Konsistenz in einen besseren prädiktiven Nutzen übersetzt wird.
Datenschutz: Die Methode erreichte ein optimales Gleichgewicht zwischen Datengenauigkeit und Datenschutz (gemessen durch Distance to Closest Record, DCR). Im Gegensatz zu SMOTE, das hohe Genauigkeit, aber schlechten Datenschutz bot, und TabDDPM, das hohen Datenschutz, aber geringen Nutzen bot, behielt LLM-TabLogic einen hohen Nutzen bei und gewährleistete gleichzeitig einen starken Datenschutz.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LLM-TabLogic einen neuen Benchmark für die Generierung synthetischer tabellarischer Daten setzt, indem es die Lücke der „logischen Konsistenz" schließt, die die Anwendbarkeit bestehender Methoden in realen industriellen Szenarien bisher eingeschränkt hat.

Erste ihrer Art: Die Autoren behaupten, dies sei die erste Methode, die interkolonnare Beziehungen effektiv bewahrt, ohne explizites Domänenwissen zu erfordern, und stattdessen auf LLM-Reasoning setzt.
Industrielle Anwendbarkeit: Durch die Sicherstellung, dass synthetische Daten realen Constraints (z. B. Lieferkettenlogistik, Finanzberechnungen) entsprechen, ermöglicht die Methode eine zuverlässige Nutzung in digitalen Zwillingen, agentenbasierten Simulationen und Entscheidungsunterstützungssystemen, bei denen logische Fehler synthetische Daten unbrauchbar machen würden.
Ausgewogener Trade-off: Der Ansatz navigiert erfolgreich den traditionellen Trade-off zwischen Datengenauigkeit, Nutzen und Datenschutz und bietet eine robuste Lösung für den datenschutzkonformen Datenaustausch in sensiblen industriellen Domänen.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die Leistung der Methode von der Fähigkeit des LLM abhängt, Spaltenbeschreibungen zu interpretieren (was bei mehrdeutigen oder abgekürzten Namen versagen kann), und dass aktuelle Evaluierungen auf Lieferketten- und Gesundheitsdatensätzen beschränkt sind. Zukünftige Arbeiten zielen darauf ab, dies auf tabellenübergreifende Beziehungen und diverse industrielle Domänen zu erweitern.