Constraint-Aware Synthetic Tabular Data Generation via Inter-Column Constraint Discovery with LLM Agents

Im digitalen Zeitalter sind riesige Mengen an Informationen in Tabellenkalkulationen eingeschlossen, die alles von Flugplänen und Kreditanträgen bis hin zu Basketballstatistiken und Krankengeschichten aufzeichnen. Wenn echte Daten knapp, sensibel oder schwer zu teilen sind, wenden sich Forscher und Ingenieure synthetischen Daten zu: computergenerierten Datensätzen, die die statistischen Muster der realen Welt nachahmen. Diese künstlichen Datensätze ermöglichen es Teams, Software zu entwickeln und zu testen, künstliche Intelligenz zu trainieren und Szenarien zu untersuchen, ohne die Privatsphäre zu gefährden oder vertrauliche Details preiszugeben. Es gab jedoch ein erhebliches Problem, das dieses Feld lange Zeit plagte. Während Computer exzellent darin sind, die allgemeine Form von Daten zu kopieren – also sicherzustellen, dass das Durchschnittsalter oder die Einkommensverteilung korrekt aussehen –, scheitern sie oft daran, die tiefen, logischen Regeln zu verstehen, die Spalten miteinander verbinden. Ein Computer könnte eine synthetische Bestellung generieren, bei der ein Paket geliefert wird, bevor es überhaupt gekauft wurde, oder einen Finanzdatensatz erstellen, bei dem die Gesamtkosten nicht dem Preis multipliziert mit der Menge entsprechen. Diese Fehler, bekannt als strukturelle Verletzungen, lassen die Daten oberflächlich zwar echt aussehen, führen aber bei einfachen logischen Prüfungen zum Zusammenbruch, was sie für ernsthafte Analysen oder Entscheidungsfindungen unbrauchbar macht.

Ein Team von Forschern hat eine neue Methode entwickelt, um diesen Fehler zu beheben, indem es ein System erschafft, das künstliche Intelligenz lehrt, die verborgenen logischen Regeln eines Datensatzes zu entdecken und durchzusetzen. Anstatt zu versuchen, den Datengenerator von vornherein zur Einhaltung strenger Regeln zu zwingen, was oft die Daten verzerrt oder komplexes Retraining erfordert, fungiert ihr Ansatz als ein ausgeklügelter Post-Processing-Schritt. Das System nutzt zuerst Large Language Models – fortschrittliche KI-Werkzeuge, die auf riesigen Textmengen trainiert wurden –, um die Beschreibungen und Stichproben der Datensätze zu lesen. Diese Modelle agieren wie neugierige Auditoren, die Hypothesen darüber aufstellen, wie verschiedene Spalten miteinander in Beziehung stehen sollten. Sie könnten beispielsweise vorschlagen, dass ein Lieferdatum immer nach einem Bestelldatum liegen muss oder dass ein bestimmter Produkttyp nur über bestimmte Wege versandt werden darf.

Die Innovation liegt darin, wie diese Vorschläge getestet und verfeinert werden. Anstatt die Vermutungen der KI blind zu akzeptieren, übersetzt das System jede Idee in eine strikte, maschinenlesbare Anweisung, die gegen jede einzelne Zeile der Originaldaten geprüft werden kann. Wenn eine vorgeschlagene Regel auch nur wenige Male fehlschlägt, verwirft das System sie nicht sofort. Stattdessen zeigt es der KI die spezifischen Beispiele, bei denen die Regel verletzt wurde, was dem Modell ermöglicht, seine Hypothese zu revidieren. Dieser Zyklus aus Vorschlagen, Testen und Korrigieren setzt sich fort, bis das System sich auf einen Satz von Regeln geeinigt hat, die für den gesamten Datensatz gelten. Die Forscher konzentrierten sich auf drei Haupttypen von Beziehungen: Gleichungen, bei denen eine Zahl das exakte Ergebnis anderer ist, Ungleichungen, bei denen ein Wert größer oder kleiner als ein anderer sein muss, und logische Abhängigkeiten, bei denen die Kategorie eines Objekts die erlaubten Kategorien eines anderen bestimmt.

Sob[ie die Regeln entdeckt und verifiziert wurden, wendet das System diese auf die von einem Standardwerkzeug generierten synthetischen Daten an. Es fungiert als Koordinator, der Fehler in einer spezifischen Reihenfolge korrigiert, um sicherzustellen, dass die Korrektur eines Fehlers nicht einen anderen erzeugt. Wenn beispielsweise eine Regel erfordert, dass eine Summe die Summe aus zwei Teilen ist, korrigiert das System zuerst die Gesamtsumme basierend auf den Teilen und passt erst danach die Teile an, um sie in eventuelle breitere Grenzen einzupassen. Diese sorgfältige Sequenzierung stellt sicher, dass der endgültige Datensatz alle entdeckten Gesetze gleichzeitig befolgt. In ihren Experimenten testeten die Forscher diesen Workflow an sieben verschiedenen öffentlichen Datensätzen, die von Flugaufzeichnungen bis hin zum Energieverbrauch der Stahlindustrie reichten, unter Verwendung von vier verschiedenen Arten von Datengeneratoren. Vor der Korrektur enthielten die synthetischen Daten oft hunderte von Verletzungen, wobei einige Datensätze zeigten, dass fast jeder einzelne generierte Datensatz mindestens eine Regel brach. Nachdem das System seine Korrekturen angewendet hatte, sank die Anzahl der Verletzungen für jede durchsetzbare Regel auf Null.

Entscheidend war, dass diese gründliche Reinigung die Nützlichkeit der Daten nicht ruinierte. Die Forscher maßen, wie gut die bereinigten Daten bei realen Aufgaben abschnitten, wie etwa beim Training eines Modells zur Vorhersage von Kreditrisiken oder Flugverspätungen. In den meisten Fällen verbesserte sich der Nutzen der Daten sogar, und in den schlechtesten Fällen war der Leistungsabfall vernachlässigbar. Das System bewahrte auch die individuellen Charakteristika der Daten und stellte sicher, dass die Verteilung der Werte in jeder Spalte dem Original treu blieb. Die Studie zeigt, dass es durch die Behandlung logischer Regeln als ein System interagierender Constraints – statt als isolierter Prüfungen – möglich ist, synthetische Daten zu generieren, die nicht nur statistisch ähnlich wie das Original sind, sondern auch strukturell fundiert. Dieser Ansatz bietet einen praktischen Weg nach vorn, um zuverlässige synthetische Daten zu erstellen und sicherzustellen, dass die künstlichen Datensätze, die unsere zukünftigen Systeme trainieren werden, auf einem Fundament der logischen Wahrheit aufgebaut sind.