Constraint-Aware Synthetic Tabular Data Generation via Inter-Column Constraint Discovery with LLM Agents

À l'ère du numérique, de vastes quantités d'informations sont verrouillées dans des feuilles de calcul, enregistrant tout, des horaires de vols aux demandes de crédit, en passant par les statistiques de basketball et les antécédents médicaux. Lorsque les données réelles sont rares, sensibles ou difficiles à partager, les chercheurs et les ingénieurs se tournent vers les données synthétiques : des enregistrements générés par ordinateur qui imitent les modèles statistiques du monde réel. Ces ensembles de données artificielles permettent aux équipes de construire et de tester des logiciels, d'entraîner l'intelligence artificielle et d'explorer des scénarios sans risquer la confidentialité ou exposer des détails confidentiels. Cependant, un problème important mine ce domaine depuis longtemps. Si les ordinateurs sont excellents pour copier la forme générale des données — en veillant à ce que l'âge moyen ou la distribution des revenus semble correct — ils échouent souvent à comprendre les règles logiques profondes qui lient les colonnes entre elles. Un ordinateur pourrait générer une commande synthétique où un colis est livré avant même d'avoir été acheté, ou un enregistrement financier où le coût total ne correspond pas au prix multiplié par la quantité. Ces erreurs, connues sous le nom de violations structurelles, font que les données semblent réelles en surface mais s'effondrent lors de simples vérifications logiques, les rendant inutilisables pour une analyse sérieuse ou une prise de décision.

Une équipe de chercheurs a développé une nouvelle méthode pour corriger ce défaut, créant un système qui enseigne à l'intelligence artificielle à découvrir et à appliquer les règles logiques cachées d'un ensemble de données. Au lieu de tenter de forcer le générateur de données à suivre des règles strictes dès le départ, ce qui déforme souvent les données ou nécessite un réentraînement complexe, leur approche agit comme une étape sophistiquée de post-traitement. Le système utilise d'abord des modèles de langage de grande taille — des outils d'IA avancés entraînés sur de vastes quantités de texte — pour lire les descriptions et les échantillons d'enregistrements du jeu de données. Ces modèles agissent comme des auditeurs curieux, proposant des hypothèses sur la manière dont les différentes colonnes devraient être liées entre elles. Ils pourraient suggérer qu'une date de livraison doit toujours être postérieure à une date de commande, ou qu'un type de produit spécifique ne peut être expédié que par certaines méthodes.

L'innovation réside dans la manière dont ces propositions sont testées et affinées. Plutôt que d'accepter aveuglément les suppositions de l'IA, le système les traduit en une instruction stricte et lisible par machine qui peut être vérifiée sur chaque ligne des données originales. Si une règle proposée échoue ne serait-ce que quelques fois, le système ne la rejette pas immédiatement. Au lieu de cela, il montre à l'IA les exemples spécifiques où la règle a échoué, permettant au modèle de réviser son hypothèse. Ce cycle de proposition, de test et de correction se poursuit jusqu'à ce que le système se stabilise sur un ensemble de règles qui s'appliquent à l'ensemble du jeu de données. Les chercheurs se sont concentrés sur trois types principaux de relations : des équations où un nombre est le résultat exact d'autres nombres, des inégalités où une valeur doit être plus grande ou plus petite qu'une autre, et des dépendances logiques où la catégorie d'un article dicte les catégories autorisées d'un autre.

Une fois les règles découvertes et vérifiées, le système les applique aux données synthétiques générées par n'importe quel outil standard. Il agit comme un coordinateur, corrigeant les erreurs dans un ordre spécifique pour garantir que la correction d'une erreur n'en crée pas une autre. Par exemple, si une règle exige qu'un total soit la somme de deux parties, le système corrige d'abord le total en fonction des parties, et n'ajuste ensuite les parties que pour qu'elles respectent d'éventuelles limites plus larges. Ce séquençage minutieux garantit que le jeu de données final respecte toutes les lois découvertes simultanément. Dans leurs expériences, les chercheurs ont testé ce flux de travail sur sept ensembles de données publics différents, allant des registres de vols à la consommation d'énergie de l'industrie sidérurgique, en utilisant quatre types différents de générateurs de données. Avant la correction, les données synthétiques contenaient souvent des centaines de violations, certains ensembles de données montrant que presque chaque enregistrement généré enfreignait au moins une règle. Après l'application des corrections par le système, le nombre de violations est tombé à zéro pour chaque règle pouvant être appliquée.

Crucialement, ce nettoyage rigoureux n'a pas ruiné l'utilité des données. Les chercheurs ont mesuré la performance des données nettoyées dans des tâches réelles, telles que l'entraînement d'un modèle pour prédire le risque de crédit ou les retards de vols. Dans la plupart des cas, l'utilité des données s'est même améliorée, et dans les cas les plus défavorables, la baisse de performance a été négligeable. Le système a également préservé les caractéristiques individuelles des données, garantissant que la distribution des valeurs dans chaque colonne restait fidèle à l'original. L'étude démontre qu'en traitant les règles logiques comme un système de contraintes interactives plutôt que comme des vérifications isolées, il est possible de générer des données synthétiques qui sont non seulement statistiquement similaires à la réalité, mais aussi structurellement solides. Cette approche offre une voie pratique pour la création de données synthétiques fiables, garantissant que les enregistrements artificiels utilisés pour entraîner nos futurs systèmes sont construits sur un fondement de vérité logique.