Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

Résumé technique : Évaluation des relations logiques inter-colonnes dans la génération de données tabulaires synthétiques

Énoncé du problème
Les évaluations actuelles des données tabulaires synthétiques se concentrent principalement sur la modélisation des distributions conjointes et l'évaluation des statistiques d'ordre faible (par exemple, estimation de densité, scores de corrélation) ou d'ordre élevé (par exemple, précision $\alpha$, rappel $\beta$). Cependant, ces métriques négligent souvent la préservation de séquences d'événements réalistes et de relations d'entités cohérentes à travers les colonnes. Les données tabulaires sont intrinsèquement hétérogènes, présentant des types de variables divers et des interdépendances complexes (Wang et al., 2024). Les modèles génératifs existants, y compris les GAN (par exemple, CTGAN), les modèles de diffusion (par exemple, TabDDPM, TabSyn) et les modèles autorégressifs (par exemple, GReaT), peinent à capturer explicitement des dépendances conditionnelles spécifiques telles que $P(x_1 | x_2)$. Par exemple, les modèles de diffusion supposent souvent une addition de bruit isotrope, ce qui ne tient pas compte des dépendances sémantiques non linéaires et non ordonnées présentes dans les données tabulaires, contrairement aux corrélations spatiales dans les images. De même, bien que les grands modèles de langage (LLM) exploitent des connaissances préentraînées, ils peuvent ne pas modéliser explicitement les distributions marginales, entraînant un échantillonnage biaisé. Par conséquent, il manque des métriques d'évaluation fines et conscientes du contexte pour évaluer si les données synthétiques préservent des relations logiques critiques, telles que des structures hiérarchiques (par exemple, ville $\to$ pays) ou des dépendances mathématiques/temporelles.

Méthodologie
Pour combler le vide dans l'évaluation de la cohérence logique, les auteurs proposent trois nouvelles métriques d'évaluation conçues pour quantifier les relations inter-colonnes :

1. Score de cohérence hiérarchique (HCS) : Cette métrique quantifie la préservation des relations hiérarchiques à travers les colonnes. Elle est définie comme le rapport des lignes où les tuples d'attributs au sein d'un groupe spécifique $G_k$ (par exemple, ville, état, pays) appartiennent à un ensemble de combinaisons valides $C_{k,j}$.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   où $M$ est le nombre de lignes, $N$ est le nombre de groupes de cohérence, et $\mathbb{1}(\cdot)$ est la fonction indicatrice.

2. Indice de dépendance multivariée (MDI) : Cet indice évalue les dépendances multivariées, y compris les relations temporelles ou mathématiques. Il mesure la proportion de lignes où les attributs satisfont une fonction de dépendance booléenne spécifique $F$ par rapport à d'autres attributs dans un groupe de dépendance $G_g$.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   où $D_{g,j}$ représente la condition selon laquelle les attributs du groupe $G_g$ satisfont la fonction de dépendance $F$.

3. Indice de similarité distributionnelle (DSI) : Pour capturer des relations non linéaires où des règles explicites sont difficiles à définir, le DSI compare les vraisemblances logarithmiques des modèles de mélanges gaussiens (GMM) ajustés aux lignes de données synthétiques par rapport aux données réelles. Il calcule la différence relative des vraisemblances logarithmiques pour refléter les différences distributionnelles fines.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

Configuration expérimentale et résultats
L'étude a évalué cinq méthodes de génération représentatives sur le jeu de données DataCo, un jeu de données industriel réel à grande échelle contenant environ 140 000 échantillons avec des caractéristiques complexes, de haute dimension et des relations inter-colonnes diverses. Les méthodes évaluées comprenaient :

• Basées sur l'interpolation : SMOTE
• Basées sur la représentation de l'espace latent : CTGAN, TabDDPM, TabSyn
• Basées sur les LLM : GReaT

Chaque méthode a généré 140 000 échantillons, et les évaluations ont été répétées dix fois pour assurer la robustesse.

Principales conclusions :

• Métriques statistiques : SMOTE et TabSyn ont obtenu les meilleures performances en termes de précisions statistiques d'ordre faible (par exemple, estimation de densité, score de corrélation, précision $\alpha$). TabSyn a excellé dans la modélisation des distributions conjointes, tandis que SMOTE a surpassé les autres dans l'équilibrage des catégories de données (rappel $\beta$).
• Cohérence logique (HCS) : SMOTE (98,09 %) et GReaT (98,01 %) ont nettement surpassé les méthodes basées sur l'espace latent (CTGAN : 39,23 %, TabDDPM : 16,07 %) dans la préservation de la cohérence hiérarchique.
• Dépendances multivariées (MDI) : GReaT a obtenu la précision la plus élevée (97,37 %) dans la capture des dépendances temporelles et mathématiques, suivi de SMOTE (87,03 %). Les méthodes basées sur l'espace latent ont eu des difficultés significatives, TabDDPM obtenant 59,08 % et CTGAN 38,87 %.
• Similarité distributionnelle (DSI) : GReaT (85,55 %) et TabSyn (83,62 %) ont obtenu les meilleurs résultats, tandis que CTGAN (11,10 %) a montré un alignement distributionnel médiocre.
• Analyse qualitative : L'examen détaillé des échantillons générés a révélé que CTGAN et TabDDPM produisaient fréquemment des erreurs logiques (par exemple, hiérarchies géographiques incorrectes, séquences temporelles violées et formules mathématiques brisées). En revanche, GReaT et SMOTE ont maintenu une cohérence logique quasi parfaite, bien que GReaT ait occasionnellement généré des valeurs d'attributs non vues (par exemple, noms de villes incorrects), indiquant des problèmes potentiels de contrôlabilité.

Signification et contributions
La contribution principale de ce travail est l'introduction du HCS, du MDI et du DSI en tant que métriques spécialisées pour évaluer la préservation des relations logiques dans les données tabulaires synthétiques, dépassant la simple fidélité distributionnelle standard. Les résultats expérimentaux démontrent que les méthodes de pointe existantes, en particulier celles basées sur des représentations d'espace latent, échouent souvent à maintenir rigoureusement la cohérence hiérarchique et les dépendances multivariées, qui sont cruciales pour le réalisme fin des données réelles.

L'article conclut que si les méthodes actuelles peuvent modéliser des distributions générales, elles manquent de mécanismes explicites pour imposer des contraintes logiques. Les voies futures suggérées par les auteurs incluent :

• Pour les méthodes basées sur les LLM : Utiliser des graphes de connaissances ou des réseaux bayésiens pour réorganiser les séquences de tokenisation ou restructurer la sérialisation des colonnes afin d'exploiter les connaissances antérieures.
• Pour les méthodes basées sur l'espace latent : Exploiter le raisonnement des LLM pour analyser les noms et descriptions des colonnes afin d'identifier des relations sémantiques, ou regrouper les données par relations logiques avant de les intégrer dans un espace latent partagé.
• Approches hybrides : Incorporer des techniques d'interpolation comme SMOTE pour équilibrer les classes de données, en particulier pour l'apprentissage de relations logiques minoritaires.

Les auteurs soulignent que ces orientations sont nécessaires pour concevoir des modèles génératifs capables de capturer efficacement les relations logiques inter-colonnes, une étape critique pour faire progresser la génération de données tabulaires synthétiques.