TabStruct: Measuring Structural Fidelity of Tabular Data

Ce papier présente TabStruct, un cadre d'évaluation complet et un benchmark à grande échelle qui introduit la métrique « utilité globale » pour mesurer la fidélité structurelle des données tabulaires synthétiques sans nécessiter de structures causales de référence, tout en analysant conjointement cette dimension avec les critères d'évaluation conventionnels sur 29 jeux de données et 13 générateurs.

L'essentiel

🌟 Le Problème : La "Fausse Monnaie" des Données

Imaginez que vous êtes un chef cuisinier (un modèle d'intelligence artificielle) chargé de créer de nouveaux plats à partir d'un livre de recettes existant (vos données réelles).

Dans le monde des données, on appelle cela la génération de données tabulaires. C'est comme créer de fausses fiches de patients, de faux relevés bancaires ou de fausses statistiques de ventes pour entraîner d'autres intelligences artificielles, sans risquer de voler la vie privée des vraies personnes.

Mais il y a un gros problème : Comment savoir si vos faux plats sont bons ?

Jusqu'à présent, les juges (les chercheurs) regardaient deux choses :

1. Le goût (ML Efficacy) : Est-ce que le plat est bon à manger ? (Est-ce que ça marche bien pour prédire des résultats ?)
2. L'aspect visuel (Privacy) : Est-ce qu'on peut distinguer le faux du vrai ? (Est-ce que ça ressemble assez au vrai pour tromper un œil humain ?)

Le hic ? Un faux plat peut avoir un goût excellent et ressembler parfaitement au vrai, mais être chimiquement impossible.
Exemple : Imaginez un gâteau qui a le goût du chocolat, mais qui est fait avec de l'eau bouillante et du sable. Il a l'air bon, mais il ne respecte pas les lois de la physique (la chimie de la cuisine).

Dans les données, c'est pareil. Un générateur peut créer des données qui semblent réalistes pour une tâche précise (comme prédire si un client va acheter), mais qui violent les lois causales cachées (par exemple, dire qu'une personne peut avoir 200 ans, ou que la pluie fait augmenter la température).

🔍 La Solution : TabStruct et le "Test de Vérité"

Les auteurs de cet article (Xiangjian Jiang et son équipe) ont créé un nouveau système d'évaluation appelé TabStruct. Leur idée est simple : ne regardez pas seulement si le faux plat a bon goût, vérifiez s'il respecte les lois de la nature.

Ils introduisent deux concepts clés :

1. La Fidélité Structurelle (Respecter les lois de la physique)

C'est comme vérifier si votre gâteau respecte la chimie.

• Le problème : Pour vérifier cela, il faudrait connaître la "recette secrète" (la structure causale exacte) du monde réel. Mais dans la vraie vie, on ne connaît pas toujours cette recette (on ne sait pas exactement pourquoi telle maladie survient).
• L'astuce : Ils utilisent des données où la recette est connue (des données scientifiques validées par des experts) pour entraîner leur système.

2. L'Utilité Globale (Le nouveau super-mètre)

C'est ici que réside l'innovation majeure. Comment vérifier la structure sans connaître la recette secrète ?

• L'analogie du "Jeu de l'Enquêteur" :
  Imaginez que vous avez un tas d'objets sur une table (les colonnes de votre tableau de données).
  • L'ancienne méthode (Utilité Locale) : On demande à l'IA : "Si je te donne la couleur de la voiture, peux-tu deviner le prix ?" Si elle devine bien, c'est bon. Mais ça ne vérifie pas si la voiture a un moteur ou des roues.
  • La nouvelle méthode (Utilité Globale) : On demande à l'IA : "Peux-tu deviner n'importe quel objet sur la table en regardant tous les autres ?"
    • Si je te donne la couleur, la marque et l'année, peux-tu deviner le prix ?
    • Si je te donne le prix et la marque, peux-tu deviner la couleur ?
    • Si je te donne le prix et la couleur, peux-tu deviner l'année ?

Si l'IA réussit à prédire n'importe quelle variable à partir des autres, c'est qu'elle a compris toutes les relations cachées entre elles. C'est comme si elle avait compris la physique complète du système, pas juste une petite partie.

🏆 Les Résultats : Qui gagne le concours ?

Les auteurs ont testé 13 générateurs de données différents (des robots qui créent des fausses données) sur 29 jeux de données réels et scientifiques.

Voici ce qu'ils ont découvert :

1. Les anciens champions sont en difficulté : Les méthodes classiques (comme SMOTE, qui fait juste des interpolations simples) sont excellentes pour le "goût" (prédire un résultat), mais elles échouent lamentablement à respecter les lois de la physique. Elles créent des "gâteaux en plastique" : beaux à voir, mais sans âme ni structure réelle.
2. Les nouveaux champions (Diffusion Models) : Les modèles basés sur la diffusion (comme TabDDPM, TabSyn, TabDiff) sont les grands gagnants.
   • Pourquoi ? Imaginez que ces modèles apprennent en "dénudant" progressivement le bruit. Ils sont obligés de comprendre comment chaque pièce du puzzle s'assemble avec les autres, peu importe l'ordre. Ils capturent donc la structure globale beaucoup mieux.
3. Les modèles de Langage (LLM) : Les modèles qui parlent comme des humains (comme GReaT) ont du mal. Pourquoi ? Parce que les données tabulaires n'ont pas d'ordre naturel (la colonne "Âge" n'est pas avant la colonne "Nom"). Forcer un modèle de langage à lire les données dans un ordre fixe crée des biais, un peu comme essayer de lire un dictionnaire en commençant par la fin.

💡 Pourquoi est-ce important pour tout le monde ?

Cet article change la donne pour deux raisons :

1. On arrête de se fier aux apparences : On ne se contente plus de dire "ça marche bien pour la prédiction". On vérifie maintenant si les données sont honnêtes par rapport à la réalité du monde.
2. Une boussole pour l'avenir : Avec leur métrique "Utilité Globale", les chercheurs peuvent maintenant évaluer la qualité des données réelles sans avoir besoin de connaître la vérité absolue (la structure causale exacte). C'est comme avoir un test de vérité universel pour les données.

En résumé :
TabStruct nous dit : "Ne vous contentez pas de créer de fausses données qui ressemblent à la réalité. Créez des données qui respectent la réalité, même si personne ne connaît la recette exacte. Et pour le faire, utilisez les modèles de diffusion, car ils sont les seuls à vraiment comprendre la structure du monde."

Résumé technique

1. Problématique et Contexte

L'évaluation des générateurs de données tabulaires synthétiques est un défi majeur. Contrairement aux données textuelles ou visuelles qui possèdent des structures intuitives (comme la séquentialité ou la géométrie), les données tabulaires hétérogènes reposent sur un prior structurel causal unique. Les méthodes d'évaluation actuelles souffrent de trois limitations principales :

• Insuffisance des mesures de fidélité structurelle : Les benchmarks existants se concentrent sur la densité de probabilité, la confidentialité (privacy) et l'efficacité machine learning (ML efficacy). Cependant, une bonne performance sur ces métriques ne garantit pas que la structure causale sous-jacente (les relations entre les variables) est préservée.
• Biais d'évaluation : L'efficacité ML est souvent biaisée vers la tâche de prédiction spécifique (cible) et ignore les interactions entre les caractéristiques (features).
• Limitation des jeux de données : Les benchmarks actuels utilisent souvent des données "jouets" (SCM synthétiques aléatoires) ou ne disposent pas de structures causales de vérité terrain (Ground Truth) pour les données réelles, rendant l'évaluation de la fidélité structurelle impossible dans des scénarios pratiques.

2. Méthodologie Proposée : TabStruct

Les auteurs proposent TabStruct, un cadre d'évaluation complet et unifié qui intègre la fidélité structurelle aux dimensions conventionnelles.

A. Cadre d'Évaluation

Le benchmark évalue 13 générateurs tabulaires appartenant à 9 catégories (Interpolation, VAE, GAN, Flots normaux, Arbres, Diffusion, EBM, LLM, Bayésien) sur 29 jeux de données (13 SCM validés par des experts et 16 données réelles complexes de classification et régression).

B. Mesures de Fidélité Structurelle

1. Score de Conditionnelle Indépendance (CI) :

   • Pour les données SCM (où la structure causale de vérité terrain est connue), la fidélité est mesurée en comparant les déclarations d'indépendance conditionnelle (CI) entre les données réelles et synthétiques.
   • L'évaluation se fait au niveau de la classe d'équivalence de Markov (CPDAG), offrant un équilibre entre richesse sémantique et faisabilité computationnelle, évitant ainsi les erreurs de découverte de causalité complète (DAG).
   • Distinction entre Structure Locale (autour de la variable cible) et Structure Globale (ensemble du graphe causal).

2. Utilité Globale (Global Utility) - La contribution clé :

   • Pour les données réelles où la structure causale de vérité terrain est inconnue, les auteurs introduisent une nouvelle métrique sans SCM : l'Utilité Globale.
   • Principe : Chaque variable du jeu de données est traitée successivement comme une variable cible. Un ensemble de prédicteurs (AutoGluon) est entraîné pour prédire cette variable à partir de toutes les autres.
   • Calcul : L'utilité d'une variable est le rapport de performance entre les données synthétiques et les données de référence. L'Utilité Globale est la moyenne de ces utilités sur toutes les variables.
   • Hypothèse : Un générateur fidèle doit permettre une prédiction précise de chaque variable à partir des autres, reflétant ainsi la structure de Markov blanket du système causal sous-jacent.

3. Contributions Clés

• Conceptuelle : Introduction d'un cadre unifié intégrant la fidélité structurelle comme dimension centrale, complétant les métriques traditionnelles.
• Technique : Développement de la métrique Utilité Globale, permettant d'évaluer la fidélité structurelle sur des données réelles sans accès aux structures causales de vérité terrain.
• Empirique : Publication de TabStruct, une suite de benchmarks open-source incluant des jeux de données, des pipelines d'évaluation et des résultats bruts pour 13 générateurs sur 29 datasets.

4. Résultats Expérimentaux

Les expériences menées sur 150 000 évaluations révèlent plusieurs insights majeurs :

• Limites des métriques conventionnelles : Les métriques classiques (densité, efficacité ML) ne sont pas corrélées avec la fidélité structurelle globale. Par exemple, SMOTE excelle souvent sur l'efficacité ML et la structure locale (autour de la cible) mais échoue lamentablement à préserver la structure globale (violation des lois physiques ou causales).
• Supériorité des modèles de Diffusion : Les modèles basés sur la diffusion (TabDDPM, TabSyn, TabDiff) obtiennent systématiquement les meilleurs scores en fidélité structurelle globale. Leur capacité à apprendre des distributions conditionnelles invariantes par permutation (sans ordre fixe des features) correspond naturellement à la nature des données tabulaires.
• Limites des LLM et modèles autoregressifs : Les modèles comme GReaT (basés sur des LLM) peinent à capturer la structure tabulaire. L'hypothèse autoregressive impose un ordre arbitraire aux features, introduisant un biais directionnel qui nuit à la fidélité structurelle, même avec des techniques de mélange aléatoire.
• Validation de l'Utilité Globale :
  • Forte corrélation (Spearman $\rho \approx 0.84$) entre l'Utilité Globale et le score CI global sur les données SCM.
  • L'Utilité Globale fournit des classements stables et robustes, même avec un petit nombre de prédicteurs non réglés ("Tiny-default"), contrairement à l'utilité locale qui est très sensible aux choix des modèles.
  • Elle sert d'indicateur fiable pour les tâches d'inférence causale en aval.

5. Signification et Impact

Ce travail remet en question le paradigme actuel de l'évaluation des données synthétiques, qui privilégie souvent la performance sur une tâche de prédiction spécifique au détriment de la vérité structurelle.

• Nécessité de la Fidélité Structurelle : Pour des applications critiques comme la santé ou la science, où la compréhension des relations de cause à effet est primordiale, la simple capacité à prédire une cible (ML efficacy) est insuffisante. La préservation des lois physiques et des relations causales globales est essentielle.
• Outil Pratique : L'Utilité Globale offre une méthode pratique, sans besoin de vérité terrain causale, pour les praticiens souhaitant sélectionner le générateur le plus fidèle à la structure de leurs données réelles.
• Avenir de la Génération Tabulaire : Les résultats suggèrent que les futurs générateurs doivent intégrer des biais inductifs favorisant la structure causale (comme le font les modèles de diffusion) plutôt que de se fier uniquement à l'apprentissage de la densité ou à l'approche autoregressive.

En résumé, TabStruct établit un nouveau standard pour l'évaluation des données tabulaires synthétiques, démontrant que la fidélité structurelle est une dimension indispensable et que l'Utilité Globale est la métrique de choix pour l'évaluer dans des contextes réels.