Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

Résumé Technique : Génération Hiérarchique de Données Tabulaires Synthétiques

Énoncé du Problème
Les approches actuelles de génération de données tabulaires synthétiques rencontrent des limitations significatives lorsqu'elles sont appliquées à des scénarios complexes à l'échelle de l'entreprise. Les méthodes existantes se divisent généralement en deux catégories : les modèles purement génératifs (par exemple, CTGAN, TVAE, TabDDPM) et les approches basées sur les Modèles de Langage (LLM) (par exemple, GReaT, REaLTabFormer).

• Modèles Génératifs : Bien qu'efficaces pour approximer les distributions, ils nécessitent souvent des volumes de données d'entraînement substantiels, peinent avec les types de caractéristiques hétérogènes et souffrent de l'effondrement des modes. Par conséquent, ils échouent fréquemment à capturer les événements rares et les distributions de queue, qui sont critiques dans des domaines comme la détection de fraude. Dans des régimes à faible quantité de données, ces modèles ont tendance à surajuster et à produire des échantillons de faible diversité.
• Méthodes Basées sur les LLM : Elles exploitent l'apprentissage en contexte et les priors sémantiques, mais échouent souvent à imposer une cohérence structurelle, des contraintes logiques ou des dépendances fonctionnelles entre les attributs. La génération de tokens de manière autorégressive peut conduire à des échantillons invalides ou incohérents, et la tokenisation séquentielle des lignes affaiblit la modélisation des interactions hétérogènes entre nombres et catégories.
• Le Défi Central : Un problème plus profond, souvent négligé, est que la génération de données synthétiques est fréquemment traitée comme un problème purement génératif, ignorant la nature hautement structurée, hétérogène et multimodale des données réelles d'entreprise. S'en remettre uniquement aux données générées par le modèle introduit des risques d'effondrement de la distribution, où un entraînement récursif sur les sorties synthétiques érode progressivement la distribution sous-jacente des données, en particulier dans les queues.

Méthodologie : Le Cadre H-TDBU
Les auteurs proposent un cadre Hiérarchique Hybride Descendant et Ascendant (H-TDBU). Cette approche découple les structures sémantiques de la texture stochastique, intégrant les capacités génératives à la construction de règles hiérarchiques. Le cadre fonctionne à travers trois phases distinctes :

1. Chemin Descendant (Structure) :

   • Objectif : Définir le squelette logique et la structure sémantique des données.
   • Mécanisme : Des règles de structure sont définies via des instructions humaines ou des invites de LLM. Cela crée un modèle structurel $S$ qui agit comme une colonne vertébrale, décomposant des facteurs abstraits en attributs concrets et échantillonnables.
   • Rôle des LLM : Les LLM sont utilisés uniquement à cette étape pour générer le schéma représentant les règles de structure (par exemple, mapper des variables cibles à du texte de sentiment). Ils ne génèrent pas les lignes tabulaires réelles.

2. Chemin Ascendant (Texture) :

   • Objectif : Apprendre les motifs statistiques locaux et la "texture" réaliste à partir de données réelles.
   • Mécanisme : Des générateurs tabulaires légers et peu coûteux en calcul (par exemple, des méthodes d'ensemble comme les Forêts Aléatoires ou XGBoost, ou des modèles génératifs comme CTGAN) sont entraînés sur des données réelles ($D_{real}$).
   • Sortie : Ces modèles produisent une représentation d'espace latent ($Z$) qui capture des motifs détaillés et complexes ressemblant aux données réelles, mais qui peuvent ne pas suivre intrinsèquement les règles logiques définies dans la phase descendante.

3. Synthèse et Réconciliation :

   • Objectif : Unifier le squelette logique ($S$) avec la texture latente ($Z$).
   • Mécanisme : Un moteur de synthèse unifié, noté $X_{Syn} := G(z \in Z | S)$, génère des données à partir d'un bruit latent cohérent avec les contraintes logiques de $S$. Ce générateur conditionnel réconcilie les deux chemins.
   • Boucle de Rétroaction : Le système emploie une boucle de rétroaction itérative. Si les données synthétiques ($D_{syn}$) échouent aux métriques de fidélité cross-modale ($X_{Modal}$), cela déclenche un signal "Re-entraîner le Modèle". Si elles échouent à la validation des contraintes, cela déclenche un signal "Ajuster les Contraintes" vers le fournisseur Descendant. Cela assure l'intégrité logique et prévient la dérive du modèle.

Contributions Clés

• Découplage de la Structure et de la Texture : L'article introduit un cadre qui sépare la définition des règles sémantiques/logiques de la génération de texture statistique, abordant les limitations des modèles génératifs monolithiques.
• Architecture Hybride : Il intègre organiquement la puissance générative d'agents légers (Forêts Aléatoires, XGBoost) avec le raisonnement structurel des LLM, utilisant les LLM strictement pour la définition des règles plutôt que pour la génération directe de données.
• Mécanisme de Rétroaction Itérative : L'inclusion d'une boucle de réconciliation qui valide les métriques cross-modales et les contraintes logiques permet un affinage dynamique des règles descendantes et des modèles ascendants.
• Évaluation Multimodale Faible : Les auteurs évaluent le cadre sur des benchmarks financiers multimodaux faibles combinant des données tabulaires avec des données de texte de sentiment, un scénario où les méthodes existantes peinent avec l'alignement et la cohérence.

Résultats Expérimentaux
Le cadre a été évalué sur quatre benchmarks : deux benchmarks multimodaux faibles (générés manuellement et par Gemini) et deux benchmarks uniquement tabulaires (Revenu Adulte et Crédit Allemand).

• Utilité en Aval (TSTR) : Dans le benchmark multimodal faible spécifié manuellement, les méthodes conditionnelles basées sur des arbres (Forêt Aléatoire et XGBoost) ont surpassé les bases de référence neuronales (CTGAN, TVAE). Par exemple, la Forêt Aléatoire a atteint un AUROC de 0,9188 et un F1 de 0,6122, contre un AUROC de 0,8827 et un F1 de 0,5581 pour TVAE.
• Alignement Strict (Benchmark Gemini) : Lors de l'utilisation d'un fournisseur de règles généré par LLM imposant un alignement plus strict (Cible 1 alignée uniquement avec du texte positif), les générateurs conditionnels ont montré une amélioration significative. La Forêt Aléatoire a atteint des métriques quasi parfaites (0,9998 AUROC, 0,9878 F1), surpassant les bases de référence neuronales qui se sont également améliorées mais sont restées légèrement inférieures.
• Fidélité Cross-Modale : Un compromis a été observé entre l'utilité en aval et la fidélité cross-modale ($X_{Modal}$). Bien que la Forêt Aléatoire ait excellé en utilité, la Copule Gaussienne et TVAE ont parfois obtenu des valeurs $X_{Modal}$ plus faibles (meilleure alignement distributionnel des cibles textuelles et tabulaires).
• Études d'Ablation : Les résultats indiquent que la performance est pilotée par l'interaction entre le nombre de colonnes de conditionnement et la rigueur des règles descendantes. Les règles générées par Gemini (plus strictes) ont bénéficié de moins de colonnes de conditionnement, tandis que les règles manuelles (plus permissives) ont bénéficié de contextes de conditionnement plus riches.

Signification et Revendications
L'article revendique que la synthèse guidée par des règles hiérarchiques fournit un mécanisme efficace pour équilibrer la contrôlabilité, la cohérence sémantique et la fidélité statistique dans la génération de données synthétiques.

Les auteurs soulignent que leur approche ne repose pas sur une génération récursive coûteuse par LLM pour chaque point de données. Au contraire, en utilisant les LLM uniquement pour la construction descendante de l'"espace de couverture" et en employant des modèles d'agents moins coûteux pour la génération ascendante, le cadre atteint un réalisme élevé et une cohérence logique. Les résultats suggèrent que cette approche hybride est particulièrement efficace dans les régimes à faible quantité de données et les scénarios multimodaux complexes où les modèles purement génératifs échouent à capturer les événements rares ou les dépendances logiques, et où la génération pure par LLM manque de rigueur structurelle. Le cadre est présenté non pas comme une domination universelle d'un type de générateur, mais comme un cadre de référence flexible où le flux de travail s'adapte à la structure spécifique de l'ensemble de données.