🤖 machine learning

TDGT: A Tabular Data Generation Toolkit supporting adaptive GPU-accelerated Bayesian mixture models, diffusion-based models, and latent-space generative modeling

Cet article présente TDGT, un outil de kit de développement basé sur le Web pour la génération de données tabulaires synthétiques, qui présente un modèle de mélange bayésien adaptatif et accéléré par GPU (ABMS) ainsi qu'une architecture hybride VAE-ABMS afin d'automatiser le réglage des hyperparamètres et de garantir une synthèse de données de haute fidélité et respectueuse de la vie privée à travers divers domaines.

Auteurs originaux : Vasileios C. Pezoulas, Nikolaos S. Tachos, Eleni Georga, Kostas Marias, Manolis Tsiknakis, Dimitrios I. Fotiadis

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vasileios C. Pezoulas, Nikolaos S. Tachos, Eleni Georga, Kostas Marias, Manolis Tsiknakis, Dimitrios I. Fotiadis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un médecin, un directeur de banque ou un expert en cybersécurité. Vous possédez un trésor de données — dossiers de patients, journaux de transactions ou trafic réseau — mais vous ne pouvez pas les partager avec le monde car elles contiennent des secrets privés. Vous devez partager les modèles et les leçons de ces données sans révéler les personnes qui se cachent derrière elles.

C'est là que TDGT entre en scène. Considérez TDGT comme une « Photocopieuse Numérique pour Données » qui ne se contente pas de copier les pages ; elle écrit un livre entièrement nouveau qui ressemble, se sent et agit exactement comme l'original, mais où chaque phrase est inventée.

Voici comment l'article explique cet outil, décomposé en concepts simples :

1. Le Problème : Le goulot d'étranglement « Manuel »

Jusqu'à présent, créer ce genre de fausses données revenait à essayer de cuisiner un gâteau parfait sans recette. Il fallait être un grand chef (un informaticien) pour ajuster manuellement les ingrédients (les hyperparamètres). Si vous vous trompiez de température, le gâteau (les données) était ruiné. De plus, il n'y avait pas de goûteur intégré pour vous dire si le faux gâteau avait réellement le même goût que le vrai.

TDGT change la donne. C'est un outil basé sur le web (comme un site internet sur lequel on peut cliquer) qui fait la cuisine pour vous. Vous téléchargez simplement vos données, choisissez un « style de cuisson », et il vous recrache un jeu de données fictives parfait avec un bulletin de notes pour vous dire à quel point il est bon. Aucun codage n'est requis.

2. La Recette Secrète : Trois façons de cuisiner

L'article présente un « menu » de différentes méthodes pour créer ces fausses données, allant du simple au complexe.

Le Boulanger « Cluster Intelligent » (ABMS) :
Imaginez que vous avez un sac de dragées mélangées. Un boulanger simple dirait simplement : « C'est rouge et bleu ». Mais le Boulanger de Synthèse de Mélange Bayésien Adaptatif (ABMS) est un boulanger intelligent. Il regarde le sac et comprend automatiquement : « Ah, il y a en réalité 5 saveurs distinctes ici, pas seulement 2 ». Il compte les clusters pour vous automatiquement, de sorte que vous n'ayez pas à deviner. C'est rapide et excellent pour les données simples.
Le Boulanger « Immersion Profonde » (VAE-ABMS) :
Certaines données sont comme un puzzle complexe où les pièces sont tordues et emmêlées de manière étrange. Le VAE-ABMS prend les données, les aplatit dans un « monde d'ombres » plus simple (espace latent), compte les clusters dans ce monde, puis reconstruit les fausses données. C'est idéal pour les données présentant des relations complexes et non linéaires.
Le Boulanger « Super-Rapide » (ABMS-CUDA) :
Si vous avez un sac de dragées massif (des millions de lignes), le boulanger intelligent pourrait se fatiguer. ABMS-CUDA est le même boulanger, mais avec un superordinateur (GPU) attaché à son cerveau. Il effectue le comptage 3 à 4 fois plus vite, ce qui le rend parfait pour les jeux de données énormes.

3. Les Chefs de la « Deep Learning »

Pour les données les plus complexes, TDGT inclut également trois chefs de « Deep Learning » avancés :

TabGAN : Un chef qui joue à un jeu de « faire semblant jusqu'à ce que ça marche » contre un critique, s'améliorant constamment jusqu'à ce que les fausses données soient indiscernables des vraies.
TabVAE : Un chef qui apprend à compresser les données en un résumé, puis à les étendre à nouveau, créant de nouvelles variations.
TabDiffusion : Un chef qui part d'un bruit pur (statique) et qui le « débruite » progressivement, étape par étape, jusqu'à ce qu'une image claire des données émerge.

4. Le Test de Goût : Est-ce que ça a marché ?

Vous ne pouvez pas simplement faire confiance au boulanger ; vous devez goûter le gâteau. TDGT possède un Laboratoire de Contrôle Qualité intégré qui exécute 11 tests différents :

Vérifications de Distribution : Les fausses données ont-elles la même forme que les vraies données ? (par exemple, si les vraies données ont quelques valeurs très élevées, les fausses données en ont-elles aussi ?)
Vérifications de Relation : Si l'« Âge » et le « Salaire » augmentent ensemble dans les vraies données, est-ce qu'ils augmentent toujours ensemble dans les fausses données ?
Vérifications de Confidentialité : Est-ce que les fausses données contiennent accidentellement l'enregistrement exact d'une personne réelle ? (Il vérifie des éléments comme la « k-anonymité » pour s'assurer que personne ne peut être ré-identifié).

5. Les Résultats : Qu'est-ce qui a le mieux fonctionné ?

Les auteurs ont testé leur boîte à outils sur trois scénarios du monde réel :

Santé : Dossiers de cancer du sein (petits mais complexes).
Finance : Données de marketing bancaire (taille moyenne, types mixtes).
Cybersécurité : Journaux d'attaques réseau (taille énorme, très désordonnés).

Les conclusions :

Vitesse vs Qualité : Si vous avez besoin de données immédiatement (en quelques secondes), la méthode ABMS (Cluster Intelligent) est la gagnante. Elle est incroyablement rapide et « assez bonne » pour de nombreuses tâches.
Haute Fidélité : Si vous avez besoin que les données soient parfaitement précises pour des recherches complexes, les méthodes TabDiffusion et VAE-ABMS sont les meilleures. Elles capturent mieux les relations subtiles et tordues des données que les autres, bien qu'elles prennent plus de temps (des minutes au lieu de secondes) pour « cuire ».
Le Boost GPU : Pour les très grands ensembles de données, la version ABMS-CUDA (Super-Rapide) a changé la donne, réduisant le temps de plus d'une minute à seulement quelques secondes sans perdre en qualité.

6. L'Essentiel

TDGT est un guichet unique. Il prend la mathématique compliquée de la création de fausses données, la cache derrière un site web simple, et fournit un résultat statistiquement solide et respectueux de la vie privée. Il comble le fossé entre les « experts qui savent coder » et les « praticiens qui ont simplement besoin des données », permettant à n'importe qui de générer des données synthétiques de haute qualité pour la recherche et l'analyse sans avoir besoin d'un doctorat en informatique.

Résumé Technique : TDGT – Un Kit de Développement pour la Génération de Données Tabulaires

Problématique

La prolifération des systèmes pilotés par l'IA dans les domaines réglementés (santé, finance, cybersécurité) a intensifié la demande de données tabulaires synthétiques de haute qualité afin de faciliter le partage de données respectueux de la vie privée. Bien que les données synthétiques offrent une alternative robuste à l'anonymisation traditionnelle en générant des échantillons entièrement nouveaux plutôt qu'en perturbant les données existantes, les outils actuels présentent des barrières significatives à l'adoption pour les chercheurs du domaine. Les solutions existantes exigent souvent :

Une expertise en programmation et une maîtrise du scripting.
Une configuration manuelle des hyperparamètres (par exemple, la sélection du nombre de composantes de mélange ou des dimensions latentes), ce qui exige des connaissances approfondies en modélisation générative.
Des pipelines d'évaluation disparates, manquant d'une évaluation intégrée et multi-métrique de la fidélité statistique et du risque de confidentialité.

Par conséquent, il existe un fossé entre les avancées méthodologiques de la modélisation générative et l'accessibilité pratique de ces outils pour les praticiens qui ont besoin de données synthétiques mais ne possèdent pas d'expertise spécialisée en modélisation.

Méthodologie

Le document présente TDGT (Tabular Data Generation Toolkit), une plateforme web de bout en bout qui unifie la génération, l'évaluation et la visualisation de données. Le kit implémente un pipeline modulaire en quatre étapes :

Ingestion de données et détection de caractéristiques : Classification automatisée des colonnes comme catégorielles, entières ou continues, avec extraction de métadonnées (registres de catégories, précision, bornes).
Génération de données synthétiques : TDGT prend en charge neuf générateurs, incluant trois bases paramétriques (MVND, LogMVND, BGMM) et six méthodes avancées. Les innovations méthodologiques centrales sont :
- Synthétiseur de Mélange Bayésien Adaptatif (ABMS) : Un nouvel algorithme qui détermine de manière autonome le nombre optimal de composantes de mélange gaussiennes ( $k^*$ ) en itérant à travers des comptes de clusters candidats et en optimant un critère de qualité de cluster (score de Silhouette ou indice de Davies-Bouldin). Il utilise une priorité de Dirichlet adaptative pour supprimer les composantes parasites, éliminant ainsi le réglage manuel des hyperparamètres.
- VAE-ABMS : Une architecture hybride où un auto-encodeur variationnel (VAE) apprend une représentation latente compacte des données d'entrée. L'ABMS est ensuite appliqué au sein de cet espace latent pour synthétiser des vecteurs, qui sont ensuite décodés vers l'espace de caractéristiques d'origine. Cela permet de traiter les dépendances non linéaires que les modèles de mélange peu profonds ne peuvent capturer.
- ABMS-CUDA : Une variante de l'ABMS accélérée par GPU, exploitant le partitionnement k-means basé sur CUDA et l'ajustement de mélanges gausiens pour les jeux de données à grande échelle. Elle inclut un mécanisme de repli vers l'exécution sur CPU si les ressources GPU sont insuffisantes.
- Modèles Génératifs Profonds : Le kit intègre des implémentations personnalisées de TabGAN (Wasserstein GAN avec pénalité de gradient), TabVAE (VAE avec dimensionnement de lot adaptatif) et TabDiffusion (Modèle de Diffusion Probabiliste de Débruitage avec plongements temporels sinusoïdaux).
Application de Contraintes Post-Génération : Une procédure uniforme garantit la validité structurelle en remappant les valeurs catégorielles vers les registres observés, en convertissant les entiers, en arrondissant les flottants à la précision d'origine et en plafonnant les valeurs continues aux bornes empiriques.
Évaluation Multi-Métrique : Le kit évalue la fidélité à l'aide de sept métriques statistiques (KS, KL, JS, TVD, distance de Hellinger, distance de Wasserstein et différence de corrélation $\Delta C$ ) et de deux indicateurs de confidentialité (k-anonymat et risque de divulgation). Les résultats sont visualisés via des graphiques interactifs Plotly.

Principales Contributions

Le document présente quatre contributions majeures :

Algorithme ABMS : Une approche basée sur les données pour la synthèse de mélange bayésien qui calibre automatiquement le nombre de composantes, supprimant la nécessité de spécification manuelle des hyperparamètres.
Architecture VAE-ABMS : Un modèle hybride combinant l'apprentissage de représentation par VAE et la synthèse de mélange adaptative pour gérer les distributions tabulaires complexes et non linéaires.
ABMS-CUDA : Une implémentation évolutive et accélérée par GPU de l'ABMS qui réduit considérablement le temps d'entraînement pour les grands jeux de données tout en maintenant la sémantique algorithmique.
Kit de Développement TDGT : Une interface web unifiée qui intègre ces méthodes de génération avec une suite d'évaluation complète et des visualisations en temps réel, ne nécessant aucune expertise en programmation de la part de l'utilisateur.

Résultats Expérimentaux

Le kit a été testé sur trois jeux de données : Wisconsin Breast Cancer (petit, haute dimension, continu), Bank Marketing (échelle modérée, types mixtes) et NSL-KDD (grande échelle, hétérogène, déséquilibré).

Fidélité : Les modèles génératifs profonds ont généralement surpassé les approches basées sur les mélanges pour préserver les corrélations structurelles et les distributions marginales, particulièrement sur les jeux de données complexes.
- TabDiffusion a obtenu la meilleure fidélité structurelle (plus faible $\Delta C$ ) sur Bank Marketing et NSL-KDD.
- VAE-ABMS a démontré une fidélité marginale supérieure (plus faibles KS et JS) sur les jeux de données de haute dimension NSL-KDD et Wisconsin.
- TabGAN a excellé dans la préservation des corrélations sur le jeu de données Wisconsin.
- ABMS/ABMS-CUDA ont fourni des métriques de distribution compétitives (JS) mais ont éprouvé des difficultés avec la préservation de la corrélation structurelle ( $\Delta C$ ) par rapport aux modèles profonds, particulièrement sur les données de haute dimension.
Performance et Évolutivité :
- ABMS était le générateur le plus rapide (secondes à minutes), ce qui le rend approprié pour une exploration rapide.
- ABMS-CUDA a atteint des accélérations de 3 à 4 fois par rapport à l'ABMS sur CPU pour les jeux de données avec $N > 10\,000$ , bien qu'il ait subi une légère pénalité de fidélité sur le jeu de données de 42 caractéristiques NSL-KDD en raison de la projection PCA nécessaire à la stabilité numérique.
- TabGAN a engendré les coûts d'entraînement les plus élevés (jusqu'à environ 20 minutes pour Bank Marketing) en raison de sa boucle d'entraînement antagoniste.
- TabDiffusion a offert un compromis favorable, atteignant une haute fidélité avec des temps d'entraînement nettement inférieurs à ceux de TabGAN sur les grands jeux de données.

Signification et Revendications

Le document positionne TDGT comme un pont entre la recherche en modélisation générative avancée et l'application pratique dans les domaines réglementés. Sa signification réside dans :

Accessibilité : En automatisant la sélection des hyperparamètres (via ABMS) et en fournissant une interface web sans code, TDGT abaisse la barrière à l'entrée pour les chercheurs du domaine (ex: cliniciens, analystes financiers) qui ne possèdent pas d'expertise en apprentissage profond.
Évaluation Intégrée : Il répond au fossé de reproductibilité en offrant un cadre d'évaluation unifié et multi-métrique qui évalue à la fois la fidélité statistique et le risque de confidentialité, éliminant ainsi le besoin de pipelines d'évaluation disparates.
Évolutivité : L'inclusion de variantes accélérées par GPU (ABMS-CUDA) et de modèles profonds efficaces (TabDiffusion) garantit que le kit est viable pour des jeux de données allant de petites cohortes cliniques à de grands journaux de trafic réseau.
Utilité Réglementaire : Le kit est conçu pour soutenir la collaboration respectueuse de la vie privée dans des secteurs où l'accès aux données est strictement contraint, permettant la création de jeux de données de substitution qui conservent les propriétés statistiques sans exposer d'enregistrements identifiables.

Les auteurs concluent que si les modèles génératifs profonds offrent une fidélité supérieure pour les données complexes, les approches de mélange adaptatives (ABMS/VAE-ABMS) offrent un équilibre critique entre vitesse, interprétabilité et performance, ce qui en fait des composants essentiels d'un kit de développement de données synthétiques complet.