Résumé Technique : TabKDE

Énoncé du Problème

La génération de données tabulaires vise à produire des lignes synthétiques qui répliquent la distribution statistique d'un jeu de données original — incluant des caractéristiques numériques, catégorielles et ordinales — sans simplement copier les enregistrements existants. Bien que les récents progrès en modélisation générative (par exemple, les VAE, les GAN et les modèles de Diffusion) aient montré des promesses, ils souffrent souvent de limitations significatives :

• Évolutivité : Les méthodes reposant sur le codage one-hot pour les caractéristiques catégorielles explosent en dimensionnalité, entraînant un épuisement de la mémoire sur des jeux de données comportant de nombreuses catégories (par exemple, le jeu de données IBM avec environ 37 000 catégories).
• Efficacité : L'entraînement de modèles complexes comme les modèles de Diffusion ou les VAE est coûteux en calcul, nécessitant souvent des heures ou des jours et du matériel GPU spécialisé.
• Confidentialité : Certaines méthodes non paramétriques comme SMOTE peuvent involontairement répliquer trop étroitement les points de données d'entraînement, posant des risques de fuite de données.
• Interprétabilité : Les transformations dans l'espace latent des modèles d'apprentissage profond obscurcissent souvent la relation entre les caractéristiques originales et les échantillons générés.

Méthodologie : TabKDE

Les auteurs proposent TabKDE, une approche non paramétrique et évolutive qui évite entièrement l'entraînement par apprentissage profond. La méthode suit un paradigme en trois étapes appliqué aux données tabulaires :

1. Encodage ($T \to E$)

La méthode convertit toutes les caractéristiques en un format numérique unifié tout en maintenant une correspondance un à un entre les colonnes originales et les dimensions latentes (évitant l'explosion de dimensionnalité).

• Numériques et Ordinales : Les caractéristiques numériques sont normalisées par score z ; les caractéristiques ordinales sont mappées à des entiers préservant l'ordre de classement.
• Catégorielles (Encodage Guidé par le Principe - PGE) : Au lieu du codage one-hot, le PGE mappe chaque catégorie catégorielle à une seule valeur scalaire. Cela est réalisé en :
  1. Calculant la première composante principale (PC1) des caractéristiques numériques.
  2. Projeter toutes les données sur cette direction PC1.
  3. Attribuant à chaque catégorie une valeur égale à la moyenne des scores PC1 des lignes contenant cette catégorie.
     Cela préserve la dépendance entre les caractéristiques catégorielles et numériques sans augmenter la dimensionnalité.

2. Transformation Copule ($E \to Z$)

Les données encodées sont mappées dans un espace latent continu $Z \subset [0, 1]^d$ en utilisant une transformation Copule.

• Pour chaque caractéristique $j$, une Fonction de Distribution Cumulative (CDF) empirique $F_j$ est construite.
• La valeur de chaque point de données est transformée en $Z_{i,j} = F_j(E_{i,j})$, résultant en une distribution uniforme sur $[0, 1]$ pour chaque marginale.
• Cette étape découple les distributions marginales de la structure de dépendance et normalise les données dans un hypercube unité.
• La covariance d'échantillon $\Sigma$ de $Z$ est calculée pour capturer les corrélations entre les caractéristiques.

3. Modélisation Générative via KDE

Des échantillons synthétiques sont générés en utilisant l'estimation de densité par noyau (KDE) dans l'espace latent, guidés par deux distributions apprises clés :

• Distance à l'Enregistrement le Plus Proche (DCR) : La méthode apprend la distribution des distances entre les points de données et leurs plus proches voisins dans l'ensemble d'entraînement. Cette distribution, modélisée comme un mélange de Gaussiennes, détermine le "rayon" de perturbation pour les nouveaux échantillons, garantissant qu'ils reflètent l'espacement naturel des données sans mémoriser des points spécifiques.
• Processus d'Échantillonnage :
  1. Sélectionner un point de semence aléatoire $z_i$ parmi les données d'entraînement dans $Z$.
  2. Échantillonner un rayon $r$ à partir de la distribution DCR apprise.
  3. Échantillonner un vecteur de direction $u$ proportionnel à la covariance $\Sigma$.
  4. Générer un point candidat $z' = z_i + r \cdot u$.
  5. Correction des Frontières : Si $z'$ tombe en dehors de l'hypercube unité $[0, 1]^d$, une heuristique itérative d'échantillonnage par rejet ajuste les coordonnées hors limites pour garantir la validité.
• Décodage : Le point latent valide est inversé via la transformation Copule et la carte d'encodage pour revenir au format tabulaire original.

Coresets pour l'Efficacité

Les auteurs introduisent CORETABKDE et RANDCORETABKDE, qui remplacent l'ensemble de données complet par un petit sous-ensemble pondéré (coreset) de points pour approximer le KDE. Cela réduit considérablement les exigences de stockage et la taille du modèle tout en maintenant la précision.

Contributions Clés

1. Évolutivité : TabKDE gère des jeux de données avec des caractéristiques catégorielles à haute cardinalité (par exemple, 37 000 catégories) sur des ordinateurs portables grand public standards, tandis que les méthodes de diffusion de l'état de l'art (comme TABSYN) échouent en raison des contraintes de mémoire dues au codage one-hot.
2. Efficacité : La méthode ne nécessite presque aucun temps d'entraînement (de quelques secondes à quelques minutes) par rapport aux heures requises pour l'entraînement de modèles basés sur la diffusion ou les VAE. Elle y parvient en utilisant des outils statistiques classiques (Copules, KDE) plutôt qu'une optimisation itérative de réseaux de neurones.
3. Confidentialité : En calibrant le rayon de perturbation à l'aide de la distribution DCR et en évitant la réplication directe des points d'entraînement, TabKDE atténue la fuite de données. Il se comporte significativement mieux que SMOTE pour empêcher la génération de quasi-doublons des données d'entraînement.
4. Interprétabilité : L'encodage d'une dimension par caractéristique garantit que chaque colonne originale correspond à une coordonnée spécifique tout au long du processus, améliorant l'interprétabilité du modèle.
5. Intégration de Coresets : L'article présente la première application de coresets spécifiquement pour la modélisation générative de données tabulaires, permettant un stockage compact du modèle.

Résultats Expérimentaux

Les auteurs ont évalué TabKDE sur six jeux de données UCI et un grand jeu de données de fraude par carte de crédit IBM, en le comparant à des références incluant SMOTE, GReaT, CoDi, TabDDPM, TABSYN et TABDIFF.

• Précision :
  • Alignement Marginal : TabKDE atteint une erreur d'alignement marginal (moyenne sur les jeux de données) de 1,70, correspondant presque à celle de TABSYN (1,42), l'état de l'art, et surpassant significativement SMOTE (2,49) et TabDDPM (14,52).
  • Corrélation par Paires : TabKDE montre un alignement de corrélation fort (erreur moyenne 4,67), comparable à SMOTE et significativement meilleur que la plupart des modèles de diffusion, bien que légèrement supérieur à TABSYN (2,21).
  • Distribution Globale (C2ST) : TabKDE obtient un score de Test de Deux Échantillons par Classificateur (C2ST) de 0,938, indiquant que les classificateurs peinent à distinguer les données synthétiques des données réelles, un résultat comparable à SMOTE (0,933) et légèrement inférieur à TABSYN (0,970).
• Efficacité :
  • Sur un CPU d'ordinateur portable standard, TabKDE s'entraîne en ~43 secondes et échantillonne en ~3 secondes en moyenne. En revanche, TABSYN nécessite ~8,5 heures d'entraînement.
  • Sur le jeu de données IBM, TabKDE se termine en moins de 20 minutes (incluant l'entraînement et l'échantillonnage), tandis que TABSYN et SMOTE épuisent la mémoire (OOM).
• Confidentialité :
  • TabKDE obtient un score de Distance à l'Enregistrement le Plus Proche (DCR) de 58,6 % (plus proche de l'idéal de 50 % que les 95,7 % de SMOTE), indiquant que les points synthétiques ne sont pas systématiquement plus proches des données d'entraînement que des données retenues.
  • La variante CORETABKDE améliore encore la confidentialité avec un score DCR de 53 %, car elle ne stocke pas les points d'entraînement exacts.

Importance et Revendications

L'article affirme que TabKDE offre un nouveau paradigme pour la génération de données tabulaires qui privilégie l'évolutivité et l'efficacité sans sacrifier la précision ou la confidentialité. En tirant parti des transformations copule et des estimations de densité par noyau, les auteurs démontrent que des architectures d'apprentissage profond complexes ne sont pas strictement nécessaires pour une synthèse tabulaire de haute fidélité.

Les auteurs soulignent que TabKDE est particulièrement significatif pour les scénarios nécessitant une itération rapide sur des données sensibles (par exemple, la finance et la santé), où le coût computationnel de l'entraînement de modèles de diffusion est prohibitif et où le risque de fuite de données provenant de méthodes comme SMOTE est inacceptable. La capacité à fonctionner sur un simple ordinateur portable et à gérer des espaces catégoriels massifs rend la méthode accessible et pratique pour un déploiement dans le monde réel. De plus, l'introduction de coresets pour la modélisation générative fournit un mécanisme novateur pour réduire le stockage et la surcharge computationnelle dans les applications futures.