Statistical Embeddings for Similarity, Retrieval, and Interpretable Alignment of Numeric Tabular Datasets

Résumé Technique : Embeddings Statistiques pour la Similarité, la Récupération et l'Alignement Interprétable de Jeux de Données Tabulaires Numériques

Énoncé du Problème
Les jeux de données tabulaires numériques constituent le format de données dominant dans la pratique scientifique, pourtant leur organisation et leur comparaison à travers des espaces de caractéristiques hétérogènes restent un défi majeur. Les outils existants de recherche de jeux de données reposent généralement sur l'appariement de schémas (noms de variables partagés) ou produisent des résumés lisibles par l'humain qui manquent des représentations vectorielles nécessaires aux systèmes de récupération modernes. Les Modèles de Langage (LLM) et leurs espaces d'embeddings offrent une voie pour la similarité inter-domaine, mais ils manquent de mécanismes natifs pour représenter de manière significative les jeux de données numériques sans définitions de variables partagées. Les approches actuelles se concentrent soit sur la modélisation prédictive au sein d'un seul jeu de données, soit échouent à fournir un alignement interprétable entre des jeux de données ayant des espaces de caractéristiques disjoints.

Méthodologie
Le cadre proposé répond à ces limitations grâce à un pipeline en trois étapes : Empreinte Statistique, Embedding Sémantique et Alignement Interprétable.

1. Empreinte Statistique via EDA :
   La méthodologie commence par caractériser un jeu de données tabulaire numérique $D$ grâce à un pipeline structuré d'Analyse Exploratoire des Données (EDA). Ce processus génère un ensemble complet de descripteurs sans nécessiter l'accès aux observations brutes au moment de la comparaison, soutenant ainsi une récupération respectueuse de la vie privée.

   • Prétraitement : Les valeurs manquantes sont imputées par seuillage doux sur la Décomposition en Valeurs Singulières (SVD) pour préserver la structure de rang.
   • Confidentialité Différentielle (Optionnelle) : Pour protéger les données sensibles, un bruit de Laplace est ajouté aux descripteurs scalaires en fonction de leur sensibilité globale avant la sérialisation.
   • Calcul des Descripteurs : Le pipeline calcule :
     • Descripteurs multivariés : Normes matricielles, quantités spectrales (valeurs singulières) et importance des variables via régression pénalisée SCAD (Smoothly Clipped Absolute Deviation).
     • Descripteurs univariés : Bornes, moments centraux, quantiles, entropie et statistiques robustes (médiane, MAD).
     • Analyse structurelle : Détection de points de changement (via PELT) pour identifier la non-stationnarité, et analyse fréquentielle via FFT.
     • Gestion catégorielle : Distributions de fréquence et analyse au niveau des partitions pour les colonnes catégorielles.
   • Sérialisation : Chaque descripteur numérique est apparié à un modèle de phrase en langage naturel (par exemple, "L'aplatissement est de 2,4103 ; la distribution est platicurtique..."). Les noms de variables ou le token "matrice" sont préfixés pour fournir un contexte, résultant en une collection ordonnée de phrases $S$.

2. Embedding Sémantique :
   La collection de phrases descriptives $S$ est encodée dans un espace vectoriel de longueur fixe en utilisant un transformateur de phrases préentraîné (spécifiquement all-MiniLM-L6-v2). Pour un jeu de données $D_i$, cela produit une matrice d'embeddings $V_i \in \mathbb{R}^{d_E \times M_i}$, où $M_i$ est le nombre de phrases descriptives. Cela transforme le jeu de données en un ensemble de vecteurs compatibles avec les espaces sémantiques des LLM.

3. Similarité et Interprétabilité via l'ACA :
   La similarité inter-jeux de données est quantifiée à l'aide de l'Analyse des Corrélations Canoniques (ACA) entre les matrices d'embeddings de deux jeux de données.

   • Métrique de Similarité : Le score de similarité $s_{ij}$ est défini comme la moyenne des corrélations canoniques entre les deux espaces d'embeddings.
   • Récupération et Clustering : Les distances par paires ($1 - s_{ij}$) sont utilisées pour construire une matrice de distances pour le clustering hiérarchique (liaison Ward $D^2$) et la récupération par plus proche voisin.
   • Alignement Interprétable : Pour identifier quels descripteurs spécifiques pilotent la similarité, une formulation d'ACA pénalisée est employée. En imposant une pénalité de norme $\ell_1$ sur les vecteurs de poids canoniques, la méthode produit des solutions parcimonieuses. Les entrées non nulles dans ces vecteurs parcimonieux mappent directement vers des phrases descriptives spécifiques et des quantités au niveau des variables, révélant les propriétés statistiques responsables de l'alignement inter-jeux de données sans nécessiter de noms de variables partagés.

Contributions Clés

• Pipeline EDA Structuré : Une cartographie formalisée des données tabulaires brutes vers une collection de vecteurs d'embeddings via des descripteurs statistiques sérialisés en phrases, avec intégration optionnelle de la confidentialité différentielle.
• Cadre de Similarité Inter-jeux de Données : Un système de récupération basé sur la corrélation canonique moyenne qui fonctionne efficacement à travers des jeux de données aux espaces de caractéristiques hétérogènes et disjoints.
• ACA Pénalisée Interprétable : Une application novatrice de la décomposition matricielle pénalisée à l'ACA, produisant des charges canoniques parcimonieuses qui identifient les descripteurs statistiques spécifiques pilotant l'alignement, une capacité absente dans l'ACA standard.
• Validation Empirique : Évaluation sur 15 jeux de données couvrant des benchmarks à usage général (UCI), l'informatique des matériaux et la caractérisation de graphite de qualité nucléaire.

Résultats
Le cadre a été évalué sur 15 jeux de données avec des domaines et des espaces de caractéristiques variés.

• Précision de Récupération : Le système a obtenu un score total $P@1$ (Précision au rang 1) de 0,9 pour la récupération par plus proche voisin. Cette haute précision a été maintenue à travers diverses conditions d'embedding, y compris des ablations uniquement multivariées et des embeddings à confidentialité différentielle avec des budgets de confidentialité $\epsilon \in \{0,1, 1, 10\}$.
• Robustesse : Les résultats du clustering hiérarchique ont démontré que la structure globale des clusters restait robuste même sous une injection de bruit élevée ou lorsque les détails univariés étaient supprimés, bien que les noms de variables et les valeurs statistiques aient amélioré la résolution des clusters.
• Interprétabilité : L'ACA pénalisée a récupéré avec succès des correspondances physiquement significatives. Par exemple, elle a aligné des éléments d'alliage à travers des jeux de données utilisant différentes unités (pourcentage atomique vs pondéral) et a fait correspondre des mesures de résistance mécanique (par exemple, résistance à la fatigue vs limite d'élasticité) entre des jeux de données d'acier indépendants, malgré l'absence de noms de variables partagés.

Signification
L'article postule que ce cadre offre une voie fondée sur des principes pour intégrer des données numériques hétérogènes dans des pipelines de Génération Augmentée par Récupération (RAG) tout en préservant le contexte statistique. En convertissant les données tabulaires en embeddings ancrés statistiquement et sémantiquement interprétables, la méthode permet :

1. Sélection d'Algorithmes Pilotée par les Données : Identifier des approches de modélisation candidates pour des jeux de données inconnus basés sur leur similarité statistique avec des jeux de données catalogués aux résultats connus (connectant à l'apprentissage méta et à l'AutoML).
2. Initialisation de Simulation : Informer la sélection de modèles constitutifs ou de paramètres de simulation basés sur les caractéristiques statistiques des données d'étalonnage empiriques.
3. Découverte Respectueuse de la Vie Privée : Permettre des comparaisons de similarité sur des données sensibles sans exposer les observations brutes, car la comparaison repose uniquement sur des descripteurs statistiques à confidentialité différentielle.

Les auteurs concluent que les empreintes statistiques dérivées de l'EDA offrent une base compacte et sémantiquement interprétable pour organiser des données numériques hétérogènes au sein d'espaces compatibles avec les LLM, comblant une lacune critique dans la gestion des données scientifiques où les définitions de variables et les schémas sont souvent incompatibles.