🤖 machine learning

One Pipeline, Many Transformers: Pattern-Specific Imputation Specialists for Tabular Missing Data

Cet article présente un pipeline de pré-entraînement unifié qui génère des spécialistes d'imputation basés sur des transformeurs et spécifiques à certains schémas, démontrant qu'un modèle unique entraîné exclusivement sur des données MCAR (TabImpute) atteint une performance robuste à travers divers schémas d'absence de données tout en surpassant 14 bases de référence établies sur leurs scénarios cibles.

Auteurs originaux : Jacob Feitelberg, Dwaipayan Saha, Kyuseong Choi, Zaid Ahmad, Anish Agarwal, Raaz Dwivedi

Publié 2026-08-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jacob Feitelberg, Dwaipayan Saha, Kyuseong Choi, Zaid Ahmad, Anish Agarwal, Raaz Dwivedi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le vaste monde des données, l'information est rarement parfaite. Qu'un médecin examine des dossiers de patients, qu'un économiste analyse les tendances du marché ou qu'un ingénieur surveille les capteurs d'une usine, les ensembles de données sur lesquels ils s'appuient présentent souvent des lacunes. Des chiffres sont manquants, des mesures n'ont pas été prises, ou des entrées ont été perdues lors d'un transfert. Cette absence de données crée un problème important : la plupart des outils statistiques et d'apprentissage automatique ne peuvent pas travailler avec des espaces vides. Ils nécessitent une image complète pour fonctionner. Pour y remédier, les scientifiques utilisent depuis longtemps un processus appelé imputation, qui consiste à combler les blancs par des suppositions éclairées. Pendant des décennies, le domaine est resté bloqué face à un choix difficile. Les praticiens pouvaient utiliser un outil à usage général qui tente de remplir n'importe quel nombre manquant mais qui, souvent, performe mal sur des cas spécifiques et complexes. Ou bien, ils pouvaient attendre qu'un chercheur conçoive un algorithme hautement spécialisé pour leur problème exact, un processus qui exige une expertise et un temps considérables. La réalité est que les données manquantes sont rarement aléatoires ; souvent, la raison pour laquelle un chiffre est manquant est directement liée à la valeur elle-même, ce qui rend le jeu de devinettes encore plus difficile.

Une équipe de chercheurs de l'Université de Columbia et de l'Université Cornell a proposé un moyen de briser cette impasse. Ils ont développé un système flexible qui agit comme une usine de création d'experts personnalisés pour le remplissage de données, sans avoir besoin de redessiner la machine à chaque fois. Au lieu de construire un nouvel algorithme pour chaque type de donnée manquante, ils ont construit un pipeline unique capable de produire un « imputateur » spécialisé pour n'importe quel schéma de données manquantes. Le cœur de leur travail est une méthode qui traite chaque nombre manquant dans un tableau comme une pièce de puzzle unique, en examinant la ligne et la colonne auxquelles il appartient, ainsi que les valeurs environnantes, pour faire une prédiction. En entraînant ce système sur des millions de tableaux synthétiques — des données générées par ordinateur qui imitent des scénarios du monde réel — ils ont créé un modèle capable de s'adapter instantanément. Si un utilisateur connaît exactement la raison pour laquelle ses données sont manquantes, le système peut générer un spécialiste pour ce schéma spécifique. Si l'utilisateur ignore pourquoi les données sont manquantes, le système propose un modèle par défaut robuste qui fonctionne bien dans presque toutes les situations.

Les chercheurs ont testé cette approche sur un nouveau benchmark qu'ils ont créé, appelé MissBench, qui comprend 42 ensembles de données réels issus de domaines tels que la médecine, la finance et l'ingénierie. Ils ont simulé 11 façons différentes dont les données peuvent disparaître, allant de simples lacunes aléatoires à des scénarios complexes où l'absence dépend des valeurs cachées elles-mêmes. Dans ces tests, leurs modèles spécialisés ont systématiquement surpassé quatorze méthodes établies qui étaient auparavant considérées comme les meilleures pour des tâches spécifiques. Remarquablement, le modèle par défaut, qui a été entraîné uniquement sur le type de données manquantes le plus simple, s'est avéré assez fort pour gérer les schémas les plus complexes mieux que de nombreux outils spécialisés conçus pour eux. Cela suggère que le système apprend si bien la structure sous-jacente des données qu'il n'a pas besoin de connaître les règles spécifiques de l'absence de données pour accomplir un bon travail.

Le processus fonctionne en générant d'abord une immense bibliothèque de faux tableaux de données. Ces tableaux sont créés à l'aide d'un cadre mathématique qui suppose que les données du monde réel suivent souvent des modèles cachés, de la même manière que quelques facteurs sous-jacents pourraient influencer de nombreuses mesures différentes. Les chercheurs appliquent ensuite différents « modules de manquance » à ces tableaux pour simuler diverses façons dont les données peuvent disparaître. Un module peut supprimer des nombres de manière totalement aléatoire, tandis qu'un autre peut masquer des valeurs trop hautes ou trop basses, ou masquer des données basées sur d'autres valeurs dans la même ligne. Le système entraîne ensuite un modèle basé sur les transformers — un type d'intelligence artificielle connue pour sa capacité à reconnaître des motifs — pour prédire les valeurs manquantes en fonction du contexte des chiffres environnants. Crucialement, l'architecture du modèle ne change jamais. La seule chose qui change est le module de manquance utilisé pendant la phase d'entraînement. Cela signifie qu'un utilisateur peut remplacer les conditions d'entraînement pour créer un nouveau spécialiste en quelques heures, sans avoir besoin de réécrire le code ou de réorganiser le modèle.

L'une des découvertes les plus frappantes est que le système n'a pas besoin de mémoriser les règles spécifiques de la manquance pour réussir. Lorsque les chercheurs ont entraîné le modèle uniquement sur des données manquantes aléatoires, celui-ci est devenu un expert universel qui performait bien même lorsque les données manquantes suivaient des règles complexes et non aléatoires. Cela remet en question la croyance de longue date selon laquelle l'on doit concevoir un algorithme unique pour chaque type de problème de données manquantes. Le système semble apprendre une compréhension générale de la façon dont les données sont liées entre elles, permettant de combler les lacunes avec précision, quel que soit le motif de leur absence. Pour les cas rares où la raison des données manquantes est connue et très spécifique, le pipeline peut produire un modèle sur mesure qui surpasse même les meilleures méthodes spécialisées existantes.

Les chercheurs ont également abordé la question de la vitesse. Les méthodes traditionnelles qui tentent de remplir des données le font souvent colonne par colonne, ce qui est lent et peut manquer les connexions entre différentes parties du tableau. Leur nouvelle approche examine chaque entrée du tableau simultanément, ce qui lui permet d'utiliser les informations de l'ensemble du jeu de données pour faire une prédiction unique et rapide. Ce traitement parallèle rend le système nettement plus rapide que les méthodes précédentes, capable de traiter de petits à moyens tableaux en une fraction du temps nécessaire aux outils plus anciens. Bien que le système actuel soit conçu pour des tableaux qui tiennent dans la mémoire informatique standard, les chercheurs reconnaissent que le passage à l'échelle pour des ensembles de données massifs nécessitera une ingénierie supplémentaire. Cependant, pour la grande majorité des applications pratiques en science et en entreprise, le système offre un outil puissant.

En mettant leur code, leurs modèles et leur benchmark à la disposition du public, l'équipe espère changer la façon dont les praticiens abordent les données manquantes. Au lieu d'attendre un algorithme parfait ou de se contenter d'un généraliste médiocre, les utilisateurs peuvent désormais générer un outil qui répond à leurs besoins spécifiques ou compter sur un modèle par défaut solide qui fonctionne presque partout. Ce travail démontre qu'avec la bonne stratégie d'entraînement, un seul système peut maîtriser l'art de combler les vides, transformant le problème frustrant des données manquantes en un puzzle soluble.

Résumé Technique : Un Pipeline, de Nombreux Transformers

Problématique

Les données manquantes dans les ensembles de données tabulaires représentent un défi majeur pour les praticiens, qui doivent choisir entre le déploiement de méthodes d'imputation à usage général pouvant être sous-performantes sur des problèmes spécifiques, ou attendre que les chercheurs conçoivent des algorithmes spécialisés pour des schémas de données manquantes spécifiques. Ce compromis est exacerbé par la réalité selon laquelle l'absence de données dans le monde réel ne satisfait rarement l'hypothèse de données manquantes complètement au hasard (MCAR - Missing Completely At Random). Au contraire, les données sont souvent manquantes de manière non aléatoire (MNAR - Missing Not At Random), où la probabilité qu'une entrée soit manquante dépend de la valeur elle-même non observée. Distinguer entre les données manquantes de type MAR (Missing At Random) et MNAR est souvent impossible en utilisant uniquement les données observées, particulièrement dans les petits ensembles de données où les tests statistiques manquent de puissance. Par conséquent, les praticiens sont confrontés à deux scénarios : soit ils manquent de connaissances sur le mécanisme de données manquantes et nécessitent une solution par défaut robuste, soit ils possèdent une connaissance métier et cherchent à l'exploiter pour une précision accrue. Les méthodes existantes ne traitent généralement que l'un de ces deux scénarios, échouant à fournir un cadre unifié qui soit à la fois robuste à travers divers schémas et adaptable à des mécanismes spécifiques sans redéfinir l'algorithme.

Méthodologie

Les auteurs proposent TabImpute, un pipeline de pré-entraînement flexible qui génère des spécialistes de l'imputation basés sur des transformers. Le pipeline élimine la nécessité de modifier l'architecture du modèle ou les algorithmes d'entraînement pour s'adapter à différents schémas de données manquantes. Il se compose de trois composantes fondamentales :

1. Faisabilité par Entrée (Entry-Wise Featurization - EWF)

Le pipeline reformule l'imputation comme un problème de prédiction supervisée sur le contexte ligne-colonne. Contra à les approches par colonne (ex: l'approche itérative de TabPFN), l'EWF transforme chaque entrée d'un tableau en un vecteur de caractéristiques comprenant :

L'indice de la ligne et l'indice de la colonne.
Le contexte de la ligne (le reste de la ligne).
Le contexte de la colonne (le reste de la colonne).
La valeur cible (l'entrée elle-même).

Cette transformation crée une matrice de caractéristiques avec $m \times n$ lignes (où $m$ et $n$ sont le nombre de lignes et de colonnes du tableau original). Pendant l'entraînement, le modèle prédit les valeurs cibles pour toutes les entrées. Crucialement, le modèle gère les entrées manquantes en remplaçant les NaN par les moyennes de colonnes et en ajoutant un masque binaire, tandis que les vraies valeurs des entrées manquantes ne sont utilisées que dans la fonction de perte, et non comme entrée. Cette approche permet une prédiction parallèle de toutes les entrées manquantes, offrant une accélération significative par rapport aux méthodes par colonne.

2. Génération de Données Synthétiques avec Modules Interchangeables

Les modèles sont pré-entraînés sur des millions de tableaux synthétiques générés via un processus en deux étapes :

Génération de Données : Un modèle de facteurs linéaires (LFM - Linear Factor Model) génère la matrice de données complètes sous-jacente $Y = UV^T$ , où les facteurs latents sont échantillonnés à partir de diverses distributions (Gaussienne, Laplace, Student's-t).
Injection de Données Manquantes : Un module de données manquantes interchangeable applique un masque $M$ aux données. Le pipeline supporte une famille flexible de schémas, incluant MCAR, MAR (spécifiquement Col-MAR), et neuf variantes distinctes de MNAR (ex: Self-MNAR, Censor-MNAR, Block-MNAR, NN-MNAR).

L'innovation clé est que le module de données manquantes est interchangeable. En remplaçant uniquement ce module, le pipeline peut générer des données d'entraînement pour n'importe quel schéma spécifique sans modifier l'architecture du modèle ou l'algorithme d'entraînement.

3. Architecture et Entraînement

Le modèle utilise une architecture Transformer similaire à TabPFN v2, présentant un mécanisme d'attention bidirectionnel (attention inter-caractéristiques et inter-échantillons). Une modification critique pour l'imputation est la suppression du masque d'attention qui restreint habituellement le flux d'informations entre les points de requête (entrées manquantes). Dans l'imputation, les valeurs manquantes sont souvent corrélées via des structures latentes partagées ; permettre aux points de requête d'échanger des informations reflète mieux la structure du problème.

Les modèles sont entraînés à l'aide d'une perte de log-vraisemblance négative (NLL - Negative Log Likelihood) sur environ 1,2 million de jeux de données synthétiques par modèle. Le processus d'entraînement implique un passage direct (apprentissage en contexte/in-context learning) où le réseau approxime la distribution prédictive postérieure.

Contributions Clés

Pipeline de Pré-entraînement Unifié : Un cadre qui répond aux deux scénarios pratiques (mécanismes de données manquantes inconnus vs connus) en produisant soit un modèle par défaut robuste, soit un spécialiste du schéma simplement en changeant le générateur de données synthétiques du module de données manquantes.
Faisabilité par Entrée (EWF) : Une stratégie de création de caractéristiques novatrice qui permet la prédiction parallèle des entrées manquantes, résultant en une accélération de plus de 100× par rapport à l'approche par colonne de TabPFN.
Benchmark MissBench : Un benchmark complet comprenant 42 jeux de données réels d'OpenML issus de divers domaines (médecine, finance, ingénierie, etc.) et 11 schémas de données manquantes (incluant 9 variantes MNAR).
Spécialistes Spécialisés : La démonstration que les modèles entraînés sur des schémas spécifiques (TabImpute-P) surpassent les méthodes conçues spécifiquement pour ces schémas, tandis que le modèle par défaut entraîné sur MCAR (TabImpute) reste robuste sur tous les schémas testés.

Résultats

Évalué sur MissBench contre 14 bases de référence établies (incluant MissForest, MICE, GAIN, MIWAE et TabPFN) :

Robustesse : Le modèle par défaut TabImpute, entraîné exclusivement sur des données MCAR, a obtenu l'erreur quadratique moyenne (RMSE) la plus faible globalement sur les 11 schémas et s'est classé dans le top 2 pour 9 schémas sur 11.
Spécialisation : Les modèles TabImpute spécifiques aux schémas (ex: TabImpute-Self-MNAR) ont atteint la RMSE la plus faible sur leurs schémas cibles respectifs, surpassant les bases spécialisées comme not-MIWAE.
Efficacité : TabImpute a démontré un temps d'exécution par entrée plus de 100× plus rapide que le TabPFN par colonne, avec des performances compétitives ou supérieures aux autres méthodes sur des tableaux de petite à moyenne taille.
Généralisation : Le pipeline a géré avec succès des scénarios MNAR complexes (ex: censure, masquage dépendant de la valeur) là où les méthodes traditionnelles peinent souvent ou nécessitent une spécification manuelle des modèles de propension.

Signification et Revendications

L'article affirme que TabImpute résout le compromis entre la robustesse à usage général et la précision spécifique au schéma. En exploitant l'ajustement de données préalies (prior-data fitting) sur des données synthétiques, le pipeline permet aux praticiens de :

Déployer un imputer par défaut puissant et robuste lorsque le mécanisme de données manquantes est inconnu.
Entraîner rapidement des imputeurs spécialisés pour des mécanismes connus sans concevoir de nouveaux algorithmes ni modifier les architectures de modèles.

Les auteurs soulignent que cette approche élimine le besoin pour les praticiens d'attendre le développement d'algorithmes spécialisés ou de se contenter de méthodes générales sous-performantes. Bien que l'implémentation actuelle soit optimisée pour les tableaux de petite et moyenne taille (en raison de l'expansion $O(mn)$ de l'EWF), le pipeline établit une base pour une imputation évolutive et agnostique des schémas qui pourra être étendue à des ensembles de données plus larges et des types de données plus complexes dans des travaux futurs. Le code, les modèles et le benchmark sont en open-source pour faciliter l'adoption et la recherche ultérieure.