Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets

Ce papier présente NAIM, un modèle basé sur les transformers qui traite directement les valeurs manquantes dans les données tabulaires sans imputation traditionnelle, en utilisant des embeddings spécifiques aux caractéristiques et un mécanisme d'attention masqué modifié, surpassant ainsi plusieurs modèles de pointe sur cinq jeux de données publics.

L'essentiel

🌧️ Le Problème : La Cuisine avec des Ingrédients Manquants

Imaginez que vous êtes un chef cuisinier (c'est votre intelligence artificielle) et que vous devez préparer un délicieux plat (c'est la prédiction ou la décision à prendre). Pour cela, vous avez une recette qui demande des ingrédients précis : des tomates, du sel, du poivre, etc.

Mais voici le hic : dans votre cuisine, certains ingrédients sont manquants.

• Parfois, un client oublie de dire s'il est allergique au gluten (donnée manquante).
• Parfois, un capteur de température tombe en panne pendant une mesure.
• Parfois, une personne refuse de répondre à une question dans un sondage.

Dans le monde de l'intelligence artificielle traditionnelle, quand il manque un ingrédient, le chef est obligé de faire une devinette. Il va dire : "Bon, comme il manque du sel, je vais mettre un peu de sel par défaut, ou peut-être que c'est comme du sucre, je vais essayer de deviner ce qu'il y avait."

C'est ce qu'on appelle l'imputation. Le problème, c'est que si vous devinez mal, votre plat sera raté. De plus, vous passez beaucoup de temps à deviner au lieu de cuisiner.

🚀 La Solution : NAIM, le Chef qui Accepte le Vide

Les auteurs de cet article ont créé un nouveau modèle appelé NAIM (Not Another Imputation Method - "Pas encore une autre méthode d'imputation").

Au lieu de deviner ce qui manque, NAIM a une philosophie différente : "Si l'ingrédient n'est pas là, on ne le met pas dans la casserole, et on cuisine quand même avec ce qu'on a."

Pour y arriver, NAIM utilise deux super-pouvoirs magiques :

1. Les Étiquettes Magiques (Les "Embeddings")

Imaginez que chaque ingrédient (chaque colonne de votre tableau de données) a sa propre étiquette spéciale.

• Si l'ingrédient est là, l'étiquette dit : "Voici la tomate !".
• Si l'ingrédient manque, l'étiquette ne dit pas "Je devine que c'est une pomme". Elle dit simplement : "Je suis vide".
• NAIM comprend parfaitement cette étiquette "vide". Il ne panique pas. Il sait exactement comment traiter un ingrédient manquant sans avoir besoin de le remplacer par un faux.

2. Le Masque de Ninja (L'Attention Masquée)

C'est la partie la plus géniale. Imaginez que NAIM est un ninja qui lit votre recette.

• Normalement, un chef regarde toute la recette et essaie de tout mélanger. Si un ingrédient manque, il essaie de le deviner et cela gâche le mélange.
• NAIM, lui, porte un masque de ninja. Quand il voit un ingrédient manquant, il met un masque noir dessus.
• Ce masque dit au cerveau de l'IA : "Oublie complètement cette case. Ne la regarde pas, ne l'utilise pas pour calculer le goût, ne la laisse pas influencer les autres ingrédients."
• Résultat : L'IA se concentre uniquement sur les ingrédients présents. Elle ne se trompe pas en essayant de deviner le vide.

🎭 L'Entraînement : Le Jeu de la Chaise Musique

Pour que ce chef (NAIM) soit aussi bon, il faut l'entraîner. Mais il y a un problème : si on l'entraîne seulement avec des recettes complètes, il ne saura pas gérer les manques le jour où il cuisinera pour de vrai.

Les auteurs ont inventé une technique d'entraînement géniale : le "Jeux des Chaises Musicales".

• Pendant l'entraînement, à chaque fois qu'ils donnent une recette à NAIM, ils cachent au hasard certains ingrédients, même si la recette était complète au départ.
• NAIM doit apprendre à cuisiner un plat parfait même si, soudainement, le sel ou le poivre disparaît de la table.
• Cela le rend super résistant. Peu importe si 10% ou 75% des ingrédients manquent, il sait s'adapter et donner un excellent résultat.

🏆 Le Résultat : Pourquoi c'est mieux ?

Les chercheurs ont testé NAIM sur 5 grands jeux de données (comme des bases de données de banques, de supermarchés, de santé, etc.) et l'ont comparé à 11 autres méthodes célèbres (des experts en cuisine).

Le verdict est sans appel :

• Les autres méthodes (qui devinent les ingrédients manquants) font souvent des erreurs ou perdent du temps.
• NAIM gagne presque toujours. Il est plus précis, plus rapide et surtout, il ne se trompe pas en inventant des données qui n'existent pas.

En Résumé

Imaginez que vous essayez de résoudre un puzzle.

• Les anciennes méthodes essaient de dessiner les pièces manquantes pour que le puzzle soit complet, mais elles se trompent souvent de dessin.
• NAIM, lui, prend le puzzle tel quel. Il regarde les pièces qui sont là, ignore les trous, et arrive à deviner l'image finale avec une précision incroyable, sans jamais avoir besoin de dessiner une fausse pièce.

C'est une révolution pour l'intelligence artificielle : on n'a plus besoin de "réparer" les données avant de les utiliser. On peut les utiliser telles quelles, même si elles sont abîmées.

Résumé technique

Voici un résumé technique détaillé de l'article "Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets" (NAIM), rédigé en français.

1. Problématique

La gestion des valeurs manquantes dans les données tabulaires constitue un défi majeur pour l'entraînement et le test des modèles d'intelligence artificielle. Contrairement aux données séquentielles (texte, parole) ou spatiales (images), les données tabulaires sont hétérogènes (mélange de variables catégorielles et numériques) et souvent incomplètes en raison d'erreurs humaines, de non-réponses ou de corruption de données.

Les approches actuelles reposent principalement sur deux stratégies :

1. L'imputation : Remplir les valeurs manquantes avant l'entraînement (par exemple, avec la moyenne, KNN ou MICE). Cela introduit souvent du bruit, des biais et une perte d'information, car les valeurs imputées sont des estimations artificielles.
2. La gestion intrinsèque : Certains modèles (comme les arbres de décision avec la stratégie MIA ou GRAPE) gèrent les manquants, mais ils sont souvent limités en termes de scalabilité ou de capacité à traiter à la fois des données catégorielles et numériques de manière optimale.

Les architectures Transformer, bien que performantes dans d'autres domaines, n'avaient pas encore proposé de solution robuste pour ignorer complètement les valeurs manquantes dans les données tabulaires sans étape d'imputation préalable.

2. Méthodologie : L'architecture NAIM

Les auteurs proposent NAIM (Not Another Imputation Method), un modèle basé sur l'architecture Transformer (encodeur uniquement) conçu spécifiquement pour apprendre directement à partir des données disponibles sans imputation. L'architecture repose sur trois innovations clés :

A. Embeddings Spécifiques aux Features (Feature-Specific Embeddings)

Pour traiter les données tabulaires, NAIM utilise des mécanismes d'embedding adaptés aux types de données :

• Variables catégorielles : Utilisation de tables de recherche (lookup tables) spécifiques à chaque feature.
• Variables numériques : Création d'une table de recherche avec deux entrées possibles : "présent" et "manquant".
• Gestion du manquant : Une valeur manquante est encodée via un index de remplissage (padding index) associé à un vecteur de zéros non entraînable. Cela permet de représenter l'absence de donnée sans perturber l'espace d'embedding.

B. Mécanisme d'Attention Masquée Modifié (Modified Masked Self-Attention)

C'est le cœur de l'innovation. Dans un Transformer standard, l'attention calcule des interactions entre toutes les features. Si une feature est manquante, l'attention standard peut encore propager de l'information indésirable via les lignes et colonnes correspondantes.
NAIM introduit une modification de la formule d'attention :
$$\text{Attention}(Q, K, V) = \text{ReLU}\left(\text{softmax}\left(\frac{QK^T}{\sqrt{d_h}} + M\right) + M^T\right)V$$
Où $M$ est une matrice de masquage binaire ($-\infty$ pour les valeurs manquantes, $0$ sinon).

• Fonctionnement : En appliquant le masque $M$ deux fois (une fois sur les colonnes et une fois sur les lignes via $M^T$) et en utilisant une fonction d'activation ReLU, le modèle annule totalement la contribution des features manquantes, tant dans les calculs d'attention que dans les résultats finaux. Cela garantit que les features manquantes n'influencent pas la prédiction.

C. Technique de Régularisation par Masquage Aléatoire

Pour assurer que le modèle apprenne à gérer les manquants même si le jeu de données d'entraînement est complet (ce qui est fréquent), les auteurs introduisent une technique de régularisation inspirée de Cutout :

• À chaque époque d'entraînement, un sous-ensemble aléatoire de features non manquantes est masqué artificiellement pour chaque échantillon.
• Cela force le modèle à apprendre des représentations robustes et à ne pas dépendre de la présence de features spécifiques, simulant ainsi des scénarios réels de données incomplètes.

3. Contributions Clés

1. Premier modèle Transformer dédié aux données tabulaires avec gestion native des manquants : NAIM élimine le besoin d'étapes d'imputation préliminaires.
2. Mécanisme d'attention doublement masqué : Une solution mathématique pour isoler complètement l'impact des données manquantes dans le processus d'attention.
3. Stratégie de régularisation innovante : Permet au modèle de généraliser aux données manquantes même lors d'un entraînement sur des données complètes.
4. Évaluation exhaustive : Comparaison contre 11 modèles de référence (6 modèles ML classiques et 5 modèles Deep Learning) combinés à 3 techniques d'imputation (Moyenne, KNN, MICE) sur 5 jeux de données publics.

4. Résultats Expérimentaux

Les expériences ont été menées sur 5 jeux de données (Adult, BankMarketing, OnlineShoppers, SeismicBumps, Spambase) avec des taux de données manquantes artificielles (MCAR) variant de 0 % à 75 % dans les ensembles d'entraînement et de test.

• Performance Supérieure : NAIM a obtenu les meilleures performances (mesurées par l'AUC) dans 23 des 36 scénarios testés.
• Robustesse Statistique : Selon le test de Wilcoxon, NAIM surpasse statistiquement ses concurrents dans 58,7 % des cas, tandis qu'il perd seulement dans 1,6 % des cas.
• Résilience aux données manquantes :
  • NAIM maintient une performance élevée même lorsque les données d'entraînement sont complètes mais que les données de test contiennent des manquants (un défi où les autres modèles échouent souvent).
  • Il démontre une robustesse supérieure face à l'augmentation du taux de données manquantes, avec une chute de performance minime (0,88 % en entraînement, 5,27 % en test) comparée aux autres modèles.
• Ablation Studies : Les tests montrent que sans la technique de régularisation, les performances chutent drastiquement, prouvant que l'exposition aux manquants durant l'entraînement est cruciale.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de l'apprentissage automatique sur les données tabulaires :

• Simplification des pipelines : Il supprime l'étape complexe et souvent biaisée de l'imputation, réduisant le risque de fuite de données (data leakage) et de biais d'estimation.
• Adaptabilité : Le modèle est applicable dans des contextes réels où la collecte de données est imparfaite (santé, finance), offrant une solution plus fiable que les méthodes traditionnelles.
• Potentiel du Deep Learning : Il démontre que les architectures Transformer, correctement adaptées, peuvent surpasser les méthodes ML classiques (comme XGBoost ou Random Forest) même dans des scénarios de données très incomplètes, comblant ainsi un fossé technologique.

En conclusion, NAIM propose une approche élégante et efficace qui traite l'absence de données non pas comme un problème à corriger, mais comme une caractéristique intrinsèque à apprendre, établissant un nouvel état de l'art pour la modélisation de données tabulaires incomplètes.