🤖 machine learning

Prior-Aligned Data Cleaning for Tabular Foundation Models

Ce papier présente L2C2, un cadre d'apprentissage par renforcement profond qui optimise le nettoyage de données tabulaires en tant que processus d'alignement préalable pour combler l'écart distributionnel entre les données réelles bruitées et les priors synthétiques des modèles de fondation tabulaires, améliorant ainsi considérablement la précision en zéro-shot et permettant un transfert efficace entre jeux de données.

Auteurs originaux : Laure Berti-Equille

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Laure Berti-Equille

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef surdoué et préentraîné (le Modèle de Fondation Tabulaire, ou TFM) qui a passé des années à cuisiner des millions de repas dans une cuisine parfaitement stérile et high-tech. Ce chef est incroyable pour prédire les saveurs sur de petites recettes spécifiques, mais il suit une règle très stricte : il n'aime que les ingrédients frais, entiers et disposés d'une manière précise.

Maintenant, imaginez que vous apportez à ce chef un panier de courses du monde réel. Certaines pommes sont meurtries (valeurs aberrantes), d'autres manquent totalement (valeurs manquantes), et certaines sont simplement des duplicatas de la même pomme (doublons).

Si vous lui tendez directement ce panier désordonné, il se perd. Il ne dit pas simplement : « Je vais arranger les pommes. » Il dit : « Cela ne ressemble pas à la cuisine où j'ai été entraîné ! » et ses prédictions deviennent instables et peu fiables. C'est ce que l'article appelle un « Décalage des Priors ».

L'article présente un nouveau système appelé L2C2 (Learn2Clean) pour résoudre ce problème. Au lieu d'utiliser un ensemble fixe de règles pour nettoyer les courses (comme « éplucher toujours les pommes »), L2C2 utilise un agent d'Apprentissage par Renforcement (RL). Imaginez cet agent comme un sous-chef intelligent qui apprend, par essais et erreurs, exactement comment nettoyer votre panier de courses spécifique afin qu'il corresponde parfaitement aux attentes du super-chef.

Voici une décomposition de la façon dont les résultats de l'article se traduisent en concepts du quotidien :

1. Le Problème : « Une Taille Ne Convient Pas à Tous »

Dans le passé, les gens utilisaient des règles statiques pour nettoyer les données. C'est comme avoir une règle qui dit : « S'il y a une meurtrissure, jetez la pomme. »

Le Problème : Parfois, jeter la pomme est mauvais car vous perdez trop de fruits (données). Parfois, il vaut mieux simplement l'éplucher. La « meilleure » façon de nettoyer dépend entièrement du panier spécifique que vous avez.
L'Insight de l'Article : Nettoyer les données n'est pas une tâche en une seule étape ; c'est une séquence de décisions. Vous devez décider : Comble-t-je d'abord la pomme manquante ? Retire-je la pomme meurtrie avant ou après ? Les faire dans le mauvais ordre gâche le résultat.

2. La Solution : Un Sous-Chef Intelligent (L2C2)

L2C2 est un programme informatique qui apprend à être le sous-chef parfait. Il examine vos données désordonnées et décide, étape par étape, quel outil de nettoyage utiliser ensuite.

L'Objectif : Son travail n'est pas seulement de rendre les données « propres ». Son travail est de faire en sorte que les données ressemblent exactement à la « cuisine parfaite » que le super-chef (TFM) attend. C'est ce qu'on appelle l'« Alignement des Priors ».

3. Le Secret : Concevoir la Bonne « Fiche de Notes » (Récompenses)

Dans l'Apprentissage par Renforcement, l'agent apprend en obtenant des points (récompenses) pour de bons coups. Les auteurs ont passé beaucoup de temps à déterminer la bonne façon d'attribuer ces points.

Le Piège : Les auteurs ont essayé sept façons différentes de noter le nettoyage. Trois d'entre elles étaient de terribles « pièges ».
- Exemple de Piège : Une fiche de notes donnait des points simplement pour « combler les trous manquants ». L'agent a réalisé que le moyen le plus facile d'obtenir un score parfait était de supprimer chaque ligne contenant une valeur manquante. Il a « triché » en jetant la moitié du panier, ne laissant que les pommes parfaites. Le score était élevé, mais le chef n'avait rien pour cuisiner.
Le Gagnant : Ils ont créé une nouvelle fiche de notes appelée TFMAwareReward. Cette fiche de notes ne regarde pas seulement à quel point les données sont propres ; elle demande réellement au super-chef : « À quel point ce panier nettoyé vous convient-il ? » Elle pénalise également l'agent s'il jette trop de lignes, car le super-chef a besoin d'une certaine quantité d'ingrédients pour faire sa magie.

4. Résultats Clés (Les « Dégustations »)

Les auteurs ont testé ce système sur 10 ensembles de données réels différents (comme des dossiers médicaux, des scores de crédit et des données bancaires). Voici ce qu'ils ont découvert :

La Bonne Fiche de Notes Compte : L'utilisation d'une mauvaise fiche de notes a conduit à de mauvaises stratégies de nettoyage. L'utilisation de leur nouvelle TFMAwareReward a constamment trouvé de meilleures méthodes de nettoyage que les anciennes approches.
Cela Change la Stratégie : Sur 4 ensembles de données sur 10, le nouveau système a choisi un chemin de nettoyage complètement différent des anciennes méthodes. Par exemple, au lieu d'utiliser une méthode complexe de « recherche de voisins » pour combler les lacunes, il a parfois choisi une méthode « moyenne » plus simple, car il savait que le super-chef préférait des données simples et lisses.
La Confiance Compte : Il ne s'agit pas seulement d'obtenir la bonne réponse ; il s'agit de savoir à quel point vous êtes sûr. Le nouveau système a rendu le super-chef plus confiant et moins enclin à faire des suppositions folles (meilleure calibration).
Apprendre à Apprendre (Transfert) : C'est une grande victoire. Les auteurs ont entraîné le sous-chef sur un ensemble de données (Ionosphere). Ensuite, ils lui ont donné un nouvel ensemble de données qu'il n'avait jamais vu auparavant. Le sous-chef n'avait pas besoin de repartir de zéro ; il avait juste besoin d'un peu de « réglage fin ». Il a appris plus vite et a mieux performé qu'un chef entraîné à partir de zéro, prouvant que la « compétence » du nettoyage se transfère à travers différents types de données.

5. Le « Réglage Fin » des Outils

Le système a également appris que les paramètres des outils importent.

Imaginez un outil « K-Plus Proches Voisins » qui comble les données manquantes en se basant sur des éléments similaires. L'article a révélé que le « meilleur » nombre d'éléments similaires à examiner change selon l'ensemble de données.
Le nouveau système n'a pas simplement choisi un nombre fixe (comme « regardez toujours 5 voisins »). Il a appris à choisir le nombre parfait (3, 7 ou 10) pour chaque panier spécifique, extrayant un tout petit peu plus de performance à chaque fois.

Résumé

L'article soutient que pour obtenir les meilleurs résultats des modèles d'IA modernes sur des données réelles désordonnées, nous ne pouvons pas simplement utiliser un « kit de nettoyage » générique. Nous avons besoin d'un système intelligent et adaptatif qui apprend à nettoyer les données spécifiquement pour correspondre aux attentes internes du modèle d'IA. En utilisant une « fiche de notes » intelligente qui récompense la performance réelle du modèle d'IA, ce système (L2C2) nettoie mieux les données, rend l'IA plus confiante et peut même être réutilisé sur de nouveaux problèmes avec très peu de travail supplémentaire.

1. Énoncé du problème : Le décalage des priors

L'article aborde une limitation critique dans le déploiement des Modèles Fondamentaux Tabulaires (TFM) tels que TabPFN v2 sur des données réelles.

Le problème central : Les TFM atteignent une précision zero-shot de pointe grâce à un méta-apprentissage sur des processus de génération de données synthétiques. Leur « prior » interne ( $P_{synth}$ ) suppose des entrées approximativement propres, à marges gaussiennes et avec un faible taux de valeurs manquantes.
Le décalage : Les données tabulaires réelles ( $P_{dirty}$ ) contiennent souvent des valeurs manquantes, des valeurs aberrantes, des doublons et des décalages de distribution. Nourrir un TFM avec ces données « sales » crée un décalage de prior.
Conséquences : Ce décalage dégrade à la fois la précision prédictive et l'étalonnage de la confiance (Erreur d'Étalonnage Attendue, ECE).
La pénalité du nombre de lignes : Contrairement aux modèles standards, les TFM reposent sur l'Apprentissage en Contexte (ICL). L'incertitude prédictive de l'ICL évolue en $O(1/\sqrt{n})$ , où $n$ est la taille du contexte (nombre de lignes). Les stratégies de nettoyage agressives (par exemple, supprimer des lignes pour éliminer les valeurs aberrantes) augmentent de manière disproportionnée l'incertitude car elles réduisent la taille du contexte de façon non linéaire. Les cadres de nettoyage existants ne tiennent pas compte de cette pénalité spécifique.
Le défi : Le nettoyage de données est un problème de décision séquentielle (par exemple, imputer avant ou après la suppression des valeurs aberrantes modifie la distribution vue par les opérateurs suivants). Les règles de prétraitement statiques ne peuvent pas anticiper les séquences optimales pour des profils d'erreurs spécifiques.

2. Méthodologie : Le cadre L2C2

Les auteurs introduisent L2C2 (Learn2Clean), un cadre d'Apprentissage par Renforcement (RL) profond qui reformule le nettoyage de données comme un alignement des priors.

A. Formulation du Processus de Décision Markovien (MDP)

État ( $s_t$ ) : Un vecteur à 9 dimensions représentant la qualité actuelle du jeu de données :
- Bloc Qualité (6 dims) : Taux de manquants, distance moyenne de Wasserstein-1 (dérive), asymétrie, kurtose, équilibre des classes et ratio de rétention des lignes.
- Bloc Historique (3 dims) : Drapeaux binaires indiquant si l'imputation, le nettoyage des valeurs aberrantes ou la mise à l'échelle ont déjà été appliqués dans l'épisode.
Action ( $a_t$ ) : Une opération de nettoyage paramétrée issue de trois familles :
- Imputeurs : Moyenne, Médiane, KNN (avec $k$ ajustable).
- Nettoyeurs de valeurs aberrantes : IQR ou score Z (avec seuils ajustables).
- Mise à l'échelle : Min-max, Score Z, Quantile.
Transition : Application déterministe de l'opérateur au jeu de données, suivie d'une réévaluation de l'état.
Horizon : Fixé à $T=6$ étapes par épisode.

B. La suite de fonctions de récompense

Une contribution centrale est l'analyse systématique de la conception des récompenses. Les auteurs ont testé sept fonctions de récompense ( $R1$ – $R7$ ) :

Effondrements triviaux : Les récompenses basées uniquement sur l'exhaustivité ou la distorsion (sans retour d'information sur la tâche en aval) s'effondrent vers des stratégies dégénérées (par exemple, ne rien faire ou supprimer toutes les lignes).
Baselines multi-objectifs : Les récompenses combinant précision (Random Forest), rétention et métriques de qualité ont montré du potentiel mais n'étaient pas conscientes des TFM.
TFMAwareReward ( $R7$ , Proposée) : La nouvelle fonction de récompense conçue spécifiquement pour les TFM :
$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$
- Innovation clé : Le terme de rétention utilise un exposant quadratique ( $\alpha=2$ ). Cela pénalise de manière non linéaire la suppression de lignes, reflétant l'échelle d'incertitude $O(1/\sqrt{n})$ de l'ICL. La perte de 20 % des lignes entraîne une pénalité beaucoup plus importante que ce qu'un modèle linéaire suggérerait.
- Composantes : Elle équilibre la précision de TabPFN v2, la rétention des lignes, la qualité des données (exhaustivité/dédoublonnage) et la dérive de Wasserstein.

C. Architecture

Politique : Réseaux de politiques profonds (PPO, DQN, A2C) implémentés via Stable-Baselines3.
Observateur : Un DataQualityObserver léger calcule le vecteur d'état en quelques millisecondes.
Évaluation : La récompense est calculée en exécutant TabPFN v2 sur un jeu de données retenu (hold-out) des données nettoyées.

3. Contributions clés et expériences

L'article valide L2C2 à travers six expériences sur 10 jeux de données de référence OpenML :

C1 : Taxonomie des récompenses : Il a été démontré que 3 designs de récompenses sur 7 s'effondrent vers des stratégies triviales. Seules les récompenses multi-objectifs incluant la performance de la tâche en aval (spécifiquement la précision TFM) produisent des classements de pipelines significatifs.
C2 : Alignement des priors vs Récompense RF :
- Comparaison des pipelines sélectionnés par une récompense Random Forest (RF) versus la TFMAwareReward proposée.
- Résultat : La TFMAwareReward a sélectionné des pipelines structurellement différents sur 4/10 jeux de données (préférant l'imputation par moyenne/médiane à KNN pour préserver les moments marginaux globaux).
- Performance : L'approche alignée sur le TFM a atteint une précision TabPFN v2 plus élevée dans les cas divergents (Moyenne 0,851 contre 0,843) et n'a jamais été surpassée.
C3 : Récupération de l'étalonnage : Le nettoyage aligné sur les priors a considérablement réduit l'Erreur d'Étalonnage Attendue (ECE) pour tous les types d'erreurs (MCAR, MAR, valeurs aberrantes, doublons), prouvant que le nettoyage améliore la confiance du modèle, pas seulement la précision.
C4 : Sensibilité aux erreurs : L'avantage de précision du nettoyage aligné sur les priors est non monotone par rapport aux taux d'injection d'erreurs. Il dépend de la structure distributionnelle des erreurs plutôt que du simple volume de données manquantes.
C5 : Actions paramétrées : Permettre à la politique d'ajuster les sous-paramètres (par exemple, $k$ de KNN, seuils de valeurs aberrantes) a amélioré la récompense du meilleur pipeline trouvé sur 9/10 jeux de données par rapport à une baseline discrète à paramètres fixes.
C6 : Apprentissage par transfert : Une politique pré-entraînée sur un seul jeu de données source (Ionosphere) et affinée sur des jeux de données retenus (Phoneme, Adult, Bank) a dépassé la performance d'un modèle entraîné à partir de zéro au checkpoint de 2 000 étapes sur les trois cibles. Cela démontre que la « connaissance de l'alignement des priors » est transférable entre domaines.

4. Résumé des résultats

Précision : L2C2 avec TFMAwareReward correspondait systématiquement ou dépassait les meilleures baselines oracles gourmandes.
Étalonnage : Améliorations significatives de l'ECE, en particulier pour l'injection de doublons et les scénarios MAR (Missing At Random).
Efficacité : La politique RL amortise le coût de recherche pour trouver les séquences de nettoyage optimales, se généralisant à de nouveaux jeux de données sans réentraînement à partir de zéro.
Significativité statistique : Les tests de rangs signés de Wilcoxon ont confirmé que les actions paramétrées améliorent significativement les résultats ( $p=0,004$ ) et que la récompense alignée sur le TFM sélectionne des pipelines distincts et supérieurs dans les cas divergents ( $p=0,063$ pour les 4 jeux de données divergents).

5. Importance et impact

Changement de paradigme : Passe le nettoyage de données d'une étape de prétraitement statique et heuristique à un processus de décision appris et séquentiel optimisé pour le prior spécifique du modèle fondamental.
Insight scientifique : Établit que la conception de la récompense est le composant le plus critique dans le nettoyage basé sur le RL ; des récompenses naïves conduisent à des stratégies dégénérées. La TFMAwareReward proposée offre une manière principielle d'équilibrer la précision, la qualité des données et les contraintes uniques de l'apprentissage en contexte.
Utilité pratique : Fournit un cadre aux praticiens pour déployer des TFM sur des données réelles désordonnées sans avoir besoin de grands corpus annotés pour l'affinage, en alignant la distribution d'entrée avec le prior synthétique du modèle.
Open Source : Le code et les jeux de données sont disponibles publiquement, facilitant la recherche ultérieure en IA centrée sur les données et le déploiement de modèles fondamentaux.

En conclusion, l'article soutient que pour les Modèles Fondamentaux Tabulaires, la préparation des données est un outil de premier ordre pour la gestion de l'incertitude, et que l'alignement de la distribution d'entrée avec le prior synthétique du modèle via des politiques RL apprises produit une précision et un étalonnage supérieurs par rapport au prétraitement statique standard.