🤖 machine learning

In-Context Density Estimation for Tabular Data

Ce document présente ICED, un estimateur de densité d'énergie en contexte basé sur un transformer et préentraîné sur un a priori synthétique, qui réalise l'estimation de densité, la détection de hors-distribution, la détection d'anomalies et l'augmentation générative à travers divers ensembles de données tabulaires en une seule passe directe sans nécessiter de réentraînement, de réglage d'hyperparamètres ou d'étiquettes.

Auteurs originaux : Patryk Marszałek, Jacek Tabor, Marek Śmieja

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Patryk Marszałek, Jacek Tabor, Marek Śmieja

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de comprendre une nouvelle ville. Autrefois, si vous vouliez savoir où les foules se rassemblent habituellement, où se trouvent les parcs tranquilles ou où se cachent les ruelles dangereuses, vous deviez embaucher une équipe de cartographes différente pour chaque quartier. Chaque équipe passait des semaines à étudier un seul pâté de maisons, dessinait sa propre carte, puis rangeait ses affaires pour passer au suivant. C'était lent, coûteux et nécessitait un ensemble d'outils différent pour chaque tâche.

Dans le monde de l'informatique, plus précisément dans le domaine de l'apprentissage automatique (machine learning), c'est exactement ainsi que nous gérions auparavant les données tabulaires — le type de données qui ressemblent à un tableur avec des lignes et des colonnes. L'objectif est l'estimation de la densité : déterminer où se trouve la « masse de probabilité ». Voyez cela comme une carte de la façon dont les zones sont encombrées. Si vous savez où les données sont denses, vous pouvez repérer les anomalies bizarres (outliers), trouver ce qui n'a pas sa place (détection hors distribution) ou même inventer de nouvelles données réalistes (augmentation de données) pour aider à entraîner d'autres ordinateurs. Pendant des années, la règle était : « Un ensemble de données, un modèle personnalisé entraîné ». Mais et si vous pouviez construire un guide super intelligent qui apprend la compétence de la cartographie, plutôt que de simplement mémoriser une carte spécifique ?

C'est ici qu'un nouvel article présente ICED (In-Context Energy-based Density estimator). Les chercheurs, de l'Université Jagellonienne en Pologne, ont construit un modèle d'IA unique et figé qui agit comme un guide urbain universel. Au lieu de réentraîner un nouveau modèle pour chaque nouveau tableur, ICED lit les données que vous lui donnez comme un « contexte » et vous indique instantanément si un point spécifique est « dense » ou encombré. Il fait cela sans avoir besoin d'apprendre, de régler ou d'ajuster quoi que ce soit pour les nouvelles données. C'est comme avoir un guide qui a étudié des millions de villes différentes pendant son entraînement et qui peut maintenant entrer dans une ville totalement nouvelle, observer les rues, et immédiatement pointer du doigt les places animées et les coins vides et suspects d'un seul coup d'œil.

Le Problème : L'approche du « Taille unique, convient à personne »

Pendant longtemps, si vous vouliez trouver une aiguille dans une botte de foin (une anomalie) ou générer du nouveau foin (augmentation de données), vous deviez construire une machine personnalisée pour cette botte de foin spécifique. Vous nourrissiez la machine avec des données, vous ajustiez ses boutons (hyperparamètres) et vous espériez qu'elle apprenne la forme de cette pile particulière. Si vous obteniez une nouvelle botte de foin de forme différente, vous deviez tout recommencer.

L'article soutient que cela est inefficace. Alors que d'autres domaines comme le traitement du langage ont évolué vers des « modèles de fondation » — de gigantesques cerveaux d'IA qui apprennent des règles générales et peuvent être appliqués instantanément à de nouvelles tâches — l'estimation de la densité des données tabulaires est restée bloquée dans l'ancienne méthode. Même les « modèles de fondation » existants pour les tableaux résolvent généralement un problème spécifique, comme classer si un e-mail est un spam ou prédire le prix d'une maison. Ils ne vous donnent pas la carte sous-jacente de là où vivent les données.

La Solution : Un créateur de cartes universel

Les auteurs ont créé ICED, un modèle basé sur un Transformer (la même architecture que derrière de nombreux chatbots d'IA modernes). Voici comment il fonctionne, en utilisant une analogie ludique :

Imaginez que vous formez un détective. Au lieu de lui montrer une seule scène de crime et de lui demander de la résoudre, vous lui montrez des millions de scènes de crime différentes, toutes avec les réponses écrites dans les marges. Vous lui apprenez à reconnaître des motifs : « Oh, quand les fenêtres sont brisées et que le sol est mouillé, le suspect est probablement ici ».

ICED a été entraîné sur un prior synthétique. Cela signifie que les chercheurs ne se sont pas contentés de le nourrir de données réelles ; ils ont construit un univers de données artificielles massif. Ils ont créé des millions de jeux de données fictifs avec toutes sortes de formes étranges : certains étaient lisses et ronds (Gaussien), d'autres avaient de longues queues lourdes (heavy-tailed), d'autres étaient tordus en courbes complexes (flux), et d'autres encore avaient des types d'informations mixtes (comme des nombres et des catégories). Crucialement, parce qu'ils ont fabriqué ces données, ils connaissaient la « véritable densité » exacte de chaque point.

Le modèle a appris à regarder un jeu de données (le contexte) et un point spécifique (la requête) et à prédire une énergie. Dans cet article, « énergie » est simplement un mot sophistiqué pour « densité non normalisée ». Pensez à cela comme une carte de relief : une énergie élevée signifie une zone encombrée, sûre et typique ; une énergie basse signifie une zone solitaire, suspecte ou vide. Le modèle n'a pas besoin de calculer l'aire totale exacte de la ville (ce qui est mathématiquement impossible à faire parfaitement) ; il doit simplement savoir quels endroits sont plus élevés que d'autres.

Ce que ICED peut faire (sans transpirer)

Une fois entraîné, ICED est figé. Il ne change jamais. Vous pouvez ensuite utiliser ce modèle unique et immuable pour accomplir quatre tâches très différentes, tout à la fois, sans réentraînement :

Estimation de la densité : Il vous dit à quel point un point de donnée est typique.
Détection d'anomalies : Il repère les éléments bizarres. Si un point a une énergie très faible (il se trouve dans une « vallée » loin de la foule), ICED le signale comme une anomalie.
Détection hors distribution (OOD) : Il vous dit si une nouvelle donnée n'appartient pas du tout au groupe.
Augmentation de données : Il peut générer de nouveaux points de données fictifs qui ressemblent à des données réelles. Pour cela, il suit le « gradient d'énergie » (comme un randonneur montant vers les zones les plus fréquentées) pour créer de nouveaux échantillons qui correspondent au motif.

Les Résultats : Rapide, Précis et Universel

Les chercheurs ont testé ICED contre une longue liste d'autres méthodes, allant des statistiques classiques aux modèles d'apprentissage profond modernes.

Vitesse : Comme ICED n'a pas besoin de s'entraîner sur les nouvelles données, il est incroyablement rapide. L'article note qu'il est environ 50 fois plus rapide que certains des autres modèles avancés (comme TabPFN) car il fait tout en une seule passe directe (forward pass). C'est comme prendre une photo d'une ville plutôt que de passer des semaines à la dessiner à la main.
Précision : Sur des tests synthétiques où ils connaissaient la vérité terrain, ICED était systématiquement le meilleur ou le deuxième meilleur pour classer les points correctement. Il ne s'est pas contenté de deviner ; il a compris la forme des données.
Robustesse : C'est la partie la plus impressionnante. Lorsque les données de « contexte » étaient contaminées par du bruit (c'est-à-dire que les données d'entraînement contenaient elles-mêmes des points erronés), de nombreux autres modèles ont échoué. Leurs performances ont chuté de manière significative. ICED, cependant, est resté dans les trois premiers. Il a été construit pour gérer des données désordonnées, à queues lourdes et bruitées pendant son entraînement, donc il ne panique pas quand le monde réel devient chaotique.
Génération de données : Lorsqu'il est utilisé pour créer des données fictives afin d'entraîner d'autres classificateurs, ICED a performé aussi bien que les meilleurs outils spécialisés (comme TabEBM), et les a souvent battus.

Le Bémol (et l'Avenir)

L'article est honnête sur ses limites. ICED vous donne une carte « relative ». Il peut vous dire que le Point A est plus encombré que le Point B, mais il ne vous donne pas un nombre de probabilité parfaitement normalisé (comme « il y a 45,2 % de chances que cela arrive ») sans une étape supplémentaire. De plus, comme il regarde l'ensemble du jeu de données à la fois, si votre jeu de données est massif, cela pourrait devenir un peu lent, bien que les auteurs suggèrent que cela puisse être géré.

Les auteurs ne prétendent pas avoir résolu tous les problèmes de l'univers. Ils suggèrent qu'ICED est une étape puissante vers le traitement de l'estimation de la densité comme d'un primitif réutilisable. Tout comme nous ne construisons plus un nouveau moteur pour chaque voiture, nous pourrions bientôt cesser de construire un nouveau modèle de densité pour chaque tableur. Nous pourrons simplement utiliser le guide universel, ICED, pour naviguer dans n'importe quel paysage de données que nous lui présenterons.

En bref, ICED est un outil de type « apprendre une fois, utiliser pour toujours » qui transforme le processus complexe et lent de la cartographie des données en un simple regard instantané. Il prouve que vous n'avez pas besoin de réinventer la roue pour chaque nouveau jeu de données ; vous avez juste besoin d'une roue qui sait rouler sur n'importe quel terrain.

Énoncé du Problème
L'estimation de densité est une tâche non supervisée fondamentale pour les données tabulaires, sous-tendant des applications telles que la détection d'anomalies, la détection de hors-distribution (OOD) et l'augmentation de données. Bien qu'elles partagent une base probabiliste commune — déterminer où se situe la masse de probabilité — ces tâches sont actuellement traitées de manière isolée. Les praticiens doivent généralement ajuster un modèle distinct pour chaque jeu de données et chaque tâche, ce qui nécessite des réglages d'hyperparamètres, des boucles d'optimisation et souvent une réingénierie spécifiques à chaque objectif. Ce paradigme par jeu de données contraste nettement avec l'approche des « modèles de fondation » dans le langage naturel et la vision par ordinateur, où de grands modèles acquièrent des capacités générales lors du pré-entraînement et s'adaptent à de nouvelles tâches via le conditionnement. Bien que les réseaux de type Prior-Fitted Networks (PFN) aient étendu avec succès ce paradigme à l'apprentissage supervisé tabulaire (par exemple, la classification et la régression), l'estimation de densité reste largement confinée à des méthodes d'ajustement par jeu de données comme l'estimation de la densité par noyau (KDE), les modèles de mélange gaussien (GMM) et les modèles de vraisemblance profonds. Les approches in-context existantes pour les tâches non supervisées produisent souvent des sorties spécifiques à la tâche (par exemple, des assignations de clusters ou des scores d'anomalie) plutôt que la densité sous-jacente, ou récupèrent la densité de manière inefficace comme un sous-produit de modèles supervisés.

Méthodologie : ICED
Les auteurs introduisent ICED (In-Context Energy-based Density estimator), un modèle basé sur un transformateur conçu pour apprendre l'algorithme d'estimation de densité lui-même plutôt que d'ajuster un modèle à chaque nouveau jeu de données.

Architecture et Apprentissage In-Context : ICED suit le paradigme des PFN. Il s'agit d'un transformateur pré-entraîné une seule fois sur un a priori synthétique. Lors de l'inférence, il reçoit un jeu de données inédit $D$ comme contexte et un ensemble de points de requête $Q$ . Il prédit l'énergie (log-densité non normalisée) pour chaque point de requête en une seule passe avant (forward pass), sans mise à jour de gradient, échantillonnage ou sélection d'hyperparamètres.
Formulation de l'Énergie : Au lieu de prédire une densité de probabilité normalisée, ICED prédit une fonction d'énergie $f_\theta(q | D) \approx \log p(q) + c_D$ , où $c_D$ est une constante additive dépendante du jeu de données. Cette formulation contourne la fonction de partition intraçable tout en préservant l'ordre relatif des points, ce qui est suffisant pour le classement, la détection et la génération basée sur le gradient.
A Priori de Pré-entraînement Synthétique : Le modèle est entraîné sur un a priori synthétique diversifié construit pour imiter les complexités du monde réel tout en fournissant les log-densités exactes de vérité terrain. L'a priori comprend :
- Mélanges de Base : Des mélanges gaussiens et à queues lourdes (Student-t, Laplace, Cauchy) avec des paramètres aléatoires.
- Déformation Non Linéaire : Des flux de normalisation inversibles (RealNVP et un flux segmenté personnalisé) appliqués aux mélanges de base pour créer des supports courbes et multimodaux.
- Types Mixtes : Des caractives catégorielles ajoutées de manière aléatoire pour gérer les données de types mixtes.
- Perturbations : Les points de requête sont perturbés (via du bruit gaussien, du Mixup ou du CutMix) pour régulariser le paysage énergétique dans les régions hors-distribution (OOD).
Objectif d'Entraînement : La fonction de perte combine deux termes pour répondre aux défis spécifiques de l'estimation de densité :
1. Perte de Régression ( $L_{reg}$ ) : Une erreur quadratique pour les requêtes dans les régions de haute densité (en distribution) et une pénalité unilatérale pour les requêtes de faible densité (OOD) afin de borner la queue de distribution sans imposer de valeurs exactes sur les valeurs aberrantes.
2. Perte de Classement ( $L_{rank}$ ) : Une perte de marge par paire qui pénalise l'ordre incorrect des points de requête. Cela garantit que le modèle capture la structure de densité relative, ce qui est crucial pour la détection d'anomalies et de hors-distribution (OOD), même si les valeurs d'énergie absolues sont imparfaites.

Principales Contributions

Premier Modèle de Fondation In-Context pour la Densité Tabulaire : ICED étend le paradigme des PFN de la prédiction supervisée à la modélisation probabiliste non supervisée, apprenant l'algorithme d'estimation de densité lui-même.
A Priori Synthétique et Objectif Spécialisés : Les auteurs conçoivent un a priori de pré-entraînement couvrant des distributions multimodales, à queues lourdes et de types mixtes, couplé à une perte hybride de régression-classement qui concentre la capacité du modèle sur les régions informatives tout en préservant l'ordre global.
Capacité Multi-Tâche Unifiée : Un seul modèle ICED gelé pilote quatre tâches traditionnellement distinctes : l'estimation de densité, la détection de hors-distribution (OOD), la détection d'anomalies non supervisée et l'augmentation de données générative, ne nécessitant aucun ré-entraînement ni adaptation spécifique à la tâche.

Résultats Expérimentaux
Les auteurs évaluent ICED à travers quatre domaines, en comparant ICED aux estimateurs classiques (KDE, GMM), aux modèles de densité profonds (MAF, RealNVP, VAE) et à d'autres modèles de fondation tabulaire (TabPFN, TabICL, TabEBM).

Estimation de Densité : Sur des distributions synthétiques en réserve, ICED atteint une précision de classement par paire compétitive ou supérieure par rapport aux méthodes spécialisées. Contra�irement aux modèles autoregressifs in-context (par exemple, TabPFN) qui sont lents en raison de la génération séquentielle de caractéristiques, ICED produit des densités conjointes en une seule passe avant, ce qui le rend environ 50 fois plus rapide que TabPFN et comparable aux bases les plus rapides.
Détection de Hors-Distribution (OOD) : Sur le benchmark ADBench avec des contextes propres, ICED atteint un AUROC moyen de 88,3, se classant troisième parmi 26 méthodes et surpassant les estimateurs de densité profonds spécialisés ainsi que TabPFN.
Détection d'Anomalies Non Supervisée : Dans les configurations où le contexte est contaminé par des anomalies, ICED maintient sa robustesse, atteignant un AUROC moyen de 76,7. Il reste dans le top trois tant dans les contextes propres que contaminés, alors que les méthodes excellant sur les données propres (comme GMM et TabICL) subissent des chutes de performance significatives lorsque le contexte est bruité.
Augmentation de Données : En utilisant la Dynamique de Langevin par Gradient Stochastique (SGLD) sur la surface d'énergie apprise, ICED génère des données synthétiques qui améliorent la précision de la classification en aval. Il égale les performances de TabEBM (72,8 % contre 73,0 % de précision) et surpasse la ligne de base vanilla et les autres augmentateurs génératifs, malgré l'utilisation du même modèle gelé pour toutes les autres tâches.

Signification et Revendications
Le papier positionne ICED comme une étape vers le traitement de l'estimation de densité comme un primitif réutilisable et amorti pour les données tabulaires, de la même manière que les PFN ont remodelé l'apprentissage supervisé. La principale signification réside dans l'élimination de la boucle d'optimisation par jeu de données. ICED démontre qu'un seul modèle gelé peut gérer efficacement diverses tâches non supervisées sans ré-entraînement, ni réglage, ni étiquettes. Les auteurs affirment qu'en modélisant une énergie non normalisée et en s'entraînant avec un objectif qui équilibre la précision locale et l'ordre global, ils atteignent un niveau de polyvalence et d'efficacité auparavant inatteignable dans l'estimation de densité tabulaire.

Le Problème : L'approche du « Taille unique, convient à personne »

La Solution : Un créateur de cartes universel

Ce que ICED peut faire (sans transpirer)

Les Résultats : Rapide, Précis et Universel

Le Bémol (et l'Avenir)

Articles similaires