📊 statistics

Order-Agnostic Autoregressive Modelling with Missing Data

Ce papier présente les modèles autorégressifs agnostiques à l'ordre et conscients des valeurs manquantes (MO-ARM), un cadre qui réinterprète les modèles autorégressifs agnostiques à l'ordre à travers le prisme des données manquantes afin de permettre une imputation robuste sous des mécanismes de valeurs manquantes généraux et de faciliter l'acquisition active d'informations, surpassant de manière constante les références existantes sur des benchmarks réels.

Auteurs originaux : Ignacio Peis, Pablo M. Olmos, Jes Frellsen

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ignacio Peis, Pablo M. Olmos, Jes Frellsen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un gigantesque puzzle, mais que quelqu'un a arraché la moitié des pièces. Dans le monde réel, cela arrive tout le temps : un capteur tombe en panne, un patient oublie de remplir un formulaire, ou un fichier est corrompu. Habituellement, les ordinateurs peinent avec ces « pièces manquantes ». Ils soit devinent à l'aveugle, soit jettent les données incomplètes, soit se perdent quant à l'image que le puzzle est censé former.

Ce papier introduit une nouvelle façon pour les ordinateurs de gérer les pièces de puzzle manquantes grâce à une méthode appelée MO-ARM. Voici comment cela fonctionne, expliqué par de simples analogies.

1. L'Ancienne Méthode : Le Problème de l'« Ordre Strict »

Les modèles d'IA traditionnels qui tentent de comprendre les données sont comme un chef très rigide qui insiste pour faire un sandwich dans un ordre bien précis : pain, puis fromage, puis jambon, puis pain. Si vous donnez au chef une assiette avec seulement le jambon et la deuxième tranche de pain, il panique. Il ne peut pas faire le sandwich car la règle « pain d'abord » est brisée.

En termes techniques, ce sont des Modèles Autoregressifs. Ils prédisent la prochaine pièce de données en se basant sur celles qui la précèdent, mais ils sont bloqués dans un ordre unique et fixe. Si des données manquent au milieu, la chaîne se brise.

2. La Nouvelle Idée : Le Chef « Indifférent à l'Ordre »

Les auteurs ont examiné un type de modèle plus récent appelé Modèles Autoregressifs Indifférents à l'Ordre (OA-ARM). Imaginez un chef qui se fiche de l'ordre. Il peut commencer par le jambon, puis ajouter le fromage, puis le pain, ou commencer par le pain, puis le jambon, puis le fromage. Il peut construire le sandwich dans n'importe quel ordre aléatoire qu'il souhaite.

Le papier fait une découverte brillante : Lorsque vous entraînez ce chef « indifférent à l'ordre » sur un sandwich complet (sans pièces manquantes), il apprend accidentellement à combler parfaitement les pièces manquantes.

Pourquoi ? Parce que pendant l'entraînement, le chef est constamment invité à prédire une pièce aléatoire (comme le jambon) en se basant sur les autres pièces actuellement sur la table (peut-être juste le pain). C'est exactement le même exercice mental que de combler une pièce de puzzle manquante. Le papier prouve que ce processus d'entraînement est mathématiquement identique à s'entraîner avec des données « Manquantes Complètement au Hasard ». Ainsi, même si vous n'entraînez que sur des données parfaites, le modèle devient un expert pour deviner ce qui manque.

3. La Mise à Niveau : MO-ARM (Le Chef « Conscient des Manques »)

Les auteurs ne se sont pas arrêtés là. Ils ont réalisé que dans le monde réel, les données manquantes ne sont pas toujours aléatoires. Parfois, les données manquent à cause de leur propre valeur (par exemple, un thermomètre tombe en panne spécifiquement lorsqu'il fait trop chaud). Cela s'appelle « Manquant Pas au Hasard » (MNAR).

Ils ont construit MO-ARM, qui ajoute une deuxième couche d'intelligence :

Le Chef : Construit toujours le sandwich dans n'importe quel ordre.
Le Détective : Une nouvelle partie du modèle qui demande : « Pourquoi cette pièce manque-t-elle ? »

Si le modèle apprend que les pièces manquent parce qu'elles sont « trop chaudes », il ajuste ses prédictions en conséquence. Cela permet à MO-ARM de gérer beaucoup mieux les données manquantes complexes et non aléatoires que les méthodes précédentes.

4. Le Super-Pouvoir : Le « Détective Curieux »

L'une des caractéristiques les plus cool de MO-ARM est sa capacité à décider quoi demander ensuite.

Imaginez que vous êtes un médecin essayant de diagnostiquer un patient, mais que vous ne pouvez vous permettre de faire que quelques tests. Vous ne voulez pas faire un test au hasard ; vous voulez celui qui vous en apprend le plus.

MO-ARM agit comme un détective super curieux. Il examine les données que vous avez et calcule : « Si je connaissais la valeur de cette variable manquante spécifique, combien cela améliorerait-il ma confiance dans la réponse finale ? »
Il choisit ensuite cette variable spécifique à « acquérir » en premier.
Il procède étape par étape, collectant efficacement les informations les plus précieuses pour faire une prédiction, plutôt que de deviner à l'aveugle.

5. Est-ce que ça marche ?

Les auteurs ont testé cela sur deux types de puzzles très différents :

Données Tabulaires : Comme des feuilles de calcul avec des nombres et des catégories (par exemple, données de cartes de crédit, dossiers médicaux). MO-ARM a constamment mieux rempli les nombres manquants que les autres modèles d'IA de premier plan.
Images : Comme une photo d'un visage où la moitié des pixels est noircie. MO-ARM a pu « inpainter » (remplir) les parties manquantes du visage, préservant l'identité et la structure de la personne mieux que les autres méthodes, même lorsque 98 % de l'image manquait.

Résumé

En bref, ce papier prend un modèle d'IA flexible capable d'apprendre dans n'importe quel ordre, réalise que cette flexibilité en fait un expert naturel pour deviner les données manquantes, puis le met à niveau pour comprendre pourquoi les données manquent. Le résultat est un système capable de :

Combler les blancs dans des ensembles de données désordonnés et incomplets mieux que quiconque.
Décider quelles questions poser ensuite pour obtenir les informations les plus utiles avec le moins d'effort.

Il transforme une IA rigide et dépendante de l'ordre en un outil flexible et détective pour raisonner dans l'incertitude.

Résumé Technique : Modélisation Autoregressive Agnostique à l'Ordre avec Données Manquantes

Énoncé du Problème

Les systèmes d'apprentissage réels fonctionnent fréquemment dans des conditions d'observabilité partielle, où des caractéristiques sont manquantes en raison de pannes de capteurs, de coûts d'acquisition ou de contraintes de confidentialité. Des systèmes efficaces dans ces domaines doivent relever trois défis fondamentaux : (i) apprendre à partir de données incomplètes, (ii) imputer les valeurs manquantes au moment de l'inférence, et (iii) décider quelles variables non observées acquérir lorsque les observations sont coûteuses (Acquisition Active de Caractéristiques).

Bien que les modèles génératifs profonds offrent théoriquement une approche unifiée en modélisant la distribution conjointe complète, les méthodes existantes présentent des limitations significatives. Les Autoencodeurs Variationnels (VAE) reposent sur une inférence approximative, limitant la précision conditionnelle. Les Réseaux Antagonistes Génératifs (GAN) manquent souvent de vraisemblances traitables et de densités conditionnelles fondées sur des principes. Les modèles de diffusion, bien qu'ils produisent des échantillons de haute qualité, nécessitent des chaînes d'échantillonnage itératives et peinent à se conditionner précisément sur des sous-ensembles arbitraires de variables observées. Les Modèles Autoregressifs (ARM) classiques fournissent des vraisemblances traitables mais reposent sur un ordre de génération fixe, empêchant le conditionnement sur des sous-ensembles arbitraires de variables.

Méthodologie : MO-ARM

Les auteurs introduisent les Modèles Autoregressifs Agnostiques à l'Ordre Sensibles aux Données Manquantes (MO-ARM), un cadre qui réinterprète les Modèles Autoregressifs Agnostiques à l'Ordre (OA-ARM) à travers le prisme des données manquantes.

1. Insight Théorique : OA-ARM et MCAR

L'article établit d'abord un lien théorique entre l'entraînement standard des OA-ARM et l'imputation Manquante Complètement au Hasard (MCAR). Les OA-ARM sont entraînés sur des permutations aléatoires de variables, traitant efficacement l'ordre de génération comme une variable latente. Les auteurs démontrent que l'objectif d'entraînement standard, qui implique de prédire une variable à partir d'un sous-ensemble aléatoire de variables précédemment révélées, simule implicitement un processus de corruption MCAR. Par conséquent, les OA-ARM entraînés uniquement sur des données entièrement observées se généralisent naturellement aux tâches d'imputation sous des mécanismes MCAR sans modification.

2. Le Cadre MO-ARM

S'appuyant sur cet insight, les auteurs proposent un cadre fondé sur des principes pour entraîner des OA-ARM directement sur des ensembles de données incomplets sous des mécanismes de manquance généraux (couvrant MCAR jusqu'au Manquant Non Au Hasard, ou MNAR).

Formulation Probabiliste : Le modèle factorise la distribution conjointe des données observées ( $x_{z_o}$ ), des données manquantes ( $x_{z_m}$ ) et du masque de manquance ( $z_o$ ) comme suit :
$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$
Ici, $p_\theta$ représente le modèle génératif (un OA-ARM), et $p_\phi$ est un mécanisme de manquance appris.
Objectif d'Entraînement : Le modèle maximise la vraisemblance logarithique des données observées en utilisant une borne inférieure variationnelle (ELBO).
- Pour MCAR, le terme de manquance est indépendant des données et peut être omis.
- Pour MNAR, le modèle apprend explicitement le processus de manquance $p_\phi$ en utilisant un modèle de Bernoulli élémentaire paramétré par un réseau de neurones. Cela permet au modèle de prendre en compte les dépendances entre la manquance et les valeurs non observées.
Stratégie d'Imputation :
- MCAR : L'imputation est réalisée en marginalisant sur les trajectoires de dévoilement possibles des variables manquantes à l'aide d'un échantillonnage de Monte Carlo.
- MNAR : Le modèle utilise un pondération par importance auto-normalisée. Les échantillons complétés sont repondérés en fonction de la vraisemblance du masque observé sous le modèle de manquance appris $p_\phi$ , garantissant que les complétions cohérentes avec le motif de manquance observé sont priorisées.

3. Acquisition Active d'Information

MO-ARM exploite son estimation amortie de densité conditionnelle pour réaliser l'Acquisition Active de Caractéristiques (AFA). En estimant l'information mutuelle conditionnelle $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ entre une variable cible $x_\Phi$ et une caractéristique candidate $x_{z_i}$ étant données les observations actuelles, le modèle peut sélectionner séquentiellement les variables manquantes les plus informatives à acquérir, maximisant ainsi les performances prédictives en aval.

Contributions Clés

Réinterprétation des OA-ARM : L'article démontre que l'entraînement standard des OA-ARM réalise implicitement une imputation MCAR, expliquant leurs performances robustes hors échantillon dans des contextes de données manquantes.
Entraînement Fondé sur des Principes sur Données Incomplètes : Les auteurs introduisent le premier cadre permettant d'entraîner des OA-ARM directement sur des ensembles de données incomplets sous des mécanismes de manquance généraux (MCAR et MNAR) tout en préservant les vraisemblances exactes et en permettant un échantillonnage conditionnel efficace.
Cadre Unifié pour l'Imputation et l'Acquisition : Le modèle unifie l'imputation de données manquantes et l'acquisition active d'information, utilisant les mêmes distributions conditionnelles amorties pour les deux tâches.
Validation Empirique : Le MO-ARM proposé est évalué sur des benchmarks réels, incluant des données tabulaires (ensembles de données UCI) et de l'inpainting d'images (CelebA-HQ).

Résultats Expérimentaux

Les auteurs évaluent MO-ARM par rapport à des références établies, notamment MIWAE, not-MIWAE (pour MNAR), VAEAC, DiffPuter, et des méthodes classiques comme MissForest et MICE.

Imputation Tabulaire : Sur sept ensembles de données UCI avec des types de caractéristiques variés (continus et catégoriels), MO-ARM surpasse systématiquement les références génératives établies sous les mécanismes de manquance MCAR et MNAR. Notamment, sous MNAR, MO-ARM surpasse not-MIWAE, l'autre seule référence explicitement conçue pour ce mécanisme.
Inpainting d'Images : Sur l'ensemble de données CelebA-HQ, MO-ARM démontre des performances supérieures dans la préservation de l'identité et de la structure grossière par rapport à RePaint (une référence basée sur la diffusion), obtenant des scores PSNR plus élevés, en particulier lorsque le pourcentage de manquance augmente (jusqu'à 98 %).
Acquisition Active : Dans les tâches d'acquisition séquentielle de caractéristiques, MO-ARM égale ou dépasse les références dans la réduction de l'erreur de prédiction à mesure que davantage de caractéristiques sont acquises, démontrant l'utilité de ses distributions conditionnelles pour la prise de décision.

Signification et Revendications

L'article revendique que MO-ARM constitue un outil puissant et précédemment sous-estimé pour le raisonnement dans des conditions de données incomplètes. Les auteurs soutiennent que les modèles autoregressifs agnostiques à l'ordre offrent une alternative pratique et fondée sur des principes aux approches basées sur des variables latentes (VAE) et sur la diffusion pour les problèmes de données manquantes. Les avantages clés mis en évidence incluent :

Vraisemblances Traitables : Contrairement aux GAN ou aux VAE approximatifs, les MO-ARM fournissent des vraisemblances exactes.
Conditionnement Arbitraire : Contrairement aux ARM classiques, ils prennent en charge le conditionnement sur des sous-ensembles arbitraires de variables observées.
Efficacité : Ils peuvent être interrogés à plusieurs reprises au fur et à mesure que les observations sont révélées, soutenant la prise de décision séquentielle sans nécessiter les longues chaînes d'échantillonnage itératives requises par les modèles de diffusion.

Les auteurs reconnaissent des limitations, notant que la génération exacte reste coûteuse dans des contextes de haute dimension (bien que mitigée par le dévoilement bloqué) et que les performances se dégradent lorsque le contexte observé devient extrêmement épars. Ils notent également que, bien que le cadre s'étende au MNAR, ce régime reste plus difficile que MCAR et mérite une étude plus approfondie.