🤖 machine learning

Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect

Cet article introduit UNIVERSE, un nouveau cadre qui exploite les ensembles de Rashomon pour fournir des bornes robustes sur l'importance des variables en présence de confusion non observée et de multiplicité de modèles, abordant ainsi des limitations critiques de la sélection de caractéristiques et de la génération d'hypothèses standards.

Auteurs originaux : Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Publié 2026-08-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la science des données, les chercheurs tentent souvent de comprendre ce qui motive un résultat spécifique, comme le fait qu'un prêt soit remboursé ou qu'un patient se rétablisse. Pour ce faire, ils construisent des modèles mathématiques qui examinent divers facteurs, ou caractéristiques, tels que le revenu, l'historien de crédit ou l'âge. Une partie standard de ce processus consiste à déterminer quels sont ces facteurs réellement importants. Les scientifiques s'appuient depuis longtemps sur des méthodes qui attribuent un score à chaque caractéristique en fonction de la mesure dans laquelle la performance du modèle chute si cette caractéristique est supprimée ou mélangée. Cela les aide à décider quelles variables collecter à l'avenir et lesquelles ignorer. Cependant, cette approche standard présente une faille cachée : elle suppose généralement que le modèle analysé est le seul qui soit bon. En réalité, de nombreux modèles différents peuvent expliquer les mêmes données aussi bien l'un que l'autre, un phénomène connu sous le nom d'effet Rashomon. De plus, les données du monde réel sont souvent incomplètes ; des informations cruciales, comme le revenu exact d'une personne ou son historique de santé, peuvent être totalement absentes de l'ensemble de données. Lorsque ces pièces manquantes existent, les méthodes standard peuvent produire des conclusions trompeuses, faisant paraître une caractéristique importante alors qu'elle ne l'est pas, ou cachant une caractéristique qui compte réellement.

Une équipe de chercheurs de l'Université Duke et de l'Université Bocconi a développé un nouveau cadre appelé UNIVERSE pour résoudre ces problèmes. Leur travail aborde les doubles défis de l'existence de multiples modèles aussi performants que le meilleur et de la présence de données manquantes qui pourraient fausser les résultats. Au lieu de choisir un seul meilleur modèle et de l'analyser de manière isolée, les chercheurs examinent l'ensemble du groupe de modèles qui performent presque aussi bien que le meilleur. Ils appellent ce groupe un ensemble de Rashomon. En examinant l'ensemble du groupe, ils peuvent voir comment l'importance d'une caractéristique change à travers différents modèles valides. Mais ils vont plus loin. Ils tiennent également compte du fait que certaines variables importantes sont manquantes dans les données. Ils y parviennent en créant un filet de sécurité de bornes mathématiques. Ces bornes agissent comme une plage de valeurs possibles, garantissant que l'importance réelle d'une caractéristique se situe quelque part dans cette plage, même si les chercheurs ne connaissent pas exactement quelles sont les variables manquantes ou quel modèle spécifique est le vrai.

Les chercheurs ont testé leur méthode en utilisant une technique de simulation ingénieuse. Ils ont pris des ensembles de données réels, tels que des dossiers de récidive criminelle, des taux d'abandon universitaire des étudiants et des évaluations de risque de crédit, et ont artificiellement créé un scénario où certaines données étaient cachées. Ils ont divisé les données en groupes et ont entraîné différents modèles sur chaque groupe, créant ainsi une situation où le « vrai » modèle dépendait du groupe auquel une personne appartenait, une information que l'analyse principale ne voyait pas. Ils ont ensuite appliqué leur cadre UNIVERSE pour voir s'il pouvait identifier correctement l'importance des caractéristiques malgré cette information cachée. Les résultats ont été clairs : sans leurs nouveaux ajustements, les méthodes standard échouaient souvent à capturer la véritable importance des variables, surtout lorsque la taille de l'échantillon était grande ou lorsque les données étaient complexes. En revanche, la méthode UNIVERSE produisait systématiquement des plages contenant la bonne réponse. Dans leurs tests, la méthode a réussi à capturer l'importance correcte des variables dans plus de quatre-vingts pour cent des essais, même lorsque les données manquaient de pièces clés.

L'une des démonstrations les plus convaincantes de leur travail impliquait un ensemble de données de risque de crédit utilisé par les banques. Dans ce scénario, un score de risque spécifique appelé l'Estimation du Risque Externe était largement considéré comme un facteur critique pour prédire les défauts de paiement de prêts. L'analyse standard suggérait que ce score était vital. Cependant, lorsque les chercheurs ont appliqué leur cadre UNIVERSE, ils ont découvert que l'importance de ce score n'était pas aussi robuste qu'elle en avait l'air. Ils ont montré que s'il y avait des facteurs non mesurés, comme le revenu d'une personne, qui n'étaient pas inclus dans les données, l'Estimation du Risque Externe pourrait ne pas être nécessaire du tout. Leur analyse a suggéré que d'autres caractéristiques, plus interprétables, pourraient facilement la remplacer. Cette conclusion est significative car elle implique que les banques pourraient s'appuyer sur une métrique complexe et coûteuse qui pourrait être remplacée par des informations plus simples et plus transparentes, menant potentiellement à un meilleur retour d'information pour les demandeurs de prêt.

La force de cette nouvelle approche réside dans sa capacité à gérer l'incertitude sans faire d'hypothèses irréalistes. Les méthodes traditionnelles nécessitent souvent de connaître exactement la distribution des données manquantes ou de supposer un type de relation spécifique entre les variables. Le cadre UNIVERSE n'en a pas besoin. Au lieu de cela, il demande à l'analyste de fournir une estimation raisonnable de la mesure dans laquelle les données manquantes pourraient modifier les résultats. Sur la base de cette estimation, la méthode calcule une plage de valeurs d'importance possibles. Les chercheurs ont prouvé mathématiquement que ces plages sont fiables, ce qui signifie que si l'estimation de l'analyste concernant l'impact des données manquantes est correcte, la véritable importance de la caractéristique se trouvera presque certainement dans les bornes calculées. Ils ont également montré que ces bornes deviennent plus étroites et plus précises à mesure que davantage de données deviennent disponibles, rendant la méthode utile tant pour les petits que pour les grands ensembles de données.

Ce travail représente un changement dans la façon dont les scientifiques pensent l'importance des variables. Plutôt que de chercher une réponse unique et définitive qui dépend d'un modèle spécifique et d'un ensemble de données complet, les chercheurs embrassent la complexité du monde réel. Ils reconnaissent que plusieurs modèles peuvent être corrects et que les données sont souvent incomplètes. En fournissant une méthode qui tient compte de ces réalités, ils offrent un outil qui est plus honnête sur ce que les données peuvent et ne peuvent pas nous dire. Le cadre ne prétend pas trouver le seul vrai modèle ou le seul score d'importance réel. Au lieu de cela, il fournit un intervalle fiable qui capture la vérité, garantissant que les décisions basées sur les données ne soient pas déraillées par des variables cachées ou par l'illusion d'une explication unique et optimale. Cette approche offre une voie vers des conclusions scientifiques plus dignes de confiance et plus robustes dans des domaines allant de la finance aux politiques publiques.

Résumé technique : UNIVERSE – Importance des variables avec confusion non observée et l'effet Rashomon

Énoncé du problème

Les méthodes d'importance des variables (VI) sont des outils standards pour la génération d'hypothèses, la sélection de caractéristiques et la validation scientifique. Cependant, les pipelines de VI standards souffrent de deux limitations critiques qui peuvent conduire à des interprétations trompeuses :

L'effet Rashomon : Plusieurs modèles distincts peuvent expliquer un ensemble de données de manière équivalente. Une caractéristique jugée importante dans un modèle quasi-optimal peut s'avérer non pertinente dans un autre. Bien que des travaux récents aient abordé ce point en analysant l'« ensemble de Rashomon » (l'ensemble de tous les modèles quasi-optimaux), ces méthodes supposent généralement que toutes les variables pertinentes sont observées.
Confusion non observée : Dans les ensembles de données observationnelles, des variables essentielles sont souvent omises. En présence de variables de confusion non observées, l'importance d'une caractéristique estimée sur des données observées peut ne pas refléter sa véritable importance par rapport à la fonction de moyenne conditionnelle sous-jacente.

Les approches existantes concernant la confusion non observée (analyse de sensibilité) reposent souvent sur des hypothèses restrictives (par exemple, la linéarité) qui ne s'appliquent pas aux métriques de VI non linéaires modernes comme SHAP ou l'importance par permutation. Inversement, les méthodes d'ensemble de Rashomon existantes ne tiennent pas compte des variables omises. Ce document traite de l'écart consistant à effectuer une inférence robuste de l'importance des variables en présence à la fois de l'effet Rashomon et de la confusion non observée.

Méthodologie : Le cadre UNIVERSE

Les auteurs introduisent UNIVERSE (UNobservables and Inference for Variable importancE using Rashomon SEts), un cadre qui dérive des bornes sur la véritable importance des variables même lorsque des caractéristiques sont manquantes. L'approche intègre trois sources d'incertitude : l'effet Rashomon, les variables non observées et l'erreur d'échantillonnage fini.

1. Fondement théorique

Le cadre définit la véritable fonction de moyenne conditionnelle $g^*(x, u)$ qui dépend à la fois des covariables observées $X$ et des covariables non observées $U$ . L'objectif est de borner l'importance de la variable $\Phi_j(g^*, P_U)$ pour cette véritable fonction.

La méthode procède en trois étapes logiques :

Étape A : Borner les sous-modèles réels via l'ensemble de Rashomon.
Les auteurs définissent un ensemble de sous-modèles conditionnels $S^* = \{f_u \mid u \in \mathcal{U}\}$ , où chaque $f_u$ est le modèle optimal pour une valeur spécifique de la variable non observée $U$ . Ils prouvent que $S^*$ est un sous-ensemble de l'ensemble de Rashomon de la population $R(\epsilon_{unobs})$ , où $\epsilon_{unobs}$ borne l'espérance de la perte de ces sous-modèles sur les données observées.
Étape B : Correction d'échantillon fini.
Puisque l'ensemble de Rashomon de la population est inobservable, la méthode construit un ensemble de Rashomon empirique $\hat{R}^{(n)}$ . Le Théorème 1 fournit une garantie probabiliste qu'un ensemble de Rashomon empirique ajusté (avec un seuil corrigé pour la taille de l'échantillon fini et le biais de régularisation) contient l'ensemble de Rashomon de la population avec une probabilité élevée. Cela garantit que tous les sous-modèles nécessaires de $S^*$ sont capturés.
Étape C : Prise en compte du changement de distribution (VI-Drift).
Les métriques d'importance des variables dépendent souvent de la distribution d'entrée. L'importance d'une caractéristique dans un sous-modèle $f_u$ évaluée sur la distribution conditionnelle $P_{XY|U=u}$ peut différer de son importance sur la distribution marginale observée $P_{XY}$ . Les auteurs introduisent un paramètre $\tau_j$ (VI-drift) pour borner le décalage maximal de l'importance causé par le conditionnement sur des variables non observées.

2. La borne finale

En combinant ces composantes, le Théorème 3 établit que la véritable importance de la variable $\Phi_j(g^*, P_U)$ se situe dans un intervalle avec une probabilité élevée ( $1 - (\delta + \gamma)$ ) :
$\Phi_j(g^*, P_U) \in \left[ \inf_{f \in \hat{R}} \Phi_j(f, D^{(n)}) - \tau_j - \alpha, \quad \sup_{f \in \hat{R}} \Phi_j(f, D^{(n)}) + \tau_j + \alpha \right]$
Où :

$\hat{R}$ est l'ensemble de Rashomon empirique ajusté.
$\alpha$ rend compte de l'incertitude de l'échantillon fini dans l'estimation de la métrique de VI elle-même.
$\tau_j$ rend compte du changement de distribution dû à la confusion non observée.
Les bornes sont dérivées de la dépendance de sous-modèle soustractive (ou d'autres métriques compatibles) et sont valables pour toute classe de modèles où l'ensemble de Rashomon peut être estimé.

Contributions clés

Premier cadre unifié : UNIVERSE est la première méthode traitant simultanément l'effet Rashomon, la confusion non observée et l'incertitude d'échantillonnage fini dans l'estimation de l'importance des variables.
Garanties théoriques : Le document fournit des bornes rigoureuses d'échantillon fini (Théorèmes 1–3) qui garantissent que la véritable importance de la variable est contenue dans l'intervalle calculé avec une probabilité élevée, même sous confusion non observée.
Généralité : Contra-irement aux cadres d'analyse de sensibilité restreints à des estimands linéaires, UNIVERSE est compatible avec une large classe de métriques de VI agnostiques au modèle (ex: SHAP, importance par permutation, dépendance de modèle).
Mise en œuvre pratique : Les auteurs fournissent une méthode pour estimer la taille de l'ensemble de Rashomon afin de resserrer les bornes et démontrent l'utilité du cadre via une étude de cas sur le risque de crédit.

Résultats expérimentaux

Les auteurs ont évalué UNIVERSE en utilisant des ensembles de données « semi-synthétiques » dérivés de quatre sources réelles (COMPAS, Dropout, FICO, Wine Quality). Dans cette configuration, la variable « non observée » était la partition des données utilisée pour entraîner un sous-modèle spécifique, permettant ainsi aux auteurs de connaître la vérité terrain.

Validation de la couverture : À travers diverses tailles d'échantillons et jeux de données, le cadre a systématiquement atteint les taux de couverture cibles (ex: $\geq 80\%$ ou $\geq 90\%$ ) uniquement lorsque les trois ajustements (incertitude du modèle, incertitude d'estimation de la VI et VI-drift) étaient appliqués.
Nécessité des ajustements : Les expériences ont montré que l'omission des corrections d'échantillon fini ou des ajustements de VI-drift entraînait une sous-couverture sévère, où la véritable importance se situait en dehors des bornes calculées.
Étude de cas (Risque de crédit FICO) : Dans une analyse de la caractéristique « External Risk Estimate » (ERE), UNIVERSE a démontré que l'importance apparente de l'ERE n'était pas robuste à la confusion non observée. Les bornes ont suggéré que d'autres caractéristiques, potentiellement plus interprétables, pourraient remplacer l'ERE si elles capturaient un certain niveau de signal, remettant en question la conclusion selon laquelle l'ERE est indispensable.

Signification et affirmations

Le document affirme que UNIVERSE représente une étape substantielle dans l'utilisation de l'importance des variables dans des contextes complexes et réalistes où les données sont incomplètes. En fournissant des bornes mathématiquement garanties, le cadre permet aux praticiens de :

Distinguer entre les caractéristiques qui sont robustement importantes à travers tous les modèles plausibles et scénarios non observés, et celles dont l'importance est un artefact de variables omises.
Éviter des conclusions erronées tirées d'analyses de modèles uniques ou d'analyses ignorant l'effet Rashomon.
Quantifier le « coût » de la confusion non observée en termes de largeur de l'intervalle d'importance.

Les auteurs notent que bien que la recherche de l'ensemble de Rashom complet puisse être coûteuse en termes de calcul, le cadre est général et applicable à toute classe de modèles où l'ensemble peut être approximé (ex: arbres de décision, forêts aléatoires). Ils reconnaissent que des travaux futurs sont nécessaires pour étendre ces méthodes aux résultats continus et à des classes de modèles plus complexes comme les réseaux de neurones.