📊 statistics

Hide&Seek: Learning to Explain in an End-to-End Differentiable Network

Cet article présente Hide&Seek, un cadre entièrement différentiable pour la sélection de caractéristiques par instance qui apprend conjointement la sélection de caractéristiques et la prédiction sans fuite d'informations en reformulant le retrait de caractéristiques en une opération différentiable et en stabilisant l'entraînement par un recuit du poids de parcimonie.

Auteurs originaux : Tal Ellinson, Hadi Mohasel Afshar, Sally Cripps

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tal Ellinson, Hadi Mohasel Afshar, Sally Cripps

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde moderne, on demande de plus en plus aux ordinateurs de prendre des décisions qui affectent la vie humaine, de l'approbation de prêts au diagnostic de maladies. Ces systèmes, souvent appelés modèles de « boîte noire », sont puissants car ils peuvent trouver des motifs complexes dans de vastes quantités de données, mais ils sont également opaques. Ils peuvent nous donner la réponse, mais ils expliquent rarement comment ils y sont parvenus. Pour faire confiance à ces systèmes, les scientifiques et les décideurs politiques doivent comprendre quels éléments spécifiques d'information l'ordinateur s'est appuyés pour prendre sa décision. C'est le domaine de la sélection de caractéristiques : l'art d'identifier les variables les plus importantes dans un ensemble de données. Alors que les premières méthodes cherchaient des caractéristiques importantes pour l'ensemble d'un groupe de personnes, une approche plus récente et nécessaire se concentre sur les cas individuels. Une caractéristique qui compte pour un patient peut être non pertinente pour un autre, tout comme un symptôme spécifique peut signaler une crise cardiaque chez une personne, mais être un signe d'anxiété chez une autre. Le défi a été de construire un système capable de décider dynamiquement, pour chaque individu, quels faits sont réellement pertinents sans perdre en précision ou se tromper lui-même.

Des chercheurs de l'Université de technologie de Sydney ont développé une nouvelle méthode appelée Hide&Seek pour résoudre ce problème. Leur travail aborde une faille subtile mais critique trouvée dans les tentatives précédentes visant à apprendre aux ordinateurs à s'expliquer. Dans les systèmes antérieurs, l'ordinateur essayait d'expliquer une décision en retirant temporairement certaines pièces d'information de l'entrée, un peu comme si l'on couvrait certaines parties d'une photographie pour voir si l'image fait toujours sens. Si l'ordinateur pouvait toujours deviner le résultat correctement après qu'une information a été couverte, cette pièce était jugée sans importance. Cependant, les chercheurs ont découvert que ces systèmes apprenaient souvent à utiliser le motif spécifique du « masque » lui-même. Par exemple, si une donnée était toujours remplacée par un zéro lorsqu'elle était considérée comme sans importance, l'ordinateur apprenait que voir un zéro signifiait une situation spécifique, utilisant ainsi l'absence de données comme un code secret pour faire sa prédiction. Cela signifiait que le système n'identifiait pas réellement les caractéristiques importantes ; il se contentait de mémoriser les règles de son propre jeu.

Pour corriger cela, l'équipe de Hide&Seek a repensé la manière dont l'ordinateur gère l'information manquante. Au lieu de remplacer une caractéristique supprimée par une valeur fixe comme zéro, ils la remplacent par une valeur aléatoire tirée de la distribution naturelle de cette donnée. Imaginez un système essayant de prédire le prix des maisons. S'il retire la caractéristique « nombre de chambres », les méthodes précédentes pourraient remplacer celle-ci par zéro, ce qui est un signal évident que la donnée est manquante. Hide&Seek, cependant, la remplace par un nombre aléatoire qui ressemble à un nombre plausible de chambres trouvé dans la vie réelle. Cela rend impossible pour l'ordinateur de faire la différence entre un vrai nombre de chambres et un nombre remplacé, le forçant à se fier uniquement aux caractéristiques qu'il a choisi de conserver. Cette approche empêche le système d'exploiter les lacunes des données comme un raccourci.

Les chercheurs ont également introduit une stratégie d'entraînement qui modifie les priorités de l'ordinateur au fil du temps. Au début du processus d'apprentissage, le système reçoit l'ordre de se concentrer entièrement sur l'exactitude de la prédiction, même s'il utilise de nombreuses caractéristiques. À mesure que l'entraînement progresse, le système est progressivement encouragé à utiliser moins de caractéristiques, apprenant à être plus efficace et précis. Cette approche en deux étapes aide l'ordinateur à éviter de rester bloqué dans une mauvaise solution où il dépendrait de trop de détails inutiles. Le résultat est un modèle non seulement plus rapide à entraîner que ses prédécesseurs, mais aussi plus précis dans l'identification des véritables moteurs d'une décision.

Lorsqu'il a été testé sur une variété de scénarios, allant de données synthétiques conçues pour tromper le système à des dossiers de cartes de crédit et des données médicales réelles, Hide&Seek a systématiquement surpassé les méthodes existantes. Dans des expériences impliquant des caractéristiques de « commutation » (switch features) — des variables qui changent les règles du jeu selon leur valeur, comme la température déterminant si un magasin vend du chocolat chaud ou du thé glacé — les anciennes méthodes échouaient à identifier la commutation comme importante environ la moitié du temps. Elles étaient trompées par le motif des données manquantes. Hide&Seek, en revanche, a correctement identifié ces commutations critiques presque à chaque fois. Le système s'est également montré robuste face à des données hautement corrélées, où de nombreuses variables évoluent ensemble, une situation qui confond souvent les autres algorithmes. Dans des tests utilisant des images de chiffres manuscrits, la méthode a réussi à mettre en évidence les traits spécifiques qui distinguent un trois d'un huit, là où les autres méthodes produisaient des résultats éparpillés et incohérents.

Les implications de ce travail vont au-delà de la simple création de meilleurs algorithmes. En garantissant que les explications fournies par ces systèmes sont authentiques et ne sont pas le résultat de raccourcis cachés, Hide&Seek offre un moyen plus fiable de regarder à l'intérieur de la boîte noire. Cela est crucial pour des domaines tels que la médecine et la finance, où comprendre le « pourquoi » derrière une décision est aussi important que la décision elle-même. Les chercheurs ont démontré qu'en changeant la façon dont l'information est masquée pendant le processus d'apprentissage, ils pouvaient empêcher l'ordinateur d'apprendre à manipuler le système. Cela permet une interaction plus honnête et transparente entre les décideurs humains et les outils d'intelligence artificielle sur lesquels ils comptent, garantissant que les raisons données pour une prédiction sont basées sur les données réelles, et non sur les artefacts de la méthode utilisée pour l'analyse.

Résumé technique : Hide&Seek : Apprendre à expliquer dans un réseau entièrement différentiable

Énoncé du problème

La sélection de caractéristiques par instance (IWFS - Instance-wise Feature Selection) est un outil critique pour interpréter les données étiquetées et expliquer les prédictions des modèles de type boîte noire. Contra-rément à la sélection globale de caractéristiques, qui identifie les caractéristiques importantes sur l'ensemble d'un jeu de données, l'IWFS identifie dynamiquement les caractéristiques importantes pour chaque instance spécifique (par exemple, un patient ou un étudiant particulier).

Les méthodes de pointe existantes (telles que L2X, INVASE et REAL-x) emploient généralement un cadre sélecteur-prédicteur. Dans cette configuration, un réseau sélecteur identifie un sous-ensemble de caractéristiques importantes, et un réseau prédicteur utilise ce sous-ensemble pour effectuer des prédictions. Cependant, ces méthodes pionnières sont confrontées à deux défis majeurs :

Fuite d'information (Information Leakage) : Dans les modèles entraînés conjointement, lorsque les caractéristiques non sélectionnées sont remplacées par une valeur d'ablation fixe (par exemple, zéro), le prédicteur peut apprendre à exploiter ce motif d'ablation spécifique comme un signal plutôt que de se reposer uniquement sur les valeurs des caractéristiques sélectionnées. Cela est particulièrement problématique pour les « caractéristiques de commutation » (switch features), où la partition induite par une caractéristique (par exemple, la température étant au-dessus ou en dessous d'un seuil) détermine la réponse, plutôt que la valeur exacte. Le modèle peut encoder la partition via le masque d'ablation, ce qui conduit à une identification erronée des caractéristiques importantes.
Différentiabilité et efficacité de l'entraînement : La sélection discrète de caractéristiques est non différentiable. Les méthodes comme L2X utilisent des relaxations Gumbel-Softmax, qui nécessitent souvent de spécifier à l'avance le nombre de caractéristiques. D'autres, comme INVASE, utilisent l'apprentissage par renforcement (acteur-critique) pour contourner la non-différentiabilité, ce qui entraîne des temps d'entraînement lents. REAL-x utilise des gradients REBAR mais nécessite un entraînement disjoint du prédicteur, ce qui n'est pas entièrement différentiable et peine face à la croissance exponentielle des sous-ensembles de caractéristiques possibles.

Méthodologie : Hide&Seek

Les auteurs proposent Hide&Seek, un modèle entièrement différentiable pour la sélection de caractéristiques par instance qui entraîne conjointement un sélecteur et un prédicteur sous un objectif unique tout en empêchant la fuite d'information.

Architecture centrale

Le modèle se compose de deux modules de réseaux de neurones à propagation avant (feed-forward) :

Hide (Sélecteur) : Prend un vecteur d'entrée $x$ et produit un vecteur de masque continu $m \in [0, 1]^d$ , représentant l'importance de chaque caractéristique.
Seek (Prédicteur) : Prend un vecteur d'entrée modifié $z$ et produit l'étiquette prédite $\hat{y}$ .

Innovations clés

Remplacement de caractéristiques différentiable : Au lieu de supprimer discrètement les caractéristiques (ce qui est non différentiable), Hide&Seek construit l'entrée du prédicteur comme une combinaison linéaire du signal original et d'une valeur de remplacement stochastique :
$z_j = m_j x_j + (1 - m_j) \hat{x}_j$
Ici, $m_j$ est un poids continu appris par le réseau. Cela permet une différentiabilité de bout en bout sans échantillonnage discret.
Prévention de la fuite d'information via l'échantillonnage marginal : Pour empêcher le prédicteur d'exploiter le motif d'ablation, Hide&Seek ne remplace pas les caractéristiques non sélectionnées par une valeur fixe (comme 0). À la place, il les remplace par des tirages aléatoires de la distribution marginale des caractéristiques ( $\hat{x} \sim \prod p(X_i)$ ). Cela garantit que le signal modifié $z$ est distribué selon la distribution originale des caractéristiques, rendant impossible pour le prédicteur de distinguer les caractéristiques originales des caractéristiques remplacées sur la base de la valeur de remplacement elle-même.
Recuit de la parcimonie (Parsimony-Weight Annealing) : Pour stabiliser l'entraînement conjoint du sélecteur et du prédicteur, les auteurs introduisent un programme de recuit pour le paramètre de régularisation de la parcimonie $\lambda$ . Le poids sur le terme de parcimonie (encourageant moins de caractéristiques) est augmenté de manière quadratique au cours des éches d'entraînement ( $\lambda_t = (t/T)^2 \lambda_{max}$ ). Cela permet au modèle de donner la priorité à la précision prédictive lors des premières étapes de l'entraînement et de se concentrer sur la parcimonie des caractéristiques lors des étapes ultérieures, évitant ainsi les mauvais minima locaux.

Optimisation

Le modèle minimise une fonction de perte combinant l'entropie croisée (précision de la prédiction) et une norme $L_1$ sur le masque (parcimonie) :
$\ell = \mathbb{E}[-\log p_\theta(Y|Z)] + \lambda_t \frac{1}{d} \|m\|_1$
L'analyse théorique dans l'article démontre que les fonctions de perte standard basées sur l'ablation peuvent être des proxys mal posés pour l'objectif visé, menant à une identification erronée des caractéristiques. L'approche de Hide&Seek par échantillonnage marginal prévient théoriquement cette fuite.

Contributions clés

Nouveau cadre de bout en bout : Introduction de Hide&Seek, qui entraîne conjointement un sélecteur et un prédicteur de manière entièrement différentiable, éliminant le besoin d'échantillonnage discret ou de phases d'entraînement disjointes.
Atténuation de la fuite d'information : Un mécanisme qui remplace les caractéristiques non sélectionnées par des tirages aléatoires de la distribution des caractéristiques plutôt que par des valeurs fixes, empêchant efficacement le prédicteur d'utiliser les motifs d'ablation comme canaux d'information.
Stabilisation de l'entraînement : Le développement d'un programme de recuit du poids de parcimonie qui améliore considérablement les performances en équilibrant la précision prédictive et la parcimonie tout au long du processus d'entraînement.
Analyse théorique : Une preuve formelle montrant que les objectifs standards basés sur l'ablation peuvent conduire à une fuite d'information, dérivant spécifiquement une borne inférieure sur le taux de mauvaise identification pour les caractéristiques de commutation.

Résultats expérimentaux

Hide&Seek a été évalué par rapport à huit références (incluant INVASE, REAL-x, L2X, SHAP, LIME, Random Forest et LASSO) à travers cinq configurations expérimentales :

Données synthétiques : Sur six jeux de données synthétiques (comprenant des caractéristiques de commutation), Hide&Seek a obtenu des taux de vrais positifs (TPR) supérieurs et des taux de faux positifs (FDR) plus faibles par rapport à tous les autres modèles. Il a correctement identifié les caractéristiques de commutation (où la partition importe) avec une précision médiane de 100 %, alors que les méthodes concurrentes comme INVASE et L2X peinaient (environ 50-58 % de précision) en raison de la fuite d'information.
Données corrélées : Dans des configurations avec une multicolinéarité élevée ( $\rho$ jusqu'à 0,9), Hide&Seek a systématiquement surpassé les autres modèles en termes de métriques de sélection de caractéristiques (score F1) et a maintenu une précision de commutation élevée (> 99,4 %).
Données de défaut de crédit : En utilisant une configuration semi-synthétique sur des données de crédit réelles, Hide&Seek a démontré des capacités de sélection de caractéristiques robustes et une puissance prédictive (AUROC) compétitive par rapport à INVASE et REAL-x.
MNIST : En classification d'images, Hide&Seek a réussi à identifier les patchs de pixels pertinents (par exemple, les arcs gauches distinguant les 3 des 8) de manière plus cohérente que LIME, SHAP et INVASE.
Classification de sous-types de cancer du sein : Appliqué aux données de microarrays TCGA, Hide&Seek a identifié des gènes biologiquement pertinents (ESR1 et CCNB2) comme les principales caractéristiques, s'alignant sur la littérature établie et surpassant les autres méthodes dans le classement d'importance.

Efficacité : Hide&Seek est nettement plus rapide à entraîner que INVASE (environ 1 minute contre 1 heure 18 minutes sur des données synthétiques) et comparable à L2X, malgré un nombre de paramètres inférieur (environ 3k contre 100k pour INVASE).

Signification et affirmations

L'article affirme que Hide&Seek représente une avancée significative dans l'IA explicable (XAI) en résolvant la tension entre l'efficacité de l'entraînement conjoint et la prévention de la fuite d'information. Les auteurs soutiennent qu'en reformulant la suppression de caractéristiques comme une opération différentiable impliquant un remplacement distributionnel plutôt qu'une ablation discrète, ils préservent les avantages de l'entraînement conjoint sélecteur-prédicteur sans introduire de canaux d'information artificiels.

Le travail souligne que les objectifs d'entraînement standards pour les modèles basés sur l'ablation peuvent être mal posés, conduisant à des comportements indésirables où les modèles omettent des caractéristiques réellement importantes pour minimiser la perte. Hide&Seek fournit une solution robuste qui maintient une haute performance prédictive tout en garantissant que les explications d'importance des caractéristiques ne sont pas des artefacts du processus d'entraînement. Les auteurs positionnent ce travail comme une étape vers une interprétation plus transparente et fiable des modèles de boîte noire, particulièrement dans des domaines à enjeux élevés comme la santé et la finance.