🤖 machine learning

An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection

Cet article propose un nouveau cadre de la théorie de l'information pour la construction de caractéristiques de détection hors distribution en optimisant une fonctionnelle de perte qui combine la divergence KL pour la séparation des distributions et le principe du goulot d'étranglement de l'information, aboutissant à une nouvelle fonction de mise en forme supérieure qui surpasse les méthodes existantes sur divers benchmarks.

Auteurs originaux : Sudeepta Mondal (Mary), Xinyi (Mary), Xie, Alex Wong, Ganesh Sundaramoorthi

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sudeepta Mondal (Mary), Xinyi (Mary), Xie, Alex Wong, Ganesh Sundaramoorthi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître différents types d'animaux. Vous lui montrez des milliers de photos de chats, de chiens et d'oiseaux, et il apprend à dire : « C'est un chat ! » avec une grande assurance. Mais que se passe-t-il si vous montrez soudainement au robot la photo d'un grille-pain ou d'un nuage ? Comme le robot n'a jamais vu ces choses, il pourrait quand même crier avec assurance : « C'est un chat ! » parce qu'il essaie de forcer la nouvelle image dans une catégorie qu'il connaît déjà. C'est un gros problème pour la sécurité de l'IA. Nous avons besoin d'un moyen pour que le robot puisse dire : « Attendez, je ne sais pas ce que c'est », au lieu de deviner de travers. C'est le défi de la détection « hors distribution » (OOD) : comprendre quand les données sont totalement nouvelles et différentes de celles sur lesquelles l'IA a été entraînée.

Pour résoudre cela, les scientifiques regardent souvent les « caractéristiques » (features) que l'IA utilise pour prendre des décisions. Considérez ces caractéristiques comme les notes internes ou les croquis que le robot fait de l'image avant de donner une réponse. Certains chercheurs ont essayé de modifier ces notes en utilisant des règles fixes, comme « si un nombre est trop grand, réduisez-le ». Mais ces règles ne sont souvent que des suppositions basées sur ce qui a fonctionné dans des tests spécifiques, et elles pourraient échouer lorsque le robot voit quelque chose de vraiment étrange. La grande question est : pouvons-nous trouver une règle mathématique qui nous dise exactement comment ajuster ces notes pour n'importe quel type de nouvelles données, pas seulement pour les exemples spécifiques que nous avons vus auparavant ?

Cet article introduit une nouvelle façon de penser ce problème en utilisant un mélange de mathématiques et de théorie de l'information. Les auteurs proposent une théorie qui traite l'ajustement de ces notes internes non pas comme une règle fixe, mais comme un processus aléatoire et flexible. Ils utilisent une « fonction de perte » mathématique (une fiche de score pour évaluer les performances de l'IA) qui tente de faire deux choses à la fois : premièrement, elle pousse les notes des nouvelles données étranges aussi loin que possible des notes des données familières ; et deuxièmement, elle utilise un concept appelé « goulot d'étranglement de l'information » (Information Bottleneck) pour s'assurer que les notes ne deviennent pas trop désordonnées ou ne perdent pas les détails importants nécessaires pour repérer les éléments bizarres.

En effectuant des simulations avec différentes hypothèses sur ce à quoi ressemblent les données « étranges » (comme supposer qu'elles suivent une courbe en cloche ou qu'elles ont des queues épaisses), les auteurs ont découvert que la meilleure façon d'ajuster les notes change selon le type de bizarrerie. Par exemple, si les données étranges sont très bruitées, le meilleur ajustement ressemble à un « écrêtage » (couper les valeurs extrêmes), ce qui explique pourquoi certaines méthodes existantes fonctionnent. Si les données étranges présentent des valeurs aberrantes rares et extrêmes, le meilleur ajustement ressemble à une « mise à zéro » des petites valeurs.

Sur la base de ces découvertes, les auteurs suggèrent un nouvel outil flexible appelé « fonction linéaire par morceaux » (Piecewise Linear Function ou PLF). Vous pouvez voir cela comme un filtre intelligent et ajustable qui peut courber et façonner les notes internes de l'IA de la manière la plus appropriée pour repérer de nouvelles données, peu importe le type de nouvelles données rencontrées. Lorsqu'ils ont testé ce nouveau filtre sur une grande variété de tests standards, incluant des distorsions d'images complexes et de nouvelles catégories de données, il a obtenu de meilleurs résultats que presque toutes les autres méthodes actuellement disponibles. En fait, dans une comparaison massive de 21 méthodes de détection, leur nouvelle approche s'est classée dans les trois premiers sur l'ensemble des tests, suggérant qu'il s'agit d'une solution beaucoup plus fiable et générale pour forcer l'IA à rester honnête lorsqu'elle est confrontée à l'inconnu.

*** RÉSUMÉ TECHNIQUE ***
Résumé technique : Un cadre informationnel pour la construction de caractéristiques dans la détection hors distribution

Énoncé du problème
Les systèmes d'apprentissage automatique échouent souvent lorsqu'ils rencontrent des données hors distribution (OOD - out-of-distribution), produisant des prédictions incorrectes avec un haut degré de confiance. Bien qu'il existe de nombreuses méthodes de détection OOD post-hoc, celles-ci sont largement basées sur des approches empiriques et fondées sur des règles (par exemple, ReAct, FS-OPT, VRA, ASH) qui manquent d'un fondement théorique unifié. Par conséquent, ces méthodes peinent souvent à se généraliser à travers différents jeux de données et types de décalages distributionnels (sémantiques et de covariables). Il est nécessaire d'établir un cadre théorique capable de dériver des caractéristiques OOD basées sur des hypothèses statistiques sous-jacentes, d'expliquer les propriétés des méthodes existantes et de générer systématiquement de nouvelles caractéristiques plus robustes.

Méthodologie
Les auteurs proposent un nouveau cadre informationnel qui formule la construction de caractéristiques OOD comme un problème d'optimisation variationnelle.

Formulation de caractéristiques aléatoires : Contrairement aux fonctions de mise en forme déterministes existantes, les auteurs modélisent les caractéristiques OOD ( $\tilde{Z}$ ) comme des variables aléatoires dérivées des caractéristiques du réseau ( $Z$ ) via une distribution conditionnelle $p(\tilde{z}|z)$ . La moyenne de cette distribution correspond aux fonctions de mise en forme déterministes présentes dans la littérature.
Fonctionnelle de perte : L'optimisation recherche une distribution conditionnelle qui minimise une fonctionnelle de perte composite $L$ $L$ :
- Terme de divergence KL : Maximise la séparation entre les distributions de caractéristiques ID (en distribution) et OOD en utilisant la divergence de Kullback-Leibler symétrisée.
- Régularisation par goulot d'étranglement informationnel (IB - Information Bottleneck) : Minimise l'information mutuelle entre la caractéristique d'entrée $Z$ et la caractéristique OOD $\tilde{Z}$ , tout en maximisant l'information mutuelle entre $\tilde{Z}$ et l'étiquette OOD $Y$ . Cela garantit que la caractéristique est compressée tout en conservant l'information spécifiquement pertinente pour la détection OOD, filtrant ainsi les variations superflues.
Optimisation : Puisque le problème est défini sur un espace de dimension infinie de mesures de probabilité, les auteurs utilisent le calcul des variations pour dériver les gradients. Ils supposent une indépendance élément par élément et une gaussianité pour la distribution conditionnelle $p(\tilde{z}|z) \sim \mathcal{N}(\mu(z), \sigma_c(z))$ , permettant un algorithme de descente de gradient calculablement faisable pour résoudre la moyenne optimale $\mu(z)$ et l'écart-type $\sigma_c(z)$ .
Analyse distributionnelle : Le cadre analyse les caractéristiques optimales sous diverses hypothèses de distributions OOD (Gaussienne, Laplacienne et une variante de l'Inverse Gaussienne proposée). L'étude révèle que différentes hypothèses de distribution mènent à des comportements de mise en forme distincts :
- OOD Gaussienne : Produit des caractéristiques avec des pentes positives pour les petites valeurs et des pentes négatives (ou un écrêtage) pour les valeurs élevées, selon le poids de la régularisation IB.
- OOD à queue lourde (Laplacienne/Inverse Gaussienne) : Produit des caractéristiques qui suppriment les petites valeurs (les annulant) et écrêtent les valeurs élevées, avec des régions linéaires pour les valeurs intermédiaires.
Fonction de mise en forme proposée (PLF) : Motivés par l'observation que les formes optimales à travers différentes distributions peuvent être approximées par des fonctions linéaires par morceaux, les auteurs introduisent une Fonction Linéaire par Morceaux (PLF - Piecewise Linear Function). Cette fonction à 7 paramètres est paramétrée à l'aide des quantiles des magnitudes des caractéristiques en distribution afin d'assurer l'adaptabilité à travers les architectures et les jeux de données.

Contributions clés

Cadre théorique : Introduction d'une fonctionnelle de perte variationnelle et informationnelle qui dérive les caractéristiques OOD comme des variables aléatoires, unifiant la séparation des distributions avec la compression de l'information.
Explication théorique des méthodes existantes : Le cadre démontre que les méthodes existantes de pointe (SoA) basées sur des règles (par exemple, ReAct, VRA, ASH) correspondent implicitement à des hypothèses de distribution OOD et des intensités de régularisation spécifiques. Par exemple, l'écrêtage est lié à une régularisation IB élevée, tandis que la suppression des petites valeurs est liée aux hypothèses de distribution à queue lourde.
Nouvelle fonction de mise en forme (PLF) : Dérivation d'une nouvelle fonction de mise en forme linéaire par morceaux, motivée par la théorie, qui généralise les propriétés des méthodes existantes sans s'engager a priori dans une seule hypothèse de distribution.
Paramétrage par quantiles : Une nouvelle formulation des points de rupture de la PLF utilisant des quantiles empiriques, permettant à la méthode de se généraliser à travers différents plages de caractéristiques sans augmenter le nombre de paramètres.

Résultats
Les auteurs valident la méthode PLF par rapport aux détecteurs OOD post-hoc de l'état de l'art (SoA) sur des benchmarks étendus :

Décalages sémantiques : Sur le benchmark OpenOOD (couvrant CIFAR-10, CIFAR-100, ImageNet-200 et ImageNet-1K), la PLF se classe dans le top trois de tous les 21 méthodes évaluées à travers tous les jeux de données et architectures. Elle obtient le meilleur classement global sur le benchmark exigeant ImageNet-1K et surpasse systématiquement les autres méthodes de mise en forme de caractéristiques (Energy, ReAct, VRA-P, FS-OPT).
Décalages de covariables : Sur le dataset BROAD et les benchmarks de décalage de covariables d'OpenOOD (incluant ImageNet-C, ImageNet-R, ImageNet-V2 et les attaques adverses comme AutoAttack et PGD), la PLF obtient l'AUROC moyen le plus élevé parmi les méthodes de mise en forme de caractéristiques et se classe deuxième au total parmi les 21 méthodes. Elle démontre une robustesse à travers divers décalages où d'autres méthodes se spécialisent souvent dans un sous-ensemble uniquement. Notamment, ce travail présente le premier benchmarking complet des détecteurs OOD post-hoc sur les décalages de covariables spécifiquement au sein du cadre OpenOOD.
Efficacité : Le coût d'inférence est comparable aux méthodes linéaires par morceaux existantes (microsecondes par image sur un GPU A100).

Signification
Le papier prétend fournir le premier cadre théorique général pour la construction de caractéristiques OOD basées sur des distributions statistiques. Sa signification réside dans le passage au-delà des heuristiques empiriques basées sur des règles pour une approche fondée sur des principes qui explique pourquoi les méthodes existantes fonctionnent et comment en construire de meilleures. En démontrant qu'une fonction de mise en forme unique, dérivée de la théorie (PLF), peut surpasser des méthodes spécialisées à la fois pour les décalages sémantiques et de covariables, ce travail suggère qu'une stratégie de mise en forme de caractéristiques agnostique à la distribution et unifiée est réalisable. Les auteurs notent que ceci est le premier benchmarking complet des détecteurs OOD post-hoc sur les décalages de covariables au sein du cadre OpenOOD, soulignant les capacités de généralisation étendue de la méthode. Les travaux futurs identifiés consistent à explorer la distribution complète des caractéristiques aléatoires (pas seulement la moyenne), intégrer les fonctions de score dans la théorie, et étendre la méthode aux fonctions de mise en forme vectorielles générales.

Articles similaires