🤖 machine learning

GEODE: Angle-Adaptive OOD Detection with Universal Scorer Compatibility

GEODE est une méthode de détection d'OOD préservant la géométrie qui utilise une perte de norme adaptative à l'angle pour reproduire synthétiquement les avantages de calibration des frontières de l'Exposition aux Valeurs Aberrantes, permettant ainsi d'obtenir des performances robustes sur les sept scoreurs standards sans nécessiter de données auxiliaires soigneusement sélectionnées.

Auteurs originaux : Bruno Abrahao

Publié 2026-05-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bruno Abrahao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un gardien de sécurité très intelligent (un programme informatique) entraîné à reconnaître des personnes spécifiques, comme vos amis et votre famille (ces données sont les données « In-Distribution » ou ID). Le problème survient lorsque des inconnus s'approchent de la porte. Certains sont clairement des étrangers venant d'un pays différent (Far-OOD), mais d'autres ressemblent de manière suspecte à vos amis : ils pourraient porter des vêtements similaires ou avoir une coiffure semblable (Near-OOD).

L'objectif de la détection OOD (Out-of-Distribution) est de s'assurer que le gardien peut repérer n'importe qui qui ne figure pas sur la liste approuvée, peu importe son apparence.

Le Problème : L'échec du « Taille Unique »

Pendant longtemps, les chercheurs ont tenté d'entraîner des gardiens à repérer des inconnus en utilisant deux astuces principales :

Le Gardien « Logit » : Il examine le score de confiance interne du gardien. « À quel point suis-je sûr que c'est mon ami ? »
Le Gardien « Caractéristiques » : Il examine la distance physique dans une carte des caractéristiques. « À quelle distance cette personne se trouve-t-elle du groupe de mes amis ? »

L'article souligne un compromis frustrant : si vous entraînez le gardien à être excellent pour vérifier les scores de confiance, il devient souvent terrible pour vérifier les distances physiques, et vice versa. C'est comme entraîner un gardien à devenir expert dans la lecture des cartes d'identité tout en le rendant aveugle aux traits du visage.

L'Ancienne Solution : « Exposition aux Valeurs Aberrantes » (OE)

La meilleure méthode précédente s'appelait Exposition aux Valeurs Aberrantes (Outlier Exposure - OE). Imaginez que vous engagez un formateur pour montrer au gardien des photos d'inconnus aléatoires (comme des personnes venant d'une ville différente) afin qu'il apprenne à quoi ressemble « quelqu'un qui n'est pas mon ami ».

Le Piège : Vous avez besoin d'un album énorme et soigneusement sélectionné de ces photos d'« inconnus ». Si les inconnus que vous leur montrez ne correspondent pas aux inconnus qui se présentent réellement à la porte, l'entraînement échoue.
Le Secret : Les auteurs ont découvert pourquoi l'OE fonctionne. Ce n'est pas parce que le gardien a mémorisé chaque inconnu. C'est parce que l'entraînement a accidentellement poussé les photos d'« inconnus » à se situer juste sur la frontière entre « ami » et « inconnu ». C'est comme peindre une ligne « Ne Pas Franchir » juste au bord de la zone des amis.

La Nouvelle Solution : GEODE

Les auteurs ont créé GEODE (Détection préservant la GÉOmétrie). Au lieu d'avoir besoin d'un véritable album d'inconnus, GEODE crée des faux inconnus à la volée et utilise une règle intelligente et adaptative pour entraîner le gardien.

Voici l'analogie expliquant comment GEODE fonctionne :

1. L'« Inconnu Métamorphe »

Au lieu de simplement montrer au gardien des photos aléatoires, GEODE prend les caractéristiques de vos amis et les mélange (comme si l'on mélangeait les pixels d'un visage). Cela crée un « faux inconnu » qui a une apparence étrange mais qui n'est pas une vraie personne.

2. La « Règle Intelligente » (Norme Adaptative aux Angles)

C'est l'innovation centrale. Imaginez que le gardien possède une règle pour mesurer à quel point une personne est « éloignée » du centre du groupe d'amis.

Ancienne Méthode : « Poussez chaque inconnu jusqu'au bout de l'univers ! » (Cela les rend faciles à repérer par la confiance, mais détruit la carte pour les vérifications basées sur la distance).
Méthode GEODE : « Utilisez une Règle Intelligente. »
- Si un faux inconnu se tient près du groupe d'un ami spécifique (forte similarité), la règle dit : « Restez un peu à distance, mais ne vous éloignez pas trop. » Cela préserve la forme locale de la carte afin que les détecteurs basés sur la distance (comme KNN) continuent de fonctionner.
- Si un faux inconnu se tient loin de tout groupe d'amis (faible similarité), la règle dit : « Courez jusqu'au centre ! » Cela les rend très faciles à repérer par les détecteurs basés sur la confiance.

Cette « Règle Intelligente » ajuste l'objectif d'entraînement pour chaque faux inconnu en fonction de l'endroit où il se tient. C'est comme un instructeur de danse qui dit aux danseurs près du centre de rester proches du groupe, mais qui dit aux danseurs à l'arrière de se déplacer vers l'avant, garantissant que tout le monde reste dans une formation facile à surveiller sous tous les angles.

Pourquoi Cela Compte

Compatibilité Universelle : La plupart des méthodes cassent un type de détecteur pour en réparer un autre. GEODE est le premier à dire : « Je peux rendre le gardien bon à la fois pour lire les scores de confiance et pour vérifier les distances physiques. » Il fonctionne avec les sept méthodes standard de vérification des inconnus sans en faire planter aucune.
Aucune Donnée Supplémentaire Nécessaire : Vous n'avez pas besoin d'aller chercher un ensemble de données d'« inconnus » pour vous entraîner. GEODE crée lui-même le signal d'entraînement en mélangeant les données qu'il possède déjà.
Le Piège de l'« Espace Null » : L'article met en garde contre d'autres méthodes (comme PFS) qui tentent de pousser les inconnus dans un « angle mort » (espace null) où le gardien ne peut pas les voir. Bien que cela rende le gardien excellent pour les scores de confiance, cela le rend complètement aveugle aux vérifications basées sur la distance (comme un gardien qui peut lire des cartes d'identité mais qui est bandé). GEODE évite ce piège en maintenant les « inconnus » visibles aux endroits appropriés.

La Conclusion

GEODE est une nouvelle technique d'entraînement qui apprend à un modèle informatique à repérer des inconnus en créant des faux inconnus intelligents et adaptatifs à la volée. Au lieu de forcer tous les inconnus dans une seule zone « mauvaise », il les place dans un motif géométrique qui maintient les frontières « ami » et « inconnu » claires pour chaque type de méthode de détection.

Il y parvient sans avoir besoin de données supplémentaires et évite l'écueil courant de réparer un problème tout en en cassant un autre. En bref, cela rend le gardien de sécurité robuste, polyvalent et prêt pour tout type d'inconnu qui pourrait se présenter.

Résumé technique : GEODE - Détection OOD adaptative aux angles avec compatibilité universelle des scoreurs

1. Énoncé du problème

La détection hors distribution (OOD) vise à signaler les entrées sur lesquelles un classifieur déployé n'a pas été entraîné. Les approches actuelles font face à une tension fondamentale entre le scoreur post-hoc (appliqué à des modèles figés) et les méthodes basées sur l'entraînement (qui remodelent les caractéristiques ou les logits).

Le compromis : Les méthodes d'entraînement qui améliorent les scoreurs basés sur les logits (par exemple, MSP, Energy) dégradent souvent les scoreurs basés sur l'espace des caractéristiques (par exemple, KNN), et inversement. Aucune méthode existante n'atteint une détection performante sur l'ensemble des scoreurs standards et simultanément dans les régimes OOD proches et OOD lointains.
Limites de l'exposition aux valeurs aberrantes (OE) : Bien que l'OE soit une approche dominante basée sur l'entraînement utilisant de véritables données OOD auxiliaires, elle souffre de deux problèmes :
1. Dépendance au scoreur : Elle présente des compromis où elle est performante sur certains scoreurs mais faible sur d'autres.
2. Dépendance aux données : Elle nécessite des données auxiliaires soigneusement sélectionnées qui doivent correspondre à la véritable distribution OOD au moment du test, une exigence qui est laborieuse et fragile.
L'échec de l'espace nul : Des méthodes récentes comme PFS tentent de pousser les caractéristiques OOD dans l'espace nul du classifieur pour augmenter les scores logits. Cependant, cela détruit de manière catastrophique la géométrie de l'espace des caractéristiques, entraînant un échec de la détection basée sur KNN (performant moins bien que le hasard).

La question centrale abordée est : Quelle propriété géométrique rend l'OE efficace, et peut-elle être répliquée de manière synthétique sans données OOD réelles pour atteindre une compatibilité universelle avec les scoreurs ?

2. Méthodologie : GEODE

Les auteurs proposent GEODE (Détection préservant la géométrie), une méthode basée sur l'entraînement qui synthétise des signaux OOD pour calibrer la frontière de décision tout en préservant la géométrie des caractéristiques.

2.1 Analyse géométrique de l'OE

Grâce à une analyse géométrique dans la couche pénultième d'un backbone entraîné (ResNet-18), les auteurs ont constaté que :

L'OE est une calibration de frontière, pas une couverture : Les caractéristiques de l'OE sont géométriquement indiscernables des véritables données OOD proches. Plus précisément, elles correspondent en termes de rapport de norme, de similarité cosinus maximale avec les moyennes de classe et de projection de sous-espace.
L'effet du quartile : Le « quartile adjacent à la frontière » des données OE (échantillons avec une forte similarité cosinus aux moyennes de classe ID, $>0,85$ ) génère presque tout le gain de performance de l'OE. Les exemples loin de la frontière contribuent peu.
Conclusion : Le mécanisme efficace est la calibration de la région de frontière, et non la couverture de tout l'espace OOD.

2.2 Le mécanisme GEODE

GEODE réplique cette calibration de manière synthétique en utilisant un mélange de caractéristiques (permutation des dimensions au sein d'un lot) et une fonction de perte de norme adaptative aux angles.

Génération synthétique OOD : Au lieu d'utiliser des données auxiliaires, GEODE crée des caractéristiques OOD synthétiques ( $h_{ood}$ ) en permutant indépendamment les dimensions des caractéristiques au sein d'un lot de caractéristiques ID. Cela brise les corrélations inter-dimensionnelles tout en préservant les statistiques marginales.
Cible adaptative aux angles : L'innovation centrale est une norme cible $t$ $t$ qui s'échelonne par échantillon en fonction de la similarité cosinus ( $s$ $s$ ) de la caractéristique synthétique à la moyenne de classe la plus proche ( $\mu_c$ $μ_{c}$ ) :
$s = \max_c \cos(h_{ood}, \mu_c)$
$t = s^2 \cdot \alpha \cdot r_{id}$
Où $r_{id}$ $r_{i d}$ est la norme moyenne des caractéristiques ID et $\alpha$ $α$ est un paramètre de relâchement.
- Près des moyennes de classe ( $s \approx 1$ ) : La norme cible est grande ( $t \approx \alpha \cdot r_{id}$ ). Cela préserve la géométrie locale des caractéristiques requise par les scoreurs basés sur la distance comme KNN.
- Loin des classes ( $s \approx 0$ ) : La norme cible est petite ( $t \approx 0$ ). Cela pousse les caractéristiques vers l'origine, affinant la séparation pour les scoreurs basés sur les logits comme MSP et Energy.
Marge contrastive ID : Pour élargir la marge des deux côtés, un terme contrastif encourage les caractéristiques ID à avoir des normes légèrement supérieures à $r_{id}$ (pénalisant les caractéristiques ID uniquement lorsque $\|h\| < r_{id}$ ).
Fonction de perte : La perte totale combine l'entropie croisée, la pénalité de norme OOD adaptative et la marge contrastive ID.

2.3 Justification théorique

La conception est fondée sur la théorie de l'effondrement neuronal (NC), où les moyennes de classe convergent vers un cadre serré équiangulaire simplexe (ETF).

Théorème 1 : Les caractéristiques mélangées se concentrent autour de la moyenne globale, justifiant la nécessité d'un ciblage adaptatif basé sur les angles individuels des échantillons.
Théorèmes 2 et 3 : La cible adaptative préserve les distances paires locales près des frontières de classe (crucial pour KNN) mieux qu'une pénalité de norme uniforme.
Théorème 4 : Pousser les caractéristiques OOD dans l'espace nul (comme le fait PFS) élimine la variation de distance conditionnelle à la classe, provoquant l'échec de KNN. GEODE évite cela en maintenant les caractéristiques OOD dans le sous-espace du classifieur.

3. Contributions clés

Cadre géométrique : L'article fournit la première caractérisation géométrique de la raison pour laquelle l'OE fonctionne (calibration de frontière) et diagnostique l'échec catastrophique des méthodes d'espace nul (PFS) sur KNN.
Conception de la méthode : GEODE introduit une fonction de perte de norme adaptative aux angles qui synthétise des signaux OOD sans données auxiliaires, préservant la géométrie requise pour les scoreurs basés sur les logits et ceux basés sur l'espace des caractéristiques.
Universalité empirique : GEODE atteint un AUROC compétitif sur les sept scoreurs standards (MSP, Energy, ODIN, ReAct, Scale, ASH, KNN) sur CIFAR-10 et CIFAR-100, sans échec catastrophique sur aucun scoreur unique.
Composabilité : GEODE est orthogonal à l'OE. Leur combinaison produit des résultats de l'état de l'art (par exemple, 95,0 MSP / 94,8 KNN sur CIFAR-10), surpassant l'OE seule sur chaque scoreur.

4. Résultats expérimentaux

Évalué sur les benchmarks OpenOOD v1.5 (CIFAR-10, CIFAR-100, ImageNet-200) utilisant ResNet-18 et WRN-28-10 :

CIFAR-10 (OOD proche) : GEODE atteint 92,30 AUROC (EBO) et varie de 89,0 à 92,3 sur les sept scoreurs. Il évite l'« échec catastrophique » observé dans d'autres méthodes (par exemple, PFS fait chuter KNN à 14,38 ; GEODE maintient 89,04, un compromis délibéré de 1,6 point pour des gains logit massifs).
CIFAR-100 : GEODE surpasse la CE vanilla à nombre d'époques égal et bat l'OE sur les trois scoreurs (MSP, Energy, KNN) lorsqu'ils sont combinés.
ImageNet-200 : GEODE ne présente aucun échec catastrophique sur les scoreurs (plage 77,93–83,48), whereas LogitNorm échoue de manière catastrophique sur Energy (29,67) et ReAct (26,53).
Dynamiques d'entraînement : GEODE surpasse la CE vanilla à mesure que l'entraînement progresse (jusqu'à 400 époques), bénéficiant de la convergence de l'effondrement neuronal. En revanche, LogitNorm se dégrade avec un entraînement plus long car il interfère avec la convergence NC.

5. Importance et affirmations

L'article affirme que GEODE résout le compromis de longue date entre la détection OOD basée sur les logits et celle basée sur l'espace des caractéristiques. En reconnaissant que la détection OOD efficace repose sur une calibration de frontière plutôt que sur une couverture complète de l'espace OOD, GEODE synthétise un signal d'entraînement qui respecte le lieu géométrique de la frontière de décision.

Compatibilité universelle : Contrairement aux méthodes précédentes qui optimisent pour une famille spécifique de scoreurs au détriment des autres, GEODE fonctionne sur tous les scoreurs standards sans échec catastrophique.
Efficacité des données : Il atteint ces résultats sans nécessiter de jeux de données OOD auxiliaires soigneusement sélectionnés, comptant plutôt sur le mélange synthétique de caractéristiques.
Alignement théorique : La méthode est conçue pour être compatible avec la convergence naturelle de l'effondrement neuronal, contrairement aux méthodes modifiant les logits qui perturbent cette convergence.

Les auteurs notent modestement des limites : le composant de marge contrastive ne se généralise pas bien à CIFAR-100 (en raison de la géométrie ETF fragile des 100 classes), et GEODE n'améliore pas le ViT-B/16 vanilla sur les petits jeux de données (probablement dû à la normalisation de couche effaçant les variations de norme et au fait que le modèle n'atteint pas le régime NC). Des travaux futurs sont suggérés pour des variantes compatibles avec les Transformers et des benchmarks à plus grande échelle.