🤖 AI

A Robust Out-of-Distribution Detection Framework via Synergistic Smoothing

Ce papier présente ROSS, un cadre robuste de détection post-hoc hors distribution qui exploite le lissage médian pour quantifier l'instabilité locale des scores, permettant ainsi d'atteindre une robustesse symétrique de pointe contre les attaques adverses visant à minimiser ou à maximiser les scores.

Auteurs originaux : Maria Stoica, Abdelrahman Hekal, Alessio Lomuscio

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maria Stoica, Abdelrahman Hekal, Alessio Lomuscio

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un gardien de sécurité très intelligent (une IA) posté à la porte d'un club. Ce gardien est excellent pour reconnaître les membres réguliers (données In-Distribution) et sait généralement quand les laisser entrer. Cependant, le gardien présente un défaut dangereux : si un étranger (données Out-of-Distribution) porte un déguisement convaincant ou trompe le gardien avec un type spécifique de bruit, le gardien pourrait les laisser entrer avec confiance, pensant qu'il s'agit d'un membre. C'est un risque de sécurité.

L'article présente un nouveau système appelé ROSS (Robust OOD Detector via Synergistic Smoothing) pour corriger cela. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le Gardien « Capricieux »

Les gardiens de sécurité actuels (les détecteurs d'IA) sont souvent « directionnels ».

Certains gardiens sont entraînés à s'inquiéter si quelqu'un a l'air trop parfait. Si un faussaire fait en sorte que l'étranger ressemble légèrement plus à un « membre », le gardien se confond et le laisse entrer.
D'autres gardiens sont entraînés à s'inquiéter si quelqu'un a l'air trop désordonné. Si un faussaire fait en sorte que l'étranger ressemble légèrement plus à un « étranger », le gardien se confond.
Le Défaut : Ces gardiens sont vulnérables à des types spécifiques de ruses. Si vous savez comment tromper le Gardien A, vous pouvez contourner la sécurité.

2. La Solution : Le « Test de Stabilité »

ROSS change la donne. Au lieu de regarder l'étranger une seule fois, ROSS demande au gardien de regarder l'étranger 25 fois en secouant légèrement l'appareil photo ou en ajoutant un peu de bruit statique à l'image à chaque fois.

Pensez-y ainsi :

Le Vrai Membre (In-Distribution) : Si vous prenez une photo d'un vrai membre 25 fois avec un appareil photo tremblant, il ressemble toujours à la même personne. Son visage est stable. La confiance du gardien ne fluctue pas beaucoup.
L'Imposteur (Out-of-Distribution) : Si vous prenez une photo d'un imposteur 25 fois avec un appareil photo tremblant, l'image pourrait ressembler à un chat sur une photo, à un rocher sur une autre, et à un flou sur la suivante. L'opinion du gardien oscille sauvagement. Ils sont instables.

3. La Vérification en Deux Étapes

ROSS utilise deux outils spécifiques pour prendre sa décision :

A. La « Médiane » (Le Juste Milieu)
Au lieu de prendre la moyenne des 25 opinions du gardien (ce qui peut être faussé par une seule valeur aberrante étrange), ROSS prend l'opinion du milieu. C'est comme demander à une foule de personnes une estimation et ignorer les voix les plus fortes et les plus extrêmes. Cela donne un score « lissé » qui est plus difficile à tromper.

B. Le « Compteur d'Instabilité » (Le MAD)
ROSS mesure à quel point l'opinion du gardien a sauté pendant ces 25 secousses.

Faibles Sauts (Stable) : « D'accord, cela ressemble à un membre, et cela ressemblait à un membre à chaque fois que j'ai secoué l'appareil. » -> Confiance Élevée.
Forts Sauts (Instable) : « Cela ressemblait à un membre une fois, mais à un chien la fois suivante. » -> Confiance Faible.

4. La « Porte de Confiance » (Le Filet de Sécurité)

Voici la partie ingénieuse. L'article note que parfois, un étranger total pourrait avoir l'air très stable (par exemple, une photo d'un mur gris solide). Si le gardien ne regardait que la stabilité, il pourrait penser : « Wow, ce mur est très cohérent, laissez-le entrer ! »

ROSS empêche cela en ajoutant une Porte de Confiance :

Il n'accorde un « Bonus de Stabilité » que si l'étranger ressemble déjà à un membre avec une haute confiance.
Si l'étranger ressemble à un membre mais est instable, il est rejeté.
Si l'étranger ressemble à un membre et est stable, il reçoit un « super-boost » de son score.
Si l'étranger ressemble à un étranger, il est rejeté quelle que soit sa stabilité.

5. Pourquoi c'est « Symétrique » (La Meilleure Partie)

Les méthodes précédentes étaient comme une serrure qui ne fonctionne que si vous poussez la clé dans une seule direction. Si vous la tiriez dans l'autre sens, elle se brisait.

ROSS est une serrure « Symétrique ». Parce qu'il ne se soucie pas de pousser le score vers le haut ou vers le bas, mais regarde plutôt à quel point le score est tremblant, il fonctionne contre les attaquants qui tentent de faire croire à l'IA que l'étranger est un membre, ET contre les attaquants qui tentent de faire croire à l'IA qu'un membre est un étranger.

Résumé des Résultats

Les auteurs ont testé cela sur des ensembles de données d'images standard (comme CIFAR-10 et ImageNet). Ils ont constaté que :

ROSS est beaucoup plus difficile à tromper que les méthodes précédentes.
Il a amélioré la capacité du système à repérer les faux jusqu'à 40 % par rapport aux anciennes méthodes lors d'attaques.
Il fonctionne comme une mise à niveau « plug-in ». Vous n'avez pas besoin de réentraîner toute l'IA ; vous ajoutez simplement cette couche de « vérification de stabilité » par-dessus les systèmes existants.

En bref, ROSS rend les gardiens de sécurité de l'IA moins susceptibles d'être trompés par des déguisements en vérifiant si la confiance du gardien tient bon lorsque le monde devient un peu instable.

Résumé Technique : Un Cadre Robuste de Détection Hors Distribution via un Lissage Synergique

Énoncé du Problème

Les Réseaux de Neurones Profonds (RNP) sont de plus en plus déployés dans des applications critiques pour la sécurité, mais ils restent vulnérables aux perturbations adverses et aux décalages de distribution. Bien que les méthodes de détection Hors Distribution (OOD) servent de garde-fou crucial pour identifier des entrées nouvelles ou malveillantes, des études récentes indiquent que les détecteurs OOD les plus performants sont eux-mêmes sensibles aux attaques adverses. Plus précisément, un adversaire peut concevoir des entrées qui sont OOD mais qui sont mal classées comme étant dans la distribution (ID), désactivant ainsi efficacement la première ligne de défense du système.

Les détecteurs basés sur la perturbation existants, tels que ODIN et PRO, tentent d'améliorer la détection en appliquant des optimisations directionnelles (par exemple, augmenter ou diminuer les scores de confiance). Cependant, les auteurs identifient un défaut critique dans ces approches : elles présentent une vulnérabilité asymétrique. Un détecteur optimisé pour résister aux attaques minimisant les scores devient souvent vulnérable aux attaques maximisant les scores, et vice versa. Ce biais directionnel compromet la fiabilité de la détection OOD dans des environnements dynamiques et adverses.

Méthodologie : Le Cadre ROSS

Les auteurs proposent ROSS (Détecteur OOD Robuste via Lissage Synergique), un cadre post-hoc agnostique au modèle, conçu pour atteindre une robustesse symétrique contre les attaques minimisant et maximisant les scores. ROSS ne nécessite pas de réentraînement du RNP sous-jacent et peut être appliqué à n'importe quelle technique de score OOD existante (par exemple, MSP, Energy, GEN, fDBD).

Le cœur de ROSS consiste à générer $N$ variantes bruitées d'une entrée $x$ en ajoutant des perturbations aléatoires. À partir de la « pile de scores » résultante, ROSS calcule deux statistiques robustes fondées sur la théorie des statistiques robustes :

Score Médian ( $S_{med}$ ) : La médiane de la pile de scores, représentant une tendance centrale lissée du score OOD.
Stabilité du Score ( $\sigma_{med}$ ) : L'Écart Absolu Médian (MAD) de la pile de scores, quantifiant l'instabilité locale du paysage de scores.

Insight Clé : L'Instabilité comme Signal

Les auteurs observent que les échantillons ID résident généralement dans des régions lisses du paysage de scores, produisant des scores à faible variance sous perturbation (haute stabilité). À l'inverse, les échantillons OOD habitent des régions irrégulières où de petites perturbations induisent de grandes fluctuations de scores (haute instabilité).

La Fonction de Score

ROSS combine ces métriques en un score final ( $S_{ROSS}$ ) utilisant un mécanisme de contrôle sensible à la confiance. Le score final est défini comme suit :
$S_{ROSS} = \min(S_{95}, S_{med}) + \Delta_{score} \cdot \left(1 + \frac{\lambda}{\sigma_{med}}\right)$
Où :

$S_{95}$ est un seuil de confiance (le 5e percentile de la distribution de validation ID).
$\Delta_{score} = \max(0, S_{med} - S_{95})$ garantit que la prime de stabilité est appliquée uniquement lorsque le score médian dépasse le seuil de confiance.
$\lambda$ est un hyperparamètre contrôlant l'ampleur de la prime de stabilité.

Cette formulation garantit que la stabilité n'est récompensée que pour les échantillons de haute confiance, similaires aux ID. Elle empêche les échantillons « très OOD », qui pourraient être stables mais avoir une faible confiance, de recevoir une augmentation artificielle de score. En utilisant la médiane et le MAD, la méthode est intrinsèquement résistante à la manipulation basée sur le gradient et aux valeurs aberrantes.

Contributions Clés

Identification de la Vulnérabilité Asymétrique : L'article est le premier à analyser systématiquement et à démontrer que les détecteurs OOD basés sur la perturbation existants (comme PRO et ODIN) souffrent d'une robustesse asymétrique, se défendant contre une direction d'attaque tout en restant vulnérables à la direction opposée.
Proposition de ROSS : Un cadre post-hoc novateur qui exploite l'instabilité locale des scores comme multiplicateur de confiance. Contrairement aux travaux antérieurs, ROSS est non directionnel et sans gradient, atteignant une robustesse symétrique contre les attaques PGD-min et PGD-max.
Décomposition de la Stabilité et de la Confiance : Grâce à des études d'ablation extensives, les auteurs isolent les contributions de la stabilité des scores et du seuillage de confiance, démontrant que les deux sont critiques pour une séparation efficace ID/OOD.
Validation Empirique : Évaluation complète sur CIFAR-10, CIFAR-100 et ImageNet, montrant que ROSS surpasse constamment les détecteurs de base et les méthodes antérieures basées sur la perturbation.

Résultats Expérimentaux

Les auteurs ont évalué ROSS sur des benchmarks standards en utilisant des modèles ResNet-18 et ResNet-50 pré-entraînés.

Performance de Base : Sur des données propres, ROSS atteint des performances de pointe. Par exemple, sur CIFAR-10 avec le score de base GEN, ROSS a obtenu un AUROC moyen de 84,72 % et un FPR95 de 45,77 %, surpassant la ligne de base médiane seule ( $S_{med}$ ) et le rapport naïf ( $S_{med}/\sigma_{med}$ ).
Robustesse Adverse : Sous les attaques PGD ( $\epsilon = 8/255$ $ϵ = 8/255$ ), ROSS démontre une résilience significative.
- Sur CIFAR-10, alors que l'AUROC de la ligne de base MSP s'est effondré à 3,76 % sous les attaques PGD-max, ROSS-MSP a maintenu un AUROC de 52,65 %.
- Sur CIFAR-100, ROSS-fDBD a amélioré l'AUROC de 11,02 % (ligne de base) à 44,72 % sous les attaques PGD-max.
Défense Symétrique : Contrairement à PRO et ODIN, qui se dégradent considérablement lorsqu'ils sont attaqués depuis la « mauvaise » direction, ROSS maintient des performances constantes contre les attaques PGD-min et PGD-max. Les auteurs rapportent des améliorations allant jusqu'à 40 points d'AUROC par rapport aux méthodes antérieures basées sur la perturbation sous des attaques fortes.
Efficacité : Bien qu'il nécessite $N=25$ passes avant, la nature parallélisable de l'inférence sur les GPU modernes ne résulte qu'en une augmentation de latence de 1,2x par rapport à une seule passe avant, le rendant pratique pour le déploiement.

Importance et Revendications

L'article revendique que ROSS fournit une première ligne de défense pratique, légère et facilement déployable pour la détection OOD. Son importance principale réside dans le changement de paradigme de l'optimisation directionnelle (qui crée des faiblesses asymétriques) vers le lissage synergique (qui exploite la stabilité statistique).

Les auteurs affirment que ROSS équilibre avec succès la précision sur les données propres et la robustesse adverse sans le coût computationnel du réentraînement adversaire. En s'intégrant de manière transparente aux approches de score OOD existantes, il renforce la fiabilité des systèmes automatisés dans des environnements de monde ouvert où des entrées inconnues ou malveillantes sont inévitables. Le travail suggère que la quantification de l'instabilité locale est un proxy plus robuste pour la détection OOD que la simple tentative de pousser les scores dans une direction spécifique.

Les travaux futurs, comme noté par les auteurs, visent à étendre ce cadre au-delà des attaques basées sur le gradient pour englober les décalages de distribution induits par les modèles génératifs et les corruptions du monde réel.