🤖 machine learning

ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

Cet article propose ASAT, un cadre d'intervention humaine (human-in-the-loop) qui adapte dynamiquement les fonctions de score et les seuils en utilisant des retours réels hors distribution afin de maximiser les taux de vrais positifs tout en contrôlant strictement les taux de faux positifs, surpassant ainsi les méthodes existantes en matière de détection robuste de données hors distribution (OOD).

Auteurs originaux : Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Publié 2026-08-07

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le capitaine d'un vaisseau spatial naviguant à travers un champ d'astéroïdes denses et brumeux. L'ordinateur de votre vaisseau est incroyablement intelligent, mais il n'a été entraîné qu'à reconnaître les formes spécifiques des astéroïdes qu'il a vus lors de son camp d'entraînement. Maintenant, alors que vous volez plus profondément dans l'espace, vous commencez à rencontrer des objets étranges et nouveaux : des glaçons flottants, des méduses lumineuses et des nuages métalliques. Ce sont des entrées « hors distribution » (OOD) — des choses que l'ordinateur n'a jamais vues auparavant. Si l'ordinateur prend un objet dangereux et inconnu pour un astéroïde sûr, votre vaisseau pourrait s'écraser. C'est le cœur du problème de la détection de l'OOD (Out-of-Distribution) : apprendre à l'IA à dire : « Je ne sais pas ce que c'est », au lieu de deviner, ce qui pourrait entraîner une erreur fatale.

Pour résoudre ce problème, les scientifiques construisent généralement un système de « fiche de notation ». L'ordinateur donne un score à chaque objet : des scores élevés signifient « Je suis sûr qu'il s'agit d'un astéroïde normal », et des scores faibles signifient « Cela semble bizarre ». Ils dessinent ensuite une ligne, appelée seuil, pour décider quand déclencher l'alarme. Si le score est en dessous de la ligne, ils s'arrêtent et demandent l'aide d'un expert humain. La partie délicate consiste à fixer cette ligne. Si vous la fixez trop haut, vous pourriez manquer des objets dangereux (un « faux négatif »). Si vous la fixez trop bas, vous pourriez arrêter le vaisseau pour chaque petit caillou, gaspillant ainsi du temps et du carburant (un « faux positif »). Dans les tâches critiques pour la sécurité comme le diagnostic médical ou les voitures autonomes, un faux positif peut être aussi grave qu'un faux négatif ; vous ne voulez pas qu'un médecin dise à un patient en bonne santé qu'il a un cancer, tout comme vous ne voulez pas qu'une voiture ignore un véritable obstacle.

Cet article, intitulé ASAT, s'attaque au problème de savoir comment garder cette fiche de notation et cette ligne d'alarme parfaites, même lorsque l'univers change autour du vaisseau. Les auteurs, Daisuke Yamada, Harit Vishwakarma et Ramya Korlakai Vinayak, proposent un nouveau système qui ne se contente pas de fixer une règle et d'oublier. Au lieu de cela, ils ont créé un cadre « humain dans la boucle » (human-in-the-loop) qui apprend à la volée. Ils ont découvert que les anciennes méthodes, qui reposent sur une fiche de notation fixe et une ligne statique, échouent souvent lorsque les objets « bizarres » changent au fil du temps. Leur nouvelle approche, ASAT, met à jour constamment à la fois la fiche de notation et la ligne d'alarme grâce aux retours en temps réel d'experts humains, garantissant que le système reste sûr tout en devenant plus intelligent.

Le problème du « Fixer et oublier »

Imaginez que vous soyez un agent de sécurité dans un musée. On vous a donné une liste de peintures célèbres (les données « dans la distribution » ou ID) et on vous a dit d'arrêter quiconque détient une contrefaçon. Vous créez une règle : « Si la peinture ressemble à plus de 95 % à une vraie, laissez-les passer. » C'est ainsi que fonctionnent la plupart des systèmes d'IA actuels. Ils sont entraînés sur des données connues, et ils fixent un seuil pour capturer 95 % des choses réelles.

Mais voici le piège : l'article souligne que cette méthode laisse une énorme faille dans votre sécurité. Pendant que vous êtes occupé à attraper 95 % des vraies peintures, vous pourriez accidentellement laisser passer 90 % des faux car votre règle était trop souple du côté du « bizarre ». Dans le monde de l'IA, c'est ce qu'on appelle un taux élevé de faux positifs (FPR). Dans un contexte médical, cela signifie que l'IA pourrait dire à une personne en bonne santé qu'elle a une tumeur, provoquant une panique inutile et des tests coûteux. L'article soutient que viser simplement un taux élevé de « vrais positifs » (attraper les bonnes choses) sans contrôler strictement le taux de faux positifs (ne pas crier au loup) est dangereux.

De plus, l'ancienne méthode est rigide. Imaginez que le musée commence à recevoir un nouveau type de faux : des hologrammes. Votre ancienne règle, conçue pour les faux papier, pourrait ne pas fonctionner du tout sur les hologrammes. Le système reste bloqué, incapable de s'adapter parce qu'on ne lui a jamais appris à changer ses règles une fois les portes ouvertes.

Entrée en scène ASAT : L'agent de sécurité adaptatif

Les auteurs proposent ASAT (Adaptive Scoring and Thresholding with Human Feedback). Voyez ASAT non pas comme un robot avec un carnet de règles statique, mais comme un détective qui apprend de chaque affaire.

Voici comment la magie opère :

La fiche de notation (Fonction de score) : Au lieu d'utiliser une formule fixe pour juger à quel point un objet est « bizarre », ASAT peut réécrire sa propre formule. S'il identifie mal de façon répétée un type spécifique d'objet bizarre, il demande à un expert humain : « Hé, est-ce un faux ? ». Si l'humain répond : « Oui, c'est un hologramme », ASAT met à jour sa fiche de notation interne pour mieux reconnaître les hologrammes la prochaine fois.
La ligne d'alarme (Seuil) : La ligne qui décide quand arrêter le vaisseau n'est pas statique non plus. ASAT déplace cette ligne vers le haut ou vers le bas pour s'assurer qu'il ne laisse jamais passer plus d'un minuscule et sûr pourcentage de faux (en contrôlant strictement le FPR).
La boucle humaine : Le système est assez intelligent pour savoir quand il est incertain. Si un objet se trouve juste sur le bord de la ligne d'alarme, ASAT fait une pause et demande un label réel à un humain. Ce retour humain est le carburant qui alimente les mises à jour.

L'article démontre qu'ASAT est un cadre « humain dans la boucle ». Il ne se contente pas de deviner ; il apprend. Lorsqu'un nouveau type de donnée OOD apparaît (comme les hologrammes), ASAT adapte simultanément sa fonction de score et son seuil.

Ce qu'ils ont trouvé : Plus intelligent et plus sûr

Les chercheurs ont testé ASAT sur un benchmark célèbre appelé OpenOOD, en utilisant des jeux de données comme CIFAR-10 (qui agit comme les données « normales ») et divers autres jeux de données comme données « bizarres ». Ils ont comparé ASAT à deux autres méthodes :

FSFT : Une fiche de notation fixe et un seuil fixe (l'ancienne méthode rigide).
FSAT : Une fiche de notation fixe mais un seuil adaptatif (un juste milieu).

Dans leurs expériences, les résultats étaient clairs. Les anciennes méthodes fixes (FSFT) avaient souvent des taux de faux positifs très élevés, laissant parfois passer entre 32 % et 91 % des données « bizarres » comme si elles étaient normales. C'est un désastre pour la sécurité. La méthode FSAT faisait mieux pour contrôler les fausses alarmes, mais comme elle ne pouvait pas changer sa fiche de notation, elle passait à côté de nombreux objets « bizarres » qu'un système plus intelligent aurait pu identifier.

ASAT, cependant, a réussi les deux. Il a maintenu le taux de faux positifs strictement en dessous de la cible de 5 % (la limite de sécurité) tout en améliant considérablement le taux de vrais positifs. Dans certains tests, ASAT a amélioré la capacité à attraper les objets « bizarres » de plus de 40 % par rapport aux meilleures méthodes fixes.

L'article a également examiné ce qui se passe lorsque les objets « bizarres » changent soudainement (un contexte non stationnaire). Imaginez que le musée passe des faux papier aux hologrammes du jour au lendemain. Les anciens systèmes sont confus et commencent à laisser passer des faux. ASAT, en revanche, réalise rapidement que le modèle a changé. Il utilise le nouveau feedback humain pour mettre à jour sa fiche de notation et son seuil, revenant à un état sûr avec seulement un pic d'erreurs bref et temporaire avant de s'adapter.

Le filet de sécurité : Comment ils savent que cela fonctionne

Vous pourriez vous demander : « Si le système change ses propres règles, comment savoir qu'il ne va pas casser ? » Les auteurs n'ont pas seulement lancé des simulations en espérant que tout se passe bien ; ils ont construit un filet de sécurité mathématique. Ils ont prouvé théoriquement que tant que les objets « bizarres » restent les mêmes pendant un certain temps (conditions stationnaires), ASAT garantit que le taux de faux positifs restera en dessous de la limite fixée par l'utilisateur (par exemple, 5 %) à tout moment.

Ils ont utilisé un outil statistique ingénieux appelé « séquence de confiance uniforme dans le temps ». Imaginez un filet de sécurité qui s'étire et se contracte pendant que vous marchez sur une corde raide. Même si le système apprend et change, ce filet mathématique garantit que la probabilité de tomber (faire une erreur) ne dépasse jamais la limite de sécurité. Ils ont montré que même si le système apprend à partir de données qui dépendent de ses propres décisions précédentes (une situation complexe pour les mathématiques), la garantie de sécurité tient bon.

L'essentiel

L'article conclut qu'ASAT est une avancée majeure pour la sécurité de l'IA. Il résout les deux plus gros problèmes de la détection d'OOD actuelle : la tendance à avoir trop de fausses alarmes et l'incapacité d'apprendre de nouvelles menaces inconnues. En permettant au système d'adapter sa « fiche de notation » et sa « ligne d'alarme » avec l'aide d'experts humains, ASAT crée un système qui est non seulement plus sûr, mais aussi plus efficace, nécessitant moins d'interventions humaines au fil du temps car il devient meilleur dans son travail.

Bien que les auteurs notent que leurs garanties actuelles reposent sur le fait que les données « bizarres » restent relativement constantes, et que le feedback humain bruyant pourrait être un défi, ils ont jeté les bases d'un avenir où les systèmes d'IA pourront naviguer en toute sécurité dans l'inconnu, apprenant et s'adaptant en temps réel sans perdre leurs garde-fous de sécurité.

Résumé Technique : ASAT – Score Adaptatif et Seuil avec Retour Humain pour une Détection Robuste Hors-Distribution

Énoncé du Problème

Les modèles d'apprentissage automatique sont généralement entraînés sous l'hypothèse du monde fermé, où les données de test suivent la même distribution que les données d'entraînement (In-Distribution, ou ID). Cependant, dans les déploiements critiques pour la sécurité, les modèles rencontrent fréquemment des entrées Hors-Distribution (Out-of-Distribution, ou OOD) — des points de données qui n'appartiennent à aucune classe d'entraînement. L'incapacité à détecter ces entrées peut mener à des erreurs catastrophiques (par exemple, un mauvais diagnostic médical).

Les méthodes actuelles de détection OOD souffrent de deux limitations principales :

Taux de Faux Positifs (FPR) non contrôlés : Les approches standards conçoivent des fonctions de score et fixent des seuils uniquement sur la base de données ID pour atteindre un taux de Vrais Positifs (TPR) cible. Cela laisse souvent le FPR (classification erronée de l'OOD comme étant de l'ID) incontrôlé, entraînant des taux de fausses alarmes dangereusement élevés dans les applications critiques.
Manque d'adaptativité : Les entrées OOD réelles sont diverses et évoluent au fil du temps. Les fonctions de score et les seuils fixes, optimisés uniquement sur les données ID initiales, échouent souvent à se généraliser aux nouvelles distributions OOD rencontrées lors du déploiement, ce qui entraîne un TPR sous-optimal.

L'objectif est de développer un système qui contrôle strictement le FPR tout en maximisant de manière adaptative le TPR en exploitant le retour humain sur les entrées OOD réelles.

Méthodologie : Cadre ASAT

Les auteurs proposent ASAT (Adaptive Scoring and Adaptive Threshold), un cadre de boucle humaine (human-in-the-loop) qui met à jour dynamiquement la fonction de score et le seuil de décision pendant le déploiement.

Flux de Travail

Scoring et Échantillonnage : À chaque étape $t$ $t$ , le système évalue une entrée $x_t$ $x_{t}$ en utilisant la fonction de score actuelle $\hat{g}_{t-1}$ $\overset{g}{^}_{t - 1}$ et le seuil $\hat{\lambda}_{t-1}$ $\hat{λ}_{t - 1}$ .
- Si le score est inférieur au seuil, l'entrée est signalée comme OOD.
- Si le score est supérieur au seuil, l'entrée est signalée comme ID.
- Échantillonnage préférentiel (Importance Sampling) : Pour estimer le FPR de manière non biaisée, le système demande un label humain pour les entrées signalées comme OOD avec une probabilité de 1, et pour les entrées signalées comme ID avec une faible probabilité $p$ .
Apprentissage (Mises à jour périodiques) : ASAT ne se met pas à jour à chaque étape pour éviter une surcharge de calcul. Les mises à jour se produisent uniquement lorsqu'un nombre suffisant de nouveaux échantillons OOD ( $\Delta^{(ood)}_t$ $Δ_{t}^{(oo d)}$ ) a été collecté.
- Objectif : Le système résout un problème d'optimisation sous contrainte pour trouver une nouvelle fonction de score $g$ et un nouveau seuil $\lambda$ qui maximisent le TPR sous une contrainte de FPR ( $\leq \alpha$ ).
- Relaxation : Puisque les véritables distributions sont inconnues, le système utilise des estimations empiriques du TPR et du FPR dérivées des échantillons ID et OOD collectés. Les fonctions indicatrices non différentiables sont relaxées à l'aide de substituts sigmoïdes pour permettre une optimisation par gradient.
- Sélection de Modèle : Une nouvelle fonction de score n'est déployée que si elle démontre une amélioration statistiquement significative du TPR par rapport au modèle précédent, garantissant que les mises à jour ne dégradent pas les performances.
Estimation du Seuil (Garantie de Sécurité) : Même après l'optimisation de la fonction de score, la solution non contrainte peut violer la limite de FPR. Pour garantir un contrôle strict du FPR, ASAT emploie une étape d'estimation de seuil (basée sur la méthode FSAT). Il calcule un seuil sûr $\hat{\lambda}_t$ en construisant une Borne Supérieure de Confiance Uniformément Valide (UCB) sur l'estimation du FPR. Cela garantit qu'avec une probabilité élevée, le véritable FPR reste inférieur à la tolérance $\alpha$ spécifiée par l'utilisateur.

Garanties Théoriques

Le papier fournit des garanties théoriques pour le contrôle du FPR sous des conditions stationnaires (où la distribution $D_0$ de l'OOD est fixe).

Confiance Uniforme dans le Temps : Les auteurs dérivent une séquence de confiance uniforme dans le temps en utilisant des extensions de la Loi de l'Itéré des Logarithmes (LIL) basées sur les martingales. Cela prend en compte les dépendances introduites par l'échantillonnage préférentiel et les fonctions de score variables dans le temps.
Résultat : Avec une probabilité d'au moins $1-\delta$ , le FPR du système ASAT reste inférieur au seuil $\alpha$ spécifié à tout moment $t$ , même lorsque la fonction de score évolue.

Contributions Clés

Conception du Cadre : Introduction d'ASAT, un cadre qui adapte conjointement les fonctions de score et les seuils grâce au retour humain, contrastant avec les bases FSFT (Fixed Scoring Fixed Threshold) et FSAT (Fixed Scoring Adaptive Threshold).
Sécurité Théorique : Fourniture de garanties formelles de contrôle du FPR à tout moment dans des conditions stationnaires, malgré la nature dynamique de la fonction de score.
Validation Empirique : Évaluations approfondies sur les benchmarks OpenOOD démontrant qu'ASAT surpasse les méthodes existantes en atteignant des TPR plus élevés tout en maintenant un contrôle strict du FPR.

Résultats Expérimentaux

Les auteurs ont évalué ASAT sur les benchmarks OpenOOD en utilisant CIFAR-10 comme ensemble de données ID et divers ensembles de données OOD (CIFAR-100, Places365, etc.).

Paramètres Stationnaires

Contrôle du FPR : Contrairement à FSFT, qui présentait des FPR élevés (souvent entre 32 % et 91 %) lorsqu'il visait des TPR élevés, FSAT et ASAT ont maintenu des FPR systématiquement inférieurs à la cible de 5 %.
Performance du TPR : Bien qu'ASAT ait initialement accusé un retard par rapport à FSAT en raison des bornes de confiance plus larges requises pour le scoring adaptatif, il a fini par surpasser FSAT. ASAT a atteint des TPR nettement plus élevés que FS-AT (par exemple, une amélioration relative de plus de 40 % dans certains réglages) en apprenant des fonctions de score mieux alignées avec les données OOD spécifiques rencontrées.
Convergence : Le TPR empirique d'ASAT a convergé vers le TPR optimal réalisable par une fonction de score entraînée à la fois sur l'ID et l'OOD.

Paramètres Non-Stationnaires

Adaptation aux Changements : Lorsqu'une distribution OOD a changé (par exemple, de "Far-OOD" à "Near-OOD"), ASAT a démontré sa capacité d'adaptation.
Violations Transitoires : Dans les scénarios où le nouvel OOD était plus difficile à distinguer de l'ID, ASAT a subi des violations transitoires du FPR. Cependant, il s'est rapidement adapté en ajustant sa fonction de score et son seuil pour réduire le FPR sous la limite, atteignant systématiquement un TPR plus élevé que FSAT, avant comme après le changement.
Fenêtrage : L'utilisation d'une fenêtre glissante pour les échantillons OOD a permis à ASAT de s'adapter plus rapidement aux changements de distribution, sacrifiant un peu d'optimalité pour une réponse plus rapide.

Signification et Revendications

Le papier affirme qu'ASAT comble la lacune critique de la détection OOD où la sécurité (contrôle du FPR) et l'adaptativité (maximisation du TPR pour des OOD évolutifs) sont souvent mutuellement exclusives dans les méthodes existantes.

Sécurité : En découplant l'optimisation de la fonction de score de la vérification de sécurité du seuil, ASAT garantit que le système ne compromet jamais la contrainte de FPR, une exigence cruciale pour les domaines critiques.
Adaptativité : En exploitant le retour humain pour mettre à jour la fonction de score elle-même, ASAT surmonte les limites des modèles statiques, permettant au système d'améliorer ses capacités de détection à mesure qu'il rencontre de nouveaux types de données OOD.
Praticité : Le cadre est conçu pour un déploiement en ligne, équilibrant l'efficacité de calcul (mises à jour périodiques) avec des garanties statistiques rigoureuses.

Les auteurs positionnent ASAT comme une étape vers des systèmes d'apprentissage automatique robustes et auto-améliorés, capables d'opérer en toute sécurité dans des environnements de type "monde ouvert" où les distributions de données ne sont pas statiques.