🤖 machine learning

Beyond Toy Benchmarks: A Systematic Evaluation of OOD Detection Methods For Plant Pathology Classification

Ce papier évalue systématiquement six méthodes de détection hors distribution sur le jeu de données Plant Pathology 2021 à granularité fine, démontrant que le fine-tuning basé sur l'énergie surpasse les références en restructurant l'espace d'incorporation et en calibrant les scores, tout en révélant des instabilités pratiques d'entraînement dans les méthodes d'optimisation contrainte souvent négligées dans les benchmarks standards.

Auteurs originaux : Devesh Shah

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Devesh Shah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot jardinier à identifier des feuilles de pommier malades. Vous lui montrez des milliers d'images de feuilles saines, de feuilles atteintes de tavelure, de feuilles rouillées, et ainsi de suite. Le robot devient très bon à cela. Mais que se passe-t-il lorsque le robot voit une image d'une fleur, d'une voiture ou d'un motif de texture qu'il n'a jamais vue auparavant ?

C'est le problème de la détection hors distribution (OOD). Dans le monde réel, les robots ne devraient pas simplement deviner ; ils devraient pouvoir dire : « Je ne sais pas ce que c'est. »

Cet article est un test systématique de six méthodes différentes pour apprendre à un robot à dire « Je ne sais pas » lorsqu'il rencontre quelque chose d'étrange, en utilisant un jeu de données réel sur les maladies des pommiers. Voici le détail en termes simples :

Le Problème : Le Robot Trop Confiant

La plupart des modèles d'IA sont entraînés comme des élèves passant un test à choix multiples. Même si la question est absurde (comme « Quelle est la capitale de Mars ? » alors que le test porte sur les pommes), l'élève est forcé de choisir une réponse. Il pourrait deviner « Washington D.C. » avec 99 % de confiance simplement parce qu'il doit choisir quelque chose.

En IA, cela s'appelle la ligne de base Softmax. Le modèle est contraint de répartir 100 % de sa « confiance » sur les maladies connues. Ainsi, lorsqu'il voit une fleur, il pourrait dire avec assurance : « C'est définitivement une feuille atteinte de rouille ! » C'est dangereux car le robot pense connaître la réponse alors qu'il n'en a aucune idée.

L'Expérience : Tester Six « Filets de Sécurité »

Les chercheurs ont testé six méthodes différentes pour corriger cette surenchère de confiance, allant de simples ajustements à des stratégies d'entraînement complexes. Ils ont utilisé trois types d'images « étranges » pour tester le robot :

Voitures : Très différentes des feuilles (Faciles à repérer).
Textures : Juste des motifs, sans objets (Faciles à repérer).
Fleurs : Ressemblent beaucoup aux feuilles (Difficiles à repérer).

Voici comment les six méthodes ont performé :

La Ligne de Base (Softmax) : Le robot est trop confiant. Il échoue à repérer les fleurs, les prenant pour des feuilles malades.
Classificateurs Indépendants : Au lieu de forcer le robot à choisir un seul gagnant, on lui a donné cinq boutons « oui/non » séparés (un pour chaque maladie). Si aucun bouton ne s'allume, le robot sait qu'il s'agit d'un objet inconnu. C'était une correction simple et étonnamment efficace.
Le « Inconnu Connu » (Classe OOD) : Ils ont explicitement appris au robot une sixième catégorie appelée « Inconnu ». Cela a fonctionné parfaitement, mais c'est irréaliste car, dans le monde réel, vous n'avez pas une boîte étiquetée d'objets « inconnus » à montrer au robot au préalable.
Exposition aux Valeurs Aberrantes : Ils ont montré au robot des images de « choses bizarres » (comme des voitures) pendant l'entraînement et lui ont dit : « Si vous voyez cela, soyez incertain. » Cela a aidé, mais le robot est toujours resté confus face aux fleurs.
Affinage Basé sur l'Énergie (Le Gagnant) : Cette méthode change la façon dont le robot « ressent » une image. Au lieu de simplement choisir un gagnant, il calcule un « score d'énergie ».
- Les feuilles normales ont une énergie faible (elles semblent familières et calmes).
- Les choses étranges (comme les fleurs) ont une énergie élevée (elles semblent chaotiques et inconnues).
- Le Résultat : Cette méthode était la meilleure. Elle n'a pas seulement changé la règle de notation ; elle a réorganisé la « carte cérébrale » interne du robot (espace d'incorporation) de sorte que les choses étranges s'éloignent naturellement des maladies connues. Elle pouvait mieux distinguer une feuille d'une fleur que les autres méthodes.
Optimisation des Données Sauvages (WOODS) : C'est la méthode la plus réaliste. Elle suppose que le robot est déployé sur le terrain et commence à collecter un tas de photos aléatoires (certaines feuilles, certaines fleurs, certaines roches) sans étiquettes. Il tente d'apprendre à partir de ce tas désordonné.
- Le Bémol : Bien que ce soit le scénario le plus réaliste, c'était le plus difficile à entraîner. Les mathématiques impliquées étaient instables. Les chercheurs ont dû ajouter des « freins » (limites sur les poids de pénalité) pour empêcher l'entraînement de planter. Cela a mieux fonctionné que la ligne de base, mais c'était délicat à mettre en place correctement.

Points Clés de l'Article

Réalisme vs Performance : Les méthodes qui supposaient que nous avions des données « étranges » parfaites à montrer au robot pendant l'entraînement ont fonctionné le mieux. Mais dans le monde réel, nous n'avons pas cela. La méthode « Basée sur l'Énergie » offrait le meilleur équilibre : elle fonctionnait très bien sans avoir besoin de données « étranges » étiquetées.
Le Problème des Fleurs : L'article a révélé que les fleurs étaient en réalité plus difficiles pour l'IA à rejeter que les voitures. Même si les humains voient une voiture comme totalement différente d'une feuille, les mathématiques internes de l'IA trouvaient parfois les voitures plus difficiles à distinguer que les fleurs. Cela montre que ce qui semble « différent » pour nous n'est pas toujours ce qui semble « différent » pour un ordinateur.
Instabilité de l'Entraînement : En essayant d'utiliser les méthodes les plus avancées (comme WOODS) sur un jeu de données réel de taille moyenne, le processus d'entraînement était très fragile. De petits changements dans les paramètres faisaient craquer le modèle. C'est un problème pratique que les benchmarks informatiques simples (utilisant de petits jeux de données parfaits) manquent souvent.
La Précision N'a Pas Chuté : Une grande inquiétude était que apprendre au robot à dire « Je ne sais pas » le rendrait moins bon pour identifier les maladies réelles. L'article a montré que ce n'était pas le cas. Le robot restait tout aussi bon pour identifier les feuilles malades tout en devenant beaucoup meilleur pour repérer les intrus.

La Conclusion

Vous pouvez apprendre à une IA à être humble et à admettre quand elle ne sait pas quelque chose, même dans un travail complexe et réel comme l'agriculture. La meilleure approche trouvée ici utilisait un score « Basé sur l'Énergie », qui remodelait la façon dont l'IA voit le monde pour maintenir les choses étranges loin des choses connues. Cependant, les méthodes les plus avancées sont actuellement comme des voitures de course haute performance : elles fonctionnent très bien, mais elles sont très sensibles à la façon dont vous réglez le moteur.

Résumé Technique : Au-delà des Benchmarks Jouets – Une Évaluation Systématique des Méthodes de Détection OOD pour la Classification des Pathologies Végétales

Énoncé du Problème

Les systèmes d'apprentissage profond pour la vision par ordinateur ont atteint des performances remarquables sur des tâches de benchmark, pourtant leur déploiement fiable dans des scénarios réels est entravé par l'hypothèse de « monde clos ». Les pipelines de classification standard, optimisés via des objectifs basés sur le softmax, répartissent la masse de probabilité sur les classes connues, amenant les modèles à attribuer une haute confiance à des entrées non pertinentes (données hors distribution ou OOD). Bien qu'une littérature étendue existe sur la détection OOD, la majorité des méthodes sont évaluées sur de petits ensembles de données visuellement homogènes (par exemple, CIFAR-10/100) qui ne parviennent pas à capturer la complexité du déploiement réel. Plus précisément, ces benchmarks manquent souvent de la variation sémantique, des décalages de covariables et des cas « near-OOD » (par exemple, des catégories visuellement similaires mais distinctes) courants dans les applications spécifiques à un domaine comme l'agriculture. Cet article comble le fossé entre la détection OOD théorique et l'application pratique en évaluant des méthodes sur l'ensemble de données Plant Pathology 2021, une tâche fine-granulaire impliquant la classification des maladies des feuilles de pommier où des décalages de distribution naturels (par exemple, fleurs, objets non végétaux, occlusions) sont prévalents.

Méthodologie

L'étude conduit une évaluation systématique de six méthodes de détection OOD, progressant du simple score a posteriori à l'optimisation contrainte complexe, sous des hypothèses variables concernant l'accès aux données OOD durant l'entraînement. Les expériences utilisent un backbone ResNet-18 fine-tuné sur un sous-ensemble de 5 classes de maladies de pommier (15 675 images).

Configuration Expérimentale

Données In-Distribution (ID) : Cinq classes de maladies à étiquette unique (Scab, Healthy, Frog Eye Leaf Spot, Rust, Powdery Mildew).
Données Out-of-Distribution (OOD) : Trois ensembles de données externes avec des distances sémantiques variables :
- Stanford Cars : Far-OOD (aucun recouvrement visuel).
- Describable Textures Dataset (DTD) : Far-OOD (différence structurelle).
- Flowers102 : Near-OOD (visuellement similaire aux feuilles, représentant un mode de défaillance critique).
Données Auxiliaires : ImageNet-O est utilisé pour les méthodes nécessitant des données OOD étiquetées durant l'entraînement. Des données « sauvages » non étiquetées (un mélange de ID et OOD) sont utilisées pour les méthodes d'optimisation contrainte.

Méthodes Évaluées

E1 : Baseline Softmax : Entraînement standard par entropie croisée. Le score OOD est la négative de la probabilité softmax maximale.
E2 : Classification Binaire Indépendante : Remplace la tête softmax par cinq sorties sigmoïdes indépendantes entraînées avec une Entropie Croisée Binaire (BCE) pour éliminer la compétition à somme nulle du softmax.
E3 : Classe OOD Explicite : Ajoute une sixième classe de sortie pour OOD, entraînée sur des données ID et OOD étiquetées. Sert de borne supérieure approximative.
E4 : Outlier Exposure (OE) : Fine-tune le classifieur de base avec une perte auxiliaire encourageant des prédictions uniformes sur des données OOD étiquetées (ImageNet-O).
E5 : Détection OOD Basée sur l'Énergie :
- E5a (Post-Hoc) : Utilise l'énergie libre des logits ( $E(x) = -T \log \sum e^{f_c(x)/T}$ ) comme fonction de score sans réentraînement.
- E5b (Energy Fine-Tuning) : Fine-tune le modèle avec une perte de mise en forme d'énergie basée sur une marge pour séparer explicitement les distributions d'énergie ID et OOD.
E6 : WOODS : Un cadre d'optimisation contrainte qui s'entraîne sur des données « sauvages » non étiquetées (mélange inconnu de ID et OOD) sans supposer l'accès à des données OOD étiquetées propres. Il minimise le taux d'échantillons OOD classés comme ID, soumis à des contraintes sur les taux de fausses alarmes ID et la précision de classification.

Résultats Clés

L'évaluation révèle plusieurs insights critiques concernant la détection OOD dans des contextes agricoles réels :

Hiérarchie des Performances : E5b (Energy Fine-Tuning) s'est imposé comme la méthode pratique la plus performante, atteignant le plus haut AUROC et le plus bas FPR95 sur tous les ensembles OOD (y compris l'ensemble Near-OOD difficile Flowers102) sans nécessiter de données OOD étiquetées lors de la phase initiale d'entraînement.
Améliorations de la Baseline :
- E2 (BCE Indépendante) a significativement surpassé la baseline Softmax (E1) malgré l'absence de données OOD, suggérant que la suppression de la normalisation softmax est une amélioration puissante et peu coûteuse.
- E5a (Energy Post-Hoc) a apporté des gains immédiats sur E1, confirmant que le score d'énergie est une métrique supérieure à la probabilité softmax.
Défi Near-OOD : Contrairement à l'intuition, les ensembles de données « Far-OOD » (Stanford Cars) n'ont pas été systématiquement plus faciles à détecter que les ensembles « Near-OOD » (Flowers102) sur toutes les méthodes. Cela souligne que la similarité perceptuelle ne corrèle pas toujours avec la difficulté de représentation des caractéristiques.
Analyse de l'Espace d'Embedding : L'analyse qualitative de l'espace d'embedding (via la distance cosinus aux 5 plus proches voisins) a montré que E5b remodelle significativement l'espace de caractéristiques, augmentant la séparation entre les distributions ID et OOD (la distance de Wasserstein est passée de 0,02 pour E1 à 0,07 pour E5b). Cela suggère que les gains proviennent à la fois d'une fonction de score mieux calibrée et d'un espace d'embedding réorganisé.
Stabilité In-Distribution : Pour toutes les méthodes, la précision équilibrée sur l'ensemble de test ID est restée stable (variant de 0,916 à 0,944), indiquant que l'entraînement conscient de l'OOD ne dégrade pas nécessairement les performances de la tâche.

Défis Pratiques et Instabilités

L'article documente des instabilités d'entraînement significatives lors de la mise à l'échelle des méthodes d'optimisation contrainte sur des ensembles de données de taille modérée (environ 10k images), des constats largement absents de la littérature existante :

Sensibilité au Taux d'Apprentissage : Pour E4, E5b et E6, le taux d'apprentissage est l'hyperparamètre le plus critique. Des taux d'apprentissage élevés provoquent une domination trop précoce de la perte OOD, effondrant les performances de classification.
Instabilité de WOODS : La Méthode du Lagrangien Augmenté (ALM) utilisée dans WOODS s'est révélée hautement sensible. Les tentatives initiales avec des hyperparamètres standards ont entraîné une croissance illimitée des poids de pénalité, conduisant à une baisse de 20 % de la précision de validation. La stabilisation a nécessité la réduction du taux d'apprentissage dual, l'assouplissement des tolérances de contrainte et l'introduction d'une limite stricte sur les poids de pénalité — une modification absente de la formulation originale de WOODS.

Signification et Revendications

Les auteurs affirment que la détection OOD fondée sur des principes est réalisable sur des données réelles, spécifiques à un domaine, mais que les évaluations de benchmark standard échouent souvent à capturer les défis pratiques qui émergent lors du déploiement.

Au-delà des Benchmarks : L'étude démontre que les méthodes performantes sur de petits benchmarks homogènes ne se traduisent pas directement dans des contextes agricoles complexes, en particulier concernant la détection near-OOD et la stabilité de l'entraînement.
Faisabilité Pratique : Le fine-tuning basé sur l'énergie (E5b) est présenté comme une solution robuste et pratique qui équilibre une haute performance de détection avec la contrainte opérationnelle de ne pas nécessiter de données OOD étiquetées lors de l'entraînement initial.
Réalité de l'Implémentation : L'article souligne que les cadres théoriques (comme WOODS) nécessitent un ingénierie soignée, spécifique à l'ensemble de données (par exemple, réglage des hyperparamètres, blocage des pénalités), pour fonctionner de manière stable sur des ensembles de données de taille modérée, une nuance souvent négligée dans la littérature axée sur des benchmarks à grande échelle ou synthétiques.

Ce travail sert de référence pour les praticiens visant à déployer la détection OOD au-delà des benchmarks standards, soulignant que si l'entraînement conscient de l'OOD est réalisable, il exige une attention rigoureuse aux dynamiques d'entraînement et à la stabilité des hyperparamètres dans des contextes réels.