A Systematic Comparison of Training Objectives for Out-of-Distribution Detection in Image Classification

Cette étude présente une comparaison systématique de quatre objectifs d'entraînement pour la détection d'images hors distribution, révélant que la fonction de perte par entropie croisée offre les performances les plus cohérentes sur divers jeux de données et scénarios.

L'essentiel

🎯 Le Problème : Le "Même" et le "Différent"

Imaginez que vous formez un chien de garde (votre intelligence artificielle) pour reconnaître des chiens. Vous lui montrez des milliers de photos de chiens de toutes races. Il devient un expert : il sait dire "C'est un chien !" avec une grande certitude.

Mais que se passe-t-il si vous lui montrez une photo de chat ? Ou de voiture ?

• Si le chien de garde est trop confiant, il pourrait dire "C'est un chien !" en voyant un chat, ce qui serait une erreur dangereuse (surtout si c'est un système de sécurité ou un médecin).
• L'objectif de ce papier est d'entraîner le modèle non seulement à reconnaître ce qu'il connaît (les chiens), mais aussi à crier "STOP !" quand il voit quelque chose d'inconnu (un chat, une voiture, un fruit). C'est ce qu'on appelle la détection de données "hors distribution" (OOD).

🛠️ L'Enquête : Comment on entraîne le chien ?

Les chercheurs se sont demandé : "Quelle méthode d'entraînement est la meilleure pour apprendre au modèle à distinguer le familier de l'inconnu ?"

Ils ont testé quatre "professeurs" (des objectifs d'entraînement) différents pour apprendre au modèle la même chose :

1. La Perte par Entropie Croisée (Cross-Entropy) : C'est le professeur classique. Il dit : "Si tu vois un chien, dis 'Chien' à 100%. Si tu vois autre chose, essaie de ne pas te tromper." C'est la méthode standard, celle qu'on utilise presque toujours.
2. La Perte Triplet (Triplet Loss) : C'est le professeur de géométrie. Il prend trois photos : un chien (A), un autre chien (B), et un chat (C). Il dit : "Approche A de B, et éloigne-les tous les deux de C." Il force le modèle à créer des espaces vides entre les groupes.
3. La Perte Prototype (Prototype Loss) : C'est le professeur de catégories. Il dit : "Pour chaque race de chien, imagine un 'super-chien' moyen (un prototype). Rapproche tous les vrais chiens de leur super-chien, et éloigne-les des super-chats."
4. La Perte de Précision Moyenne (AP Loss) : C'est le professeur de classement. Il ne se soucie pas seulement de la bonne réponse, mais de l'ordre. Il dit : "Assure-toi que le score du chien est toujours plus haut que celui du chat, peu importe de combien."

🏁 Le Résultat de la Course (Sur différents terrains)

Les chercheurs ont fait courir ces quatre méthodes sur trois terrains de jeu différents (des jeux de données d'images) :

• CIFAR-10/100 : Des images simples (comme des jouets ou des animaux de dessin animé).
• ImageNet-200 : Des images réalistes et complexes (vraies photos de la vie).

Voici ce qu'ils ont découvert :

1. Le Professeur Classique (Cross-Entropy) est le plus fiable 🏆

C'est le grand gagnant de la fiabilité.

• Analogie : C'est comme un vieux routier. Il ne fait pas toujours le record de vitesse, mais il arrive toujours à destination sans accident.
• Résultat : Il est excellent pour reconnaître les chiens (précision) ET très bon pour dire "Ce n'est pas un chien" quand il voit un chat. Il fonctionne bien partout, même sur les gros jeux de données complexes.

2. Le Professeur de Géométrie (Triplet) a du mal à grandir 📉

• Analogie : Imaginez un professeur qui essaie de comparer chaque élève avec deux autres élèves à chaque instant. Sur une petite classe (10 élèves), c'est facile. Mais sur une école de 200 classes (ImageNet), il devient fou et perd ses élèves.
• Résultat : Ça marche bien sur les petits jeux de données, mais dès que le nombre de catégories augmente, le modèle devient confus et fait plus d'erreurs.

3. Le Professeur de Catégories (Prototype) est un bon équilibriste ⚖️

• Analogie : Il est très fort pour organiser les choses dans des boîtes bien rangées.
• Résultat : Il est excellent pour reconnaître les chiens (parfois même mieux que le classique), mais sa capacité à repérer les intrus (les chats) est un peu moins constante que celle du professeur classique.

4. Le Professeur de Classement (AP) est prometteur mais capricieux 🎢

• Analogie : Il est très bon pour dire "Ceci est mieux que cela", mais parfois il se trompe sur combien c'est mieux.
• Résultat : Il donne de très bons résultats sur certains jeux de données, mais il est moins stable que le classique quand les données deviennent trop complexes.

💡 La Leçon à retenir

Si vous construisez un système d'IA pour la sécurité (comme une voiture autonome ou un diagnostic médical) et que vous voulez être sûr qu'il détecte les choses inconnues :

• Restez simple : N'essayez pas de réinventer la roue avec des méthodes complexes de géométrie ou de classement.
• Le "Cross-Entropy" (la méthode classique) est votre meilleur ami. C'est le choix le plus sûr, le plus stable et le plus fiable pour détecter l'inconnu, même si d'autres méthodes peuvent sembler plus "intelligentes" sur le papier.

En résumé : Parfois, la méthode la plus simple et la plus éprouvée est celle qui sauve la mise quand les choses deviennent imprévisibles ! 🐕🚫🐱

Résumé technique

1. Problématique

La détection des données hors distribution (Out-of-Distribution ou OOD) est un défi critique pour le déploiement de modèles d'apprentissage automatique dans des applications sensibles (conduite autonome, diagnostic médical, sécurité). Les modèles actuels, souvent performants sur leurs données d'entraînement, peuvent produire des prédictions erronées et non détectées face à des données différentes de celles vues durant l'entraînement.

Bien que de nombreuses recherches se soient concentrées sur les techniques de post-traitement (comme le recalage des scores de confiance) ou sur l'architecture des modèles, l'influence spécifique des objectifs d'entraînement (loss functions) sur le comportement OOD reste sous-étudiée. La question centrale est de savoir si l'adoption d'objectifs alternatifs à la perte d'entropie croisée (Cross-Entropy) standard peut améliorer la capacité d'un modèle à distinguer les données in-distribution (ID) des données OOD, sans sacrifier la précision de classification.

2. Méthodologie

Les auteurs ont mené une comparaison systématique et contrôlée de quatre objectifs d'entraînement largement utilisés, représentant différents paradigmes de supervision :

1. Cross-Entropy (CE) Loss : L'objectif standard probabiliste pour la classification.
2. Triplet Loss : Une approche d'apprentissage métrique qui rapproche les échantillons d'une même classe et éloigne ceux de classes différentes (basée sur FaceNet).
3. Prototype Loss : Une méthode basée sur les prototypes (GCPL) qui apprend un vecteur central (prototype) par classe et minimise la distance des échantillons à leur prototype.
4. Average Precision (AP) Loss : Un objectif basé sur le classement (ranking) qui optimise directement la précision moyenne, souvent utilisé pour les tâches de récupération d'information.

Protocole Expérimental :

• Benchmarks : Utilisation du benchmark OpenOOD v1.5, qui fournit des protocoles d'évaluation standardisés incluant des datasets de distribution proche (near-OOD) et lointaine (far-OOD).
• Datasets d'entraînement (ID) : CIFAR-10, CIFAR-100 et ImageNet-200.
• Architecture : Un backbone fixe ResNet-18 pour isoler l'effet de l'objectif d'entraînement.
• Stratégies d'inférence OOD : Chaque objectif utilise sa règle de score naturelle :
  • CE & Prototype : Probabilité maximale (MSP) ou entropie des probabilités.
  • Triplet : Distance minimale aux embeddings d'entraînement (Deep Nearest Neighbor).
  • AP : Entropie prédictive après conversion des scores en probabilités.
• Métriques : Précision in-distribution (ID Accuracy), AUROC pour les données near-OOD et far-OOD.

3. Contributions Clés

• Comparaison Systématique : C'est l'une des premières études à comparer directement ces quatre familles d'objectifs (probabiliste, métrique, prototype, ranking) dans un cadre unifié pour la détection OOD.
• Isolement des Variables : En utilisant un backbone fixe et le protocole OpenOOD, l'étude élimine les biais liés à l'architecture ou aux pipelines de données, se concentrant uniquement sur l'impact de la fonction de perte.
• Analyse des Compromis (Trade-offs) : L'article met en lumière les compromis entre la précision de classification (ID) et la robustesse de détection OOD (near et far) induits par chaque objectif.

4. Résultats Principaux

Les résultats varient selon la complexité du dataset (nombre de classes) :

• Sur CIFAR-10 (10 classes) :

  • La Cross-Entropy et la Prototype Loss obtiennent les meilleures précisions ID (~95%).
  • La Triplet Loss offre la meilleure détection OOD near (88,85%), tandis que l'AP Loss est la meilleure pour le far-OOD (92,34%).
  • La Triplet Loss a la précision ID la plus faible (93,56%).

• Sur CIFAR-100 (100 classes) :

  • La Cross-Entropy offre le meilleur équilibre global, avec la meilleure détection near-OOD (80,94%) et une précision ID compétitive.
  • La Prototype Loss obtient la meilleure précision ID (78,18%) mais une détection OOD inférieure à la CE.
  • La Triplet Loss montre une dégradation significative de la précision ID (69,00%) et des performances OOD plus faibles, suggérant des difficultés de mise à l'échelle avec un grand nombre de classes.

• Sur ImageNet-200 (200 classes) :

  • La Cross-Entropy domine clairement, offrant la détection OOD la plus robuste (83,54% near, 91,16% far) tout en maintenant une précision ID très élevée (86,66%).
  • L'AP Loss et la Prototype Loss restent compétitives en précision ID mais ne surpassent pas la CE pour la détection OOD.
  • La Triplet Loss échoue à cette échelle (précision ID ~68%), probablement en raison de la difficulté à former des triplets informatifs dans un espace à haute dimension et très diversifié.

Analyse Qualitative (t-SNE) :
Les visualisations montrent que les données far-OOD sont naturellement séparées des clusters ID, tandis que les données near-OOD se mélangent davantage aux clusters ID, rendant leur détection plus difficile. La Cross-Entropy semble maintenir une structure de clusters ID plus cohérente et robuste à grande échelle.

5. Signification et Conclusion

Cette étude remet en question l'idée que des objectifs d'entraînement spécialisés (comme les pertes métriques ou de ranking) sont systématiquement supérieurs à la Cross-Entropy pour la détection OOD.

• La Cross-Entropy reste le standard : Elle s'avère être une base de référence (baseline) extrêmement forte, offrant un excellent compromis entre précision et détection OOD, avec une excellente scalabilité sur des datasets complexes comme ImageNet.
• Limites des approches métriques : Bien que la Triplet Loss puisse être performante sur de petits datasets, elle souffre de problèmes de scalabilité et de stabilité lorsque le nombre de classes augmente.
• Rôle des autres objectifs : La Prototype Loss est excellente pour la précision ID, et l'AP Loss peut être compétitive, mais aucune ne surpasse la Cross-Entropy de manière constante sur l'ensemble des métriques OOD dans ce cadre expérimental.

Conclusion pratique : Pour les applications de détection OOD, la Cross-Entropy Loss demeure un choix sûr et robuste. L'utilisation d'objectifs alternatifs doit être motivée par des besoins spécifiques (ex: apprentissage peu échantillonné pour les prototypes) et non par une supposition d'amélioration automatique de la détection OOD. L'étude fournit des lignes directrices empiriques pour le choix de l'objectif d'entraînement dans des protocoles d'évaluation standardisés.