Résumé Technique : Diviser pour Mieux Régner : La Co-occurrence d'Objets Aide à Atténuer le Biais de Simplicité dans la Détection Hors Distribution

Énoncé du Problème

Les modèles d'apprentissage profond, bien qu'obtenant un succès remarquable sur des données en distribution (ID), peinent à assurer leur fiabilité face aux décalages de distribution, en particulier dans la détection de données hors distribution (OOD). Les méthodes existantes reposent principalement sur des représentations latentes entrelacées, des sorties de logits, ou une combinaison des deux. Bien qu'efficaces pour les scénarios « loin-OOD » impliquant des décalages de distribution drastiques, ces approches échouent souvent dans les contextes « près-OOD » où existent des déviations sémantiques subtiles.

La limitation fondamentale identifiée est le biais de simplicité inhérent aux réseaux profonds. Lors du traitement de représentations entrelacées, les modèles ont tendance à privilégier des indices locaux facilement apprenables (par exemple, des textures ou des formes spécifiques d'objets) tout en négligeant les relations sémantiques complexes et les incohérences contextuelles cruciales pour la compréhension de la scène. Par exemple, un modèle pourrait classer avec confiance une image contenant un chien dans l'océan comme « chien » (ID) car il se concentre sur les caractéristiques du chien, ignorant l'incompatibilité sémantique d'un chien co-occurrent avec un requin (OOD) dans ce contexte. Cela conduit à des prédictions excessivement confiantes sur des échantillons anormaux.

Méthodologie : Cadre OCO

Les auteurs proposent OCO (Détection OOD centrée sur l'objet), un cadre conçu pour atténuer le biais de simplicité en exploitant les motifs de Co-occurrence d'Objets (OCO). La méthode opère sur le postulat que les systèmes visuels humains utilisent les relations entre objets au sein des scènes pour comprendre le contexte, et que les machines devraient de même décomposer les images en compositions d'objets distincts.

1. Représentation Centrée sur l'Objet via l'Attention par Fentes (Slot Attention)

Le cadre utilise l'Attention par Fentes (SA) pour transformer des cartes de caractéristiques entrelacées en un ensemble de $K$ fentes désentrelacées. Chaque fente vise à capturer un objet distinct ou une partie d'objet.

• Entraînement : Un classifieur est entraîné sur ces fentes pour prédire les étiquettes de classe. Pour garantir que les fentes capturent des caractéristiques d'objets significatives plutôt que des fragments arbitraires, une fonction de perte de reconstruction auxiliaire ($L_{aux}$) est introduite parallèlement à la fonction de perte de classification standard ($L_{ce}$). Cela force les fentes à reconstruire les caractéristiques entrelacées originales, assurant ainsi une localisation robuste des objets.
• Découverte de Motifs : Pendant l'entraînement, le système agrège les prédictions par fente pour identifier les configurations de co-occurrence. Il distingue entre les configurations à catégorie unique (toutes les fentes s'accordent sur une classe) et les configurations à multiples catégories (plusieurs classes distinctes détectées). Un ensemble de jeux de fréquences de configurations à multiples catégories valides ($F_{train}$) est construit à partir des données d'entraînement ID pour représenter les contextes de scène typiques.

2. Stratégie Diviser pour Mieux Régner

Au moment du test, le cadre OCO analyse le motif de co-occurrence d'un échantillon de test ($F_t$) et le catégorise de manière adaptative dans l'un des trois scénarios suivants, appliquant un score de détection spécifique pour chacun :

• Scénario 1 (S1) : Motifs Uniques

  • Condition : Toutes les fentes prédisent la même classe ($|F_t| = 1$).
  • Défi : Risque élevé de surconfiance (biais de simplicité).
  • Solution : Calibration de Double Confiance. Le score ($S_{single}$) combine la confiance au niveau de la scène (prédiction agrégée) avec la confiance au niveau de l'objet (accord maximal parmi les fentes) pour atténuer la surestimation.

• Scénario 2 (S2) : Motifs Typiques

  • Condition : Les motifs multi-objets correspondent à ceux observés lors de l'entraînement ($|F_t| \ge 2$ et $F_t \in F_{train}$).
  • Défi : Forte ambiguïté, en particulier dans les cas près-OOD où les objets co-occurrent de manière connue mais où la combinaison spécifique pourrait être anormale.
  • Solution : Notation Sensible à l'Incertitude (Théorie de Dempster-Shafer). La méthode calcule les contradictions de croyance entre la catégorie dominante et les autres catégories prédites. Elle distingue la « Probabilité du Motif » (co-occurrence attendue) de la « Preuve Ambiguë » (incertitude quant à la classe ID spécifique applicable), modélisant efficacement les preuves conflictuelles pour détecter les déviations subtiles.

• Scénario 3 (S3) : Motifs Atypiques

  • Condition : Les motifs multi-objets ne correspondent pas aux observations d'entraînement ($|F_t| \ge 2$ et $F_t \notin F_{train}$).
  • Défi : Combinaisons inédites et implausibles (par exemple, un pingouin et un chameau).
  • Solution : Confiance au Niveau de l'Objet. Puisque le motif lui-même est anormal, la méthode repose sur la confiance de prédiction la plus élevée d'une fente ($S_{unrel}$) pour quantifier directement l'anomalie.

Contributions Clés

1. Cadre Novel : Introduction de OCO, un cadre centré sur l'objet qui exploite les motifs de co-occurrence d'objets pour apprendre des corrélations sémantiques complexes scène-objet, s'attaquant directement au biais de simplicité des modèles traditionnels.
2. Diviser pour Mieux Régner Adaptatif : Contrairement aux méthodes utilisant un score OOD unifié, OCO catégorise de manière adaptative les échantillons de test en trois groupes distincts basés sur leurs motifs de co-occurrence et attribue des scores de détection sur mesure à chacun, reconnaissant que différents types d'anomalies nécessitent des stratégies de détection différentes.
3. Performance Robuste : Démonstration que OCO atteint des performances compétitives par rapport aux bases de référence de l'état de l'art sur des benchmarks près-OOD exigeants et dans des configurations OOD à spectre complet (FS-OOD), gérant efficacement à la fois les décalages sémantiques (près-OOD) et les décalages de covariance.

Résultats Expérimentaux

Les auteurs ont évalué OCO sur le benchmark OpenOOD en utilisant ImageNet-1k comme jeu de données ID.

• Bases de Référence : Comparaison contre 9 bases incluant Energy, MaxLogit, SHE, OODD, et d'autres.
• Architectures : Les expériences ont été menées en utilisant à la fois des backbones ViT supervisés et DINOv2 auto-supervisés.
• Performance :
  • Détection OOD : OCO a constamment surpassé les bases de référence. Sur le jeu de données SSB-hard (près-OOD) exigeant, il a réalisé des améliorations significatives de l'AUROC par rapport au deuxième meilleur (OODD).
  • Détection FS-OOD : Dans les évaluations à spectre complet (incluant des décalages de covariance comme ImageNet-v2/c/r), OCO a montré une généralisation supérieure, en particulier sur le jeu de données SSB-hard où d'autres méthodes peinaient.
  • Études d'Ablation : Les résultats ont confirmé la nécessité de la fonction de perte de reconstruction ($L_{aux}$) pour un désentrelacement efficace des fentes et la supériorité de la notation spécifique au scénario par rapport à un score unifié.
  • Nombre de Fentes : La performance a culminé à $K=6$ fentes ; moins de fentes ont conduit à une sous-segmentation, tandis que des fentes excessives ont causé une sur-segmentation et une dégradation des performances.

Importance et Revendications

L'article revendique que l'écart entre la perception humaine et machine dans la détection OOD découle de la tendance de la machine à se concentrer sur des caractéristiques simples et locales. En imitant la dépendance humaine aux relations entre objets, OCO atténue avec succès ce biais.

Les auteurs affirment que leur approche fournit un nouveau paradigme pour la détection OOD qui va au-delà de la simple discrimination de caractéristiques pour atteindre une compréhension contextuelle sémantique. La stratégie « diviser pour mieux régner » permet au modèle de gérer le spectre des défis OOD — des décalages sémantiques subtils près-OOD aux anomalies évidentes loin-OOD — plus efficacement que les approches unifiées. La méthode est décrite comme simple, extensible et prometteuse pour les applications réelles où la fiabilité face aux décalages de distribution est critique. Les auteurs notent également que l'alignement statistique entre les motifs de co-occurrence prédits et les hiérarchies WordNet valide la capacité du modèle à apprendre des relations sémantiques significatives.