OASIC: Occlusion-Agnostic and Severity-Informed Classification

1. Problématique

La classification d'images fine-granulaire (fine-grained classification) est particulièrement vulnérable aux occlusions sévères, où jusqu'à 90 % de l'objet d'intérêt peut être caché. Le papier identifie deux causes racines de la dégradation des performances des modèles de vision par ordinateur dans ces conditions :

1. La perte d'informations visibles : Moins de détails de l'objet sont disponibles pour la discrimination des classes.
2. Les motifs distracteurs : Les éléments qui occluent (végétation, fumée, débris) introduisent des textures et des motifs visuels trompeurs qui détournent l'attention du modèle de l'objet réel.

Les approches existantes peinent à gérer cette double contrainte, surtout car les ensembles de données réels avec des annotations d'occlusion sont rares et imprévisibles.

2. Méthodologie : OASIC

L'approche proposée, OASIC (Occlusion-Agnostic Severity-Informed Classification), est un cadre unifié conçu pour traiter simultanément la perte d'information et la distraction visuelle. Elle repose sur quatre piliers principaux :

A. Segmentation et Masquage des Occlusions (Agnostique)

Au lieu de nécessiter une connaissance préalable du type d'occlusion, OASIC traite l'occlusion comme une anomalie visuelle par rapport à l'objet d'intérêt.

• Détection : Utilisation de AnomalyDINO pour générer des cartes de probabilité d'anomalie au niveau des pixels. Ces cartes identifient les régions irrégulières sans supervision explicite.
• Seuillage Adaptatif : Au lieu d'un seuil fixe, la méthode utilise la méthode d'Otsu pour déterminer dynamiquement le seuil optimal ($\tau^*$) sur l'histogramme des scores d'anomalie de chaque image, permettant une segmentation binaire précise.
• Masquage Gris : Les régions occluses identifiées sont remplacées par une valeur de gris uniforme (127 sur 8 bits). Cela supprime les textures distractrices (feuilles, fumée) tout en préservant les parties visibles de l'objet.

B. Estimation de la Sévérité

La sévérité de l'occlusion ($\hat{s}$) est estimée directement à partir de la carte d'anomalie en calculant la moyenne des scores de probabilité d'occlusion de tous les pixels. Cette métrique représente la fraction de l'image affectée par l'occlusion.

C. Finetuning pour la Robustesse

Plutôt que d'entraîner un seul modèle sur une large gamme d'occlusions, l'approche entraîne un pool de modèles spécialisés.

• Des modèles $f_{[0,p]}$ sont finetunés sur des données synthétiques où les occlusions (masques gris) varient uniformément de 0 % à un niveau maximum $p$ (par exemple, 0-10%, 0-20%, ..., 0-100%).
• Il a été observé empiriquement qu'un modèle optimisé pour une plage spécifique de sévérité atteint ses meilleures performances sur des images de test ayant une sévérité proche de la limite supérieure de cette plage.

D. Sélection de Modèle Informée par la Sévérité

Lors de l'inférence (test) :

1. La sévérité de l'occlusion $\hat{s}$ est estimée pour l'image d'entrée.
2. Le système sélectionne dynamiquement le modèle $f^*$ du pool qui correspond le mieux à cette sévérité (celui dont la plage d'entraînement $[0, p]$ a une borne supérieure $p$ la plus proche de $\hat{s}$).
3. L'image masquée est ensuite classée par ce modèle sélectionné.

3. Contributions Clés

1. Cadre Unifié OASIC : Une méthode qui adresse simultanément la perte d'information et la distraction visuelle causée par les occludeurs.
2. Segmentation Agnostique : Capacité à localiser et masquer n'importe quel type d'occlusion (végétation, fumée, etc.) sans connaissance préalable de leur apparence, en les traitant comme des anomalies visuelles.
3. Stratégie de Sélection Adaptative : Une approche qui utilise l'estimation de la sévérité pour sélectionner dynamiquement le modèle le plus performant, surpassant les modèles uniques entraînés sur des plages fixes ou larges.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Stanford Cars (196 catégories de voitures) avec des occlusions synthétiques réalistes (feuillage, fumée, gravats) générées via des masques de Perlin et le modèle SAM (Segment Anything Model).

• Impact des distracteurs : Les occlusions texturées (végétation, gravats) dégradent les performances bien plus que les masques gris uniformes, confirmant que les textures trompeuses sont un problème majeur.
• Localisation : La méthode AnomalyDINO surpasse systématiquement les modèles de segmentation basés sur des prompts (comme OVSeg) pour segmenter divers types d'occlusions sans supervision spécifique.
• Performance Globale (AUCocc) :
  • La méthode complète OASIC (masquage gris + sélection de modèle) améliore l'AUC sous la courbe d'occlusion (AUCocc) de +18,5 % par rapport à un modèle entraîné directement sur des images occluses.
  • Elle améliore l'AUCocc de +23,7 % par rapport à un modèle finetuné sur des images non occluses (baseline standard).
  • OASIC surpasse toutes les configurations intermédiaires (masquage seul, sélection de modèle seule, ou modèles fixes).

5. Signification et Conclusion

Ce travail démontre que la robustesse aux occlusions ne peut pas être obtenue par un seul modèle "universel". L'approche OASIC propose une solution adaptative et efficace en :

1. Neutralisant les bruits visuels (distracteurs) par un masquage intelligent basé sur l'anomalie.
2. Adaptant le classificateur à la quantité d'information restante via une sélection de modèle dynamique.

Cette méthodologie offre des perspectives prometteuses au-delà de la classification fine-granulaire, notamment pour la navigation autonome, la surveillance visuelle et l'imagerie médicale, où les objets sont souvent partiellement visibles et où les conditions d'occlusion sont imprévisibles.