FlowCLAS: Enhancing Normalizing Flow Via Contrastive Learning For Anomaly Segmentation

Le papier présente FlowCLAS, un cadre hybride qui améliore les flux normalisants pour la segmentation d'anomalies en robotique en combinant une fonction de perte de vraisemblance maximale avec un apprentissage contrastif basé sur l'exposition aux valeurs aberrantes, établissant ainsi de nouvelles performances de pointe sur plusieurs benchmarks.

L'essentiel

🚨 Le Problème : Le Gardien de Nuit qui s'endort

Imaginez un robot (comme une voiture autonome ou un bras robotique dans l'espace) qui a pour mission de surveiller son environnement. Son travail est de reconnaître tout ce qui est "normal" : les routes, les arbres, les autres voitures, les murs de la station spatiale.

Pour faire cela, le robot utilise un modèle appelé "Flot Normalisant" (Normalizing Flow).

• L'analogie : Imaginez ce modèle comme un gardien de nuit très strict qui a passé des années à mémoriser à quoi ressemble une rue normale. Il a un "moule" mental parfait de la réalité.
• Le problème : Si un objet inattendu apparaît (un ours polaire sur la route, un alien, ou un outil tombé d'un satellite), le gardien est perdu.
  • Parfois, il dit : "Oh, ce n'est pas dans mon moule, c'est une erreur !" (C'est bien).
  • Mais souvent, dans des environnements complexes et changeants, il se trompe et dit : "Non, ça ressemble assez à quelque chose que j'ai déjà vu, c'est normal." (C'est dangereux !).

Les méthodes actuelles sont soit trop rigides (elles ne voient que les détails, pas le sens global), soit elles sont des "boîtes noires" qui ne savent pas pourquoi elles ont pris une décision.

💡 La Solution : FlowCLAS (Le Gardien qui a des lunettes de contraste)

Les auteurs de cet article, de l'Université de Toronto et de MDA Space, ont créé une nouvelle méthode appelée FlowCLAS. Ils ont décidé de donner au gardien de nuit une paire de lunettes spéciales pour mieux distinguer le "normal" du "bizarre".

Voici comment cela fonctionne, étape par étape :

1. L'Entraînement avec des "Intrus" (Outlier Exposure)

Au lieu de montrer au robot uniquement des photos de rues normales, les chercheurs lui montrent des photos où ils ont collé des objets bizarres (des chats, des chaises, des animaux) directement sur les routes normales.

• L'analogie : C'est comme si vous appreniez à un enfant à reconnaître les fruits en lui montrant une pomme, puis en collant un jouet en plastique sur la pomme. Vous lui dites : "Regarde, ici il y a une pomme, mais là, il y a un truc qui n'a pas sa place."

2. La Magie du "Contraste" (Contrastive Learning)

C'est le cœur de la découverte. Le modèle apprend deux choses en même temps :

1. La Probabilité (Le Flot) : Il continue à apprendre à modéliser la forme exacte des choses normales (comme un moule).
2. Le Contraste (La Séparation) : Il apprend activement à éloigner les objets bizarres des objets normaux dans son cerveau (son "espace latent").

• L'analogie : Imaginez une salle de bal.
  • Avant : Les gens normaux dansent ensemble, et les gens bizarres essaient de se fondre dans la foule. Le gardien ne sait pas qui est qui.
  • Avec FlowCLAS : Le gardien a une règle stricte. "Les gens normaux doivent danser au centre, et les gens bizarres doivent être poussés vers les murs, le plus loin possible du centre."
  • Grâce à cette règle, même si l'objet bizarre ressemble un peu à quelque chose de normal, le modèle sait qu'il doit être "repoussé" loin.

3. Le Résultat : Une Vision Claire

Quand le robot regarde une nouvelle image :

• S'il voit un objet qui rentre bien dans le "moule" normal, il dit : "Tout va bien."
• S'il voit un objet qui essaie de se cacher mais qui est "repoussé" par la force du contraste, il dit immédiatement : "STOP ! Anomalie détectée !"

🏆 Pourquoi c'est génial ?

Les chercheurs ont testé FlowCLAS sur des défis réels :

• Sur la route : Détecter des enfants déguisés, des animaux exotiques ou des chutes de pierres.
• Dans l'espace : Détecter des débris ou des outils tombés près des bras robotiques de la Station Spatiale Internationale.

Le verdict :
FlowCLAS bat tous les records précédents. Il est aussi performant que les méthodes les plus avancées (qui utilisent des millions d'exemples d'anomalies pour s'entraîner), mais il garde la sécurité et la clarté des modèles probabilistes.

🎯 En résumé

Imaginez que vous essayez de trouver une aiguille dans une botte de foin.

• Les anciennes méthodes regardaient la botte de foin et disaient : "Je ne vois pas d'aiguille, donc c'est sûr." (Parfois, ils se trompaient).
• FlowCLAS, lui, a appris à reconnaître la forme exacte du foin, mais il a aussi appris à repousser violemment tout ce qui ressemble à une aiguille. Résultat : il voit l'aiguille immédiatement, même si elle est cachée.

C'est une avancée majeure pour la sécurité des robots, car cela leur permet de ne plus être aveugles face à l'imprévu.

Résumé technique

1. Problématique

La segmentation d'anomalies est une capacité critique pour les applications robotiques sûres (comme la conduite autonome et la robotique spatiale), visant à détecter et localiser des objets ou des événements inattendus qui ne font pas partie des classes d'entraînement.

Bien que les Flux de Normalisation (Normalizing Flows - NF) soient des modèles génératifs prometteurs pour modéliser la distribution des données "normales" (inliers) et détecter les données hors distribution (OoD), ils présentent des limites majeures dans des scènes dynamiques et complexes :

• Complexité des distributions : Dans des environnements variés (éclairage, angles de vue, configurations d'objets multiples), les données "normales" forment des distributions multi-modales complexes que les NFs standard peinent à modéliser.
• Échec de la séparation latente : Les NFs traditionnels, optimisés uniquement par maximisation de la vraisemblance (Maximum Likelihood Estimation - MLE), tendent à se concentrer sur des statistiques de bas niveau (pixels) plutôt que sur le sémantique de haut niveau. Cela conduit souvent à attribuer une forte vraisemblance à des échantillons anormaux, créant un fossé de performance par rapport aux méthodes discriminatives supervisées.
• Manque de robustesse : Les méthodes purement non supervisées manquent de connaissances sur les outliers lors de l'entraînement, limitant leur capacité à distinguer clairement les anomalies.

2. Méthodologie : FlowCLAS

Les auteurs proposent FlowCLAS (Flow via Contrastive Learning for Anomaly Segmentation), un cadre hybride qui combine l'estimation de densité des Flux de Normalisation avec un apprentissage contrastif discriminatif.

Architecture et Flux de données :

1. Extraction de caractéristiques : Un encodeur de vision pré-entraîné et figé (ex: DINOv2) extrait des cartes de caractéristiques 2D d'images d'entrée.
2. Flux de Normalisation (NF) : Un réseau de flux de normalisation $f_\theta$ transforme ces caractéristiques en un espace latent $Z$, modélisé par une distribution gaussienne multivariée.
3. Exposition aux Outliers (Outlier Exposure - OE) : Pour entraîner le modèle, des objets anormaux sont copiés-collés à partir d'un jeu de données auxiliaire (ex: COCO) dans des images normales, créant un ensemble de données mixtes. Des images d'outliers purs sont également utilisées.

Objectif d'entraînement Hybride :
La fonction de perte totale combine quatre composantes pour optimiser le modèle :

• Perte de Vraisemblance Maximale ($L_{ml}$) : Force les régions normales à avoir une haute probabilité dans l'espace latent (modélisation générative).
• Perte Contrastive ($L_{con}$) : C'est l'innovation clé. En utilisant l'exposition aux outliers, cette perte (basée sur InfoNCE) force une séparation explicite dans l'espace latent entre les représentations des inliers et des outliers. Elle pénalise le modèle s'il mappe des features d'anomalies dans les régions de haute probabilité des données normales.
• Pertes de Segmentation ($L_{ce} + L_{Lovasz}$) : Une tête de segmentation légère est ajoutée pour améliorer la précision des frontières grâce à des pertes de classification croisée et Lovasz-Softmax.
• Lissage des scores : Une étape post-traitement utilise des masques (via SAM 2) pour lisser les scores d'anomalie au niveau de l'instance, assurant une cohérence au sein d'un même objet.

Inférence :
Lors de l'inférence, la tête de projection et de segmentation est omise. Le modèle calcule un score d'anomalie basé sur le log-vraisemblance : les régions avec une faible probabilité (loin du centre de la distribution gaussienne apprise) sont identifiées comme anormales.

3. Contributions Clés

1. Cadre Hybride FlowCLAS : Introduction d'un nouveau framework qui enrichit l'objectif de vraisemblance des NFs par une perte contrastive discriminative, permettant d'apprendre un espace latent séparable pour les scènes dynamiques.
2. Preuve de l'efficacité de l'apprentissage contrastif : Des études d'ablation démontrent que l'objectif contrastif est crucial pour la performance, surpassant d'autres stratégies basées sur les outliers (comme la simple minimisation de la vraisemblance des outliers) et permettant d'apprendre des caractéristiques sémantiques de haut niveau plutôt que de simples motifs de bas niveau.
3. Performance État-de-l'Art (SOTA) : FlowCLAS établit de nouveaux records sur quatre benchmarks exigeants en robotique : Fishyscapes Lost & Found, Road Anomaly, SegmentMeIfYouCan-ObstacleTrack, et ALLO (robotique spatiale).
4. Généralisabilité : La méthode fonctionne comme un module d'amélioration universel, améliorant significativement les performances de NFs existants (FastFlow, UFlow) lorsqu'ils sont équipés de cette approche.

4. Résultats Expérimentaux

Les expériences ont été menées sur des données de conduite autonome et de robotique spatiale (ISS).

• Conduite Autonome (FS-L&F, Road Anomaly) : FlowCLAS surpasse toutes les méthodes de référence, y compris les approches supervisées de pointe comme UNO.
  • Sur Fishyscapes Lost & Found, il atteint un AUPRC de 88,8 (vs 85,6 pour UNO) et un FPR95 de 0,7.
  • Sur Road Anomaly, il atteint un AUPRC de 93,0 et un FPR95 de 3,3.
• Robotique Spatiale (ALLO) : Dans des conditions de faible luminosité et de scènes dynamiques complexes, FlowCLAS détecte des objets entiers (ex: un hélicoptère) là où les méthodes non supervisées (FastFlow) échouent ou ne détectent que des parties visuelles distinctes. Il obtient un AUPRC de 88,4, réduisant l'écart avec les méthodes supervisées.
• Ablations :
  • L'ajout de l'exposition aux outliers (OE) seul améliore les résultats, mais l'ajout de la perte contrastive ($L_{con}$) apporte le gain le plus significatif.
  • La qualité de l'encodeur pré-entraîné est cruciale : l'utilisation de DINOv2 (pré-entraîné sur de vastes ensembles de données) est bien supérieure aux encodeurs pré-entraînés sur ImageNet-1k ou fine-tunés de manière trop spécifique (qui peuvent mener au surapprentissage).
  • Le lissage basé sur les masques améliore considérablement les performances de FlowCLAS (réduction du FPR95 de moitié sur ALLO), mais dégrade parfois les méthodes basées sur Mask2Former (comme UNO) en raison d'un décalage entre les masques prédits.

5. Signification et Impact

Le papier FlowCLAS est significatif car il résout un problème fondamental des modèles génératifs dans la robotique : leur incapacité à gérer la complexité sémantique des scènes réelles tout en conservant l'interprétabilité probabiliste.

• Combler le fossé : Il réussit à combler l'écart de performance entre les modèles génératifs (souvent non supervisés et interprétables) et les modèles discriminatifs supervisés (souvent des "boîtes noires").
• Sécurité : En fournissant une détection d'anomalies plus robuste et précise dans des environnements critiques (routes, espace), il améliore directement la sécurité opérationnelle des systèmes robotiques.
• Évolutivité : L'approche est conçue pour tirer parti des progrès futurs des modèles de fondation visuelle (Vision Foundation Models), garantissant que la méthode restera pertinente et performante à mesure que les capacités de représentation s'améliorent.

En résumé, FlowCLAS démontre que l'intégration de l'apprentissage contrastif dans les flux de normalisation permet de transformer ces modèles en outils puissants pour la segmentation d'anomalies dans des environnements dynamiques et complexes.