💻 computer science

Open-World Semantic Segmentation with Sensitivity Modeling

Cet article propose un nouveau cadre de segmentation sémantique en monde ouvert qui améliore la détection de contenus invisibles ou anormaux en intégrant un troisième « décodeur de sensibilité » pour capturer les irrégularités de texture fines et les instabilités d'activation, complétant ainsi les approches existantes basées sur les prototypes et l'apprentissage contrastif afin d'atteindre une segmentation d'anomalies et une découverte de nouvelles classes supérieures tout en maintenant la précision du jeu de données fermé.

Auteurs originaux : Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

Publié 2026-08-11

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à conduire une voiture. Vous lui montrez un million d'images de routes, de voitures et de piétons, et il apprend à étiqueter chaque pixel parfaitement. Mais ensuite, vous emmenez le robot dans le monde réel. Soudain, il voit une girafe géante, rose fluo, portant un chapeau, ou un tas de débris mystérieux et brillants sur l'autoroute. Dans le « monde fermé » de la salle de classe, le robot n'a pas d'étiquette pour ces choses. Au lieu de dire : « Je ne sais pas ce que c'est ! », il devine avec assurance : « C'est une voiture ! » ou « C'est un arbre ! ». Cette excès de confiance est dangereux. Si le robot pense qu'un tas de déchets est une route, il pourrait foncer dedans.

C'est le problème de la vision en « monde ouvert » (Open-World). Les scientifiques essaient de construire une IA qui ne se contente pas de reconnaître ce qu'elle connaît, mais qui repère aussi ce qu'elle ne connaît pas. Ils veulent que l'IA puisse dire : « C'est une voiture », et « C'est une étrange forme inconnue », avec la même certitude. Le défi est que la plupart des modèles d'IA sont comme des étudiants trop enthousiastes qui donnent une réponse même lorsqu'ils n'en ont aucune idée. Ils doivent trouver un moyen de ressentir de l'« incertitude » face à quelque chose d'étrange, sans avoir besoin qu'on leur montre un million d'exemples de chaque chose bizarre possible en premier.

Entrez en scène les chercheurs de l'Imperial College London, qui ont construit un nouveau genre de cerveau d'IA pour résoudre cela. Ils appellent leur méthode « Segmentation Sémantique en Monde Ouvert », mais voyez cela comme l'apprentissage d'un meilleur métier de détective pour le robot.

Le problème de l'ancien détective

Les tentatives précédentes pour résoudre ce problème utilisaient un système à « double décodeur ». Imaginez un détective avec deux assistants.

L'Assistant Sémantique : Ce gars est excellent pour reconnaître les suspects connus. Il regarde un pixel et dit : « C'est une route ! » ou « C'est une voiture ! » en se basant sur une liste mentale de catégories connues.
L'Assistant Contrastif : Ce gars observe l'« ambiance » de l'image. Il vérifie si les caractéristiques du pixel correspondent au schéma général des choses connues ou si elles flottent loin dans le « territoire inconnu ».

Le problème est que ces deux assistants regardent la vue d'ensemble. Ils sont comme des personnes debout sur une colline regardant une forêt ; ils peuvent voir la forme générale des arbres, mais ils pourraient rater un petit champignon étrange poussant à la base d'un arbre. Si un objet étrange est partiellement caché ou possède une texture bizarre, ces deux assistants pourraient quand même penser : « Hmm, ça ressemble assez à une voiture », et manquer l'anomalie. Ils sont trop grossiers, trop en retrait, pour capter l'étrangeté subtile et locale.

Le nouveau troisième détective : Le Décodeur de Sensibilité

Les auteurs de cet article ont réalisé qu'ils avaient besoin d'un troisième assistant, un assistant qui ne se soucie pas de ce que est l'objet, mais plutôt de comment l'IA se sent à son sujet. Ils l'appellent le Décodeur de Sensibilité (Sensitivity Decoder).

Considérez le Décodeur de Sensibilité comme un détective avec une loupe et un nez très sensible. Tandis que les deux autres assistants regardent les grandes formes et les distances, ce nouvel assistant zoome sur les détails infimes. Il recherche les « irrégularités d'activation ».

Voici l'analogie magique : Imaginez que le cerveau de l'IA soit un orchestre géant. Lorsqu'il voit une voiture normale, les musiciens (les neurones) jouent un air fluide et régulier. Mais lorsqu'il voit quelque chose de bizarre — comme un objet étrange partiellement caché — les musiciens commencent à bégayer, à jouer de manière désynchronisée ou à produire des notes aiguës qui n'ont pas leur place. Le Décodeur de Sensibilité est le chef d'orchestre qui écoute spécifiquement ces bégaiements et ces notes dissonantes. Il n'a pas besoin de savoir ce que est l'objet bizarre ; il sait simplement que la musique est « saccadée » et « instable ».

C'est une distinction cruciale. Les deux premiers assistants mesurent la distance (à quel point est-ce loin d'une voiture connue ?) et l'énergie (est-ce que cela ressemble à une chose connue ?). Le nouveau Décodeur de Sensibilité mesure l'instabilité. Il demande : « Est-ce que le propre cerveau de l'IA tremble en regardant ceci ? »

Comment cela fonctionne ensemble

Les chercheurs ont construit un système avec trois « têtes » (décodeurs) parallèles travaillant ensemble :

La Tête Sémantique : Identifie les choses connues (Route, Voiture, Personne).
La Tête Contrastive : Vérifie si les choses sont globalement bizarres (loin des motifs connus).
La Tête de Sensibilité : Vérifie la bizarrerie locale et fine (glitchs de texture, activations instables).

Ces trois têtes votent ensemble. Si la Tête de Sensibilité dit : « Waouh, cette texture est saccadée ! » et que les deux autres sont incertaines, le système signale la zone comme « Inconnue » ou « Anomalie ».

Les résultats : Attraper les glitchs

L'équipe a testé leur nouveau cerveau à trois têtes sur deux ensembles de données de conduite célèbres : Cityscapes (une collection d'images de rues urbaines) et BDD-Anomaly (des images remplies d'obstacles inattendus comme des débris ou des véhicules étranges).

Les résultats sont prometteurs. En ajoutant ce « Décodeur de Sensibilité », le système est devenu bien meilleur pour détecter les anomalies sans se tromper.

Sur l'ensemble de données BDD-Anomaly, leur méthode a amélioré la capacité de détection des anomalies de 2,4 % (mesuré par l'AUROC, un score qui indique la capacité du système à trouver les éléments indésirables).
Elle a également réduit le « Taux de Faux Positifs » (confondre des choses normales avec des choses bizarres) de 2,5 points de pourcentage.
Crucialement, elle a fait tout cela tout en restant aussi performante que les anciens modèles pour reconnaître les voitures et les routes normales.

Le meilleur dans tout ça ? Ce nouveau « Décodeur de Sensibilité » est incroyablement léger. Il ajoute moins de 1 million de paramètres au modèle (ce qui représente moins de 3,6 % de la taille totale du cerveau). C'est comme ajouter une petite oreille hyper sensible à un robot géant sans ralentir le robot. Il fonctionne à 24 images par seconde, ce qui est assez rapide pour une conduite en temps réel.

Ce que cela signifie

Cet article montre qu'en ajoutant une troisième couche de « sensibilité » qui recherche l'instabilité locale, nous pouvons rendre l'IA bien meilleure pour repérer l'inconnu. Les auteurs suggèrent que cette approche est un pas en avant solide car elle ne nécessite pas de montrer à l'IA des millions d'exemples de chaque chose bizarre possible. Au lieu de cela, elle apprend à l'IA à faire confiance à son propre « pressentiment » lorsque les données semblent instables.

Bien que l'article ne prétende pas avoir résolu le problème de la vision en monde ouvert pour toujours, il démonte que ce tour de force de la « sensibilité » est un outil puissant. Il prouve que parfois, pour trouver l'inconnu, il ne suffit pas de regarder de plus près l'image globale ; il faut écouter les petits bégaiements de la musique.

Résumé Technique : Segmentation Sémantique en Monde Ouvert avec Modélisation de la Sensibilité

Énoncé du Problème
Les systèmes de vision modernes opèrent souvent selon une hypothèse de « monde fermé », entraînés sur des ensembles de classes prédéfinis et fixes. Dans des scénages réels de « monde ouvert », les modèles sont confrontés à du contenu hors distribution (OOD) — tels que des débris routiers inattendus, de nouveaux types de véhicules ou des anomalies dépendantes du contexte. Les modèles de segmentation sémantique conventionnels ont tendance à produire des classifications erronées trop confiantes sur ce contenu novel, ce qui pose des risques de sécurité dans des applications comme la navigation autonome. Le défi central est la segmentation sémantique en monde ouvert : la tâche conjointe consistant à segmenter les classes connues tout en détectant et en regroupant le contenu novel ou anomal sans supervision supplémentaire. Cela nécessite un modèle capable d'être simultanément discriminatif pour les classes connues et appropriément incertain pour le contenu inconnu, des objectifs qui entrent souvent en conflit sous les paradigmes d'entraînement standards.

Les approches à double décodeur existantes tentent de résoudre cela en combinant une branche sémantique (modélisant les distributions de classes connues dans l'espace des logits) et une branche contrastive (structurant les normes d'embedding pour séparer les caractéristiques connues et inconnues de manière globale). Cependant, ces méthodes reposent sur des signaux agrégés grossièrement à l'échelle globale (distance des prototypes et normes d'embedding). Elles échouent souvent à capturer des indices locaux subtils indiquant des anomalies, tels que des motifs de texture irréguliers, des fréquences d'activation atypiques ou des incohérences aux frontières d'objets, qui peuvent être lissés par le pooling global et l'upsampling hiérarchique.

Méthodologie
Les auteurs proposent une architecture à trois décodeurs basée sur une conception encodeur-décodeur partagée. Le cadre étend la base à double décodeur (ContMAV) en introduisant un troisième objectif orthogonal : la modélisation de la sensibilité.

Encodeur Partagé : Un encodeur basé sur ResNet-34 (modifié avec des blocs NonBottleneck-1D, des modules Squeeze-and-Excitation et un Pyramid Pooling) extrait des cartes de caractéristiques multi-échelles. Les caractéristiques intermédiaires sont transmises aux décodeurs via des connexions de saut (skip connections).
Décodeur Sémantique ( $f_{sem}$ ) : Effectue une segmentation en ensemble fermé en utilisant des prototypes gaussiens pour les catégories connues. Il utilise un objectif multi-perte combinant la perte focale (focal loss), la perte Dice douce (soft dice loss) et une perte d'alignement de caractéristiques ( $L_{feat}$ ) qui pénalise les écarts par rapport aux prototypes gaussiens par classe, normalisés par l'écart-type par classe.
Décodeur Contrastif ( $f_{con}$ ) : Sépare les pixels connus des inconnus dans l'espace des caractéristiques. Il emploie une perte contrastive pour aligner les moyennes de caractéristiques normalisées par classe avec les prototypes historiques sur une hypersphère unité, et une perte d'objectosphère (objectosphere loss) pour imposer une séparation radiale (repoussant les pixels connus loin de l'origine et attirant les pixels inconnus vers elle). La norme de l'embedding non normalisé sert de proxy global d'inconnu (unknownness).
Décodeur de Sensibilité ( $f_{sen}$ ) : C'est la contribution clé de l'article. Conçu pour capturer l'incertitude fine et locale découlant des irrégularités d'activation et des anomalies de texture, il traite les cartes de caractéristiques de l'encodeur à partir de trois niveaux pyramidaux indépendamment. Chaque niveau utilise une tête légère (trois couches de convolution $1\times1$ $1 \times 1$ avec normalisation de couche et ReLU). Les cartes de sensibilité par échelle résultantes sont suréchantillonnées (upsampled), fusionnées par sommation élément par élément, et passées à travers une fonction sigmoïde pour produire une carte d'incertitude par pixel.
- Signal d'Entraînement : $f_{sen}$ est entraîné via une entropie croisée binaire contre des « étiquettes de proxy inconnu ». Ces étiquettes sont générées à partir d'annotations de vide dans le jeu de données et de patchs OOD synthétisés via l'augmentation CutPaste.
- Complémentarité : Contra\à l'une des autres branches, $f_{sen}$ ne prédit pas l'appartenance à une classe ou la distance des caractéristiques ; il apprend spécifiquement où le modèle devrait être incertain en se basant sur l'instabilité de l'activation locale.

Inférence et Fusion
Le score d'inconnu final est dérivé par la fusion des signaux de tous les décodeurs :

L'inconnu sémantique est dérivé de la vraisemblance gaussienne des logits sémantiques.
Le score d'anomalie contrastive et la carte de sensibilité sont moyennés.
Le score final est la moyenne des scores sémantiques et de la sensibilité contrastive.
Avant la fusion, tous les scores sont normalisés par min-max par image pour éviter la dominance d'échelle. Les pixels dépassant un seuil ( $\delta=0,99$ ) sont étiquetés comme inconnus ; les autres adoptent l'étiquette du décodeur sémantique.

Contributions Clés

Décodeur de Sensibilité : Un nouveau module pour la modélisation de l'incertitude à grain fin, conceptuellement distinct de l'incertitude basée sur les prototypes et les normes, spécifiquement conçu pour détecter les frontières ambiguës et les anomalies de texture.
Architecture Unifiée : Une architecture à trois décodeurs entièrement convolutionnelle entraînée de bout en bout sur un seul GPU grand public, ne nécessitant ni pipelines multi-étapes ni supervision supplémentaire pour les classes nouvelles.
Évaluation Complète : Démonstration d'améliorations constantes par rapport à la méthode de base en utilisant à la fois des métriques en ensemble fermé (mIoU) et des métriques dédiées au monde ouvert (AUROC, AUPR, FPR@95TPR).

Résultats Expérimentaux
La méthode a été évaluée sur Cityscapes (ensemble fermé) et BDD-Anomaly (monde ouvert).

Performance en Ensemble Fermé : Sur Cityscapes, la méthode proposée a atteint un mIoU de 69,88 %, surpassant la base ContMAV reproduite (69,28 %) et d'autres méthodes de monde ouvert comme DMLNet et RAML.
Performance en Monde Ouvert : Sur BDD-Anomaly, la méthode a considérablement amélioré les métriques de détection d'anomalies :
- AUROC : Augmentation de 63,4 % (base) à 65,8 %.
- AUPR : Augmentation de 41,8 % à 44,3 %.
- FPR@95TPR : Réduction de 67,4 % à 64,9 % (plus bas est meilleur).
Efficacité : Le décodeur de sensibilité ajoute moins de 1 million de paramètres (<3,6 % du modèle total) et introduit un surcoût computationnel négligeable, maintenant une vitesse d'inférence de 24 fps (contre 23 fps pour la base) sur un GPU NVIDIA L40s.

Signification et Revendications
L'article affirme que les trois décodeurs fournissent des signaux véritablement complémentaires : la distance de classe OOD dans l'espace des logits, l'énergie des caractéristiques globales dans l'espace d'embedding, et l'instabilité d'activation locale à travers les échelles de l'encodeur. Les études d'ablation confirment que chaque composant répond à un aspect distinct du problème du monde ouvert, le décodeur de sensibilité bénéficiant spécifiquement à la détection des régions inconnues sans dégrader la précision de l'ensemble fermé. Les auteurs positionnent leur approche comme une solution légère à une seule étape qui évite les backbones lourds et les calendriers d'entraînement complexes à plusieurs étapes (ex: RAML) tout en atteignant une performance supérieure dans la détection d'anomalies subtiles que les signaux globaux manquent. Les travaux futurs visent à explorer des stratégies de fusion apprises et une synthèse OOD plus riche pour la branche de sensibilité.