Open-Vocabulary Domain Generalization in Urban-Scene Segmentation

Cet article introduit le nouveau cadre de la généralisation de domaine à vocabulaire ouvert pour la segmentation sémantique urbaine, accompagné d'un benchmark dédié et d'une méthode innovante nommée S2-Corr, qui améliore la robustesse des modèles face aux changements de domaine et aux catégories inédites en affinant les corrélations texte-image.

L'essentiel

Imaginez que vous apprenez à conduire une voiture autonome. Vous l'entraînez dans une ville ensoleillée, avec des routes propres et des panneaux de signalisation clairs. C'est votre "monde connu".

Mais que se passe-t-il si cette voiture doit conduire :

1. Dans une tempête de neige (un environnement différent) ?
2. Dans un chantier routier avec des cônes et des barrières qu'elle n'a jamais vus ?
3. Dans une ville étrangère avec des architectures totalement nouvelles ?

Les voitures autonomes actuelles sont comme des élèves très studieux mais rigides : elles savent reconnaître les objets qu'elles ont vus à l'école (la route, le ciel, les voitures), mais elles paniquent dès qu'elles rencontrent quelque chose de nouveau ou dans une lumière différente.

C'est là qu'intervient cette nouvelle recherche, présentée par Dong Zhao et son équipe. Ils proposent une solution pour rendre ces "yeux numériques" plus intelligents et adaptables. Voici l'explication simple, avec quelques images mentales.

1. Le Problème : Le "Choc des Réalités"

Aujourd'hui, il existe deux types d'intelligences artificielles pour la vision :

• Les experts du "Domaine" (DG) : Ils sont très forts pour s'adapter à la pluie, au brouillard ou à la nuit, mais ils ne connaissent que les objets de leur liste d'entraînement. Si vous leur montrez un "cône de chantier", ils ne savent pas ce que c'est.
• Les experts du "Vocabulaire" (OV) : Ils peuvent reconnaître n'importe quel objet (un chat, un parapluie, un robot) grâce à leur connexion avec le langage humain. Mais ils sont fragiles : si la lumière change ou si le décor est différent, ils se trompent souvent.

L'analogie du traducteur :
Imaginez un traducteur qui connaît parfaitement le français et l'anglais (les objets connus).

• Si vous lui parlez dans un bureau calme, il traduit parfaitement.
• Mais si vous lui parlez dans un stade bruyant (changement de domaine) ou si vous utilisez des mots argotiques qu'il n'a jamais entendus (nouveaux objets), il perd le fil.

Les chercheurs disent : "Pourquoi ne pas avoir un traducteur qui reste calme dans le bruit ET qui comprend les nouveaux mots ?"

2. La Solution : OVDG-SS (Le Super-Traducteur)

Ils ont créé un nouveau défi (un "benchmark") pour tester cette capacité : OVDG-SS. C'est l'acronyme pour "Segmentation Sémantique à Vocabulaire Ouvert et Généralisation de Domaine".

En termes simples, c'est la capacité d'une IA à :

1. Reconnaître des objets qu'elle n'a jamais vus (vocabulaire ouvert).
2. Le faire dans des conditions qu'elle n'a jamais vues (domaine ouvert).

3. La Magie : S2-Corr (Le Filtre Anti-Brouillard)

Le cœur de leur invention est un module appelé S2-Corr. Pour comprendre comment ça marche, utilisons une autre analogie.

Le problème actuel :
Quand une IA regarde une photo de nuit sous la pluie, le lien entre l'image (ce qu'elle voit) et le texte (ce qu'elle lit dans son dictionnaire) devient "bruyant". C'est comme essayer d'écouter une radio avec beaucoup d'interférences. L'IA commence à confondre un "tunnel" avec un "trou noir" ou un "cône" avec un "arbre".

La solution S2-Corr :
Imaginez que S2-Corr est un filtre à eau ultra-perfectionné ou un chef d'orchestre.

• Le Filtre (Modulation) : Avant de laisser l'information passer, le filtre ajuste le signal en fonction de la "météo" actuelle. Si c'est la nuit, il dit : "Attends, je vais ajuster mes oreilles pour mieux entendre les formes sombres."
• Le Chef d'Orchestre (État-Espace) : Au lieu de laisser toutes les notes de musique (les pixels) se mélanger en une cacophonie, S2-Corr utilise une technique appelée "État-Espace". C'est comme un chef qui écoute les musiciens un par un, dans un ordre précis, en gardant le rythme.
  • Il a un mécanisme de "décroissance" : Si une note est trop bruyante (une erreur due à la pluie), il l'atténue doucement pour qu'elle ne gâche pas toute la symphonie.
  • Il utilise une stratégie "Serpent" : Au lieu de lire l'image ligne par ligne (ce qui crée des coupures), il la lit en zigzag, comme un serpent qui serpente. Cela permet de garder la continuité des formes, même dans les zones complexes.

4. Les Résultats : Une Voiture Plus Sûre

Grâce à cette méthode, leur modèle (S2-Corr) est :

• Plus rapide : Il ne perd pas de temps à recalculer tout le chaos.
• Plus précis : Il reconnaît mieux les objets dans la neige, la nuit ou les chantiers.
• Plus économe : Il utilise moins de mémoire d'ordinateur.

En résumé :
Cette recherche donne aux voitures autonomes (et à toutes les IA de vision) une sorte de "résilience". Au lieu d'être des élèves qui apprennent par cœur une leçon spécifique, elles deviennent des explorateurs capables de s'adapter à n'importe quel terrain et de nommer n'importe quel objet qu'ils croisent, même s'ils ne l'ont jamais rencontré auparavant.

C'est un pas de géant vers des systèmes intelligents qui ne se perdent pas dans le monde réel, aussi imprévisible soit-il.

Résumé technique

1. Problématique et Contexte

La segmentation sémantique est cruciale pour la conduite autonome, mais les modèles actuels souffrent de deux limitations majeures lorsqu'ils sont déployés dans des environnements réels et dynamiques :

1. Généralisation de domaine (DG-SS) : Les modèles entraînés sur des conditions spécifiques (ex: jour ensoleillé) échouent souvent face à des changements de domaine (ex: nuit, pluie, brouillard, régions géographiques différentes).
2. Vocabulaire fermé : Les méthodes traditionnelles ne reconnaissent que les classes présentes dans leurs données d'entraînement. Elles ne peuvent pas identifier des objets nouveaux ou inattendus (ex: un cône de chantier, un véhicule de police, un animal).

Bien que la Segmentation Sémantique à Vocabulaire Ouvert (OV-SS) permette de reconnaître de nouveaux concepts grâce aux modèles Vision-Language (VLM) comme CLIP, ces modèles restent très sensibles aux décalages de domaine (domain shifts). Ils perdent leur robustesse et leur précision lorsqu'ils sont transférés vers des environnements non vus, car les corrélations texte-image pré-entraînées deviennent bruyantes et mal alignées.

Le défi central : Comment concevoir un système capable de généraliser simultanément à des domaines non vus (changement de conditions) et à des classes non vues (nouveaux objets), sans nécessiter de réentraînement massif ?

2. Définition de la Nouvelle Tâche : OVDG-SS

Les auteurs introduisent une nouvelle tâche appelée Open-Vocabulary Domain Generalization in Semantic Segmentation (OVDG-SS).

• Objectif : Entraîner un modèle sur un ensemble de données source (domaine et classes connus) pour qu'il fonctionne de manière robuste sur plusieurs domaines cibles non vus, tout en reconnaissant un vocabulaire de classes beaucoup plus large (incluant des classes non vues lors de l'entraînement).
• Benchmarks : L'équipe a construit le premier benchmark complet pour l'OVDG-SS dans le contexte de la conduite autonome. Il couvre :
  • Des généralisations Synthétique vers Réel (GTA-7 vers des données réelles).
  • Des généralisations Réel vers Réel (Cityscapes vers des conditions extrêmes comme ACDC, BDD, Mapillary).
  • Des scénarios variés : météo adverse, illumination différente, régions géographiques distinctes, et environnements de chantier (construction).

3. Méthodologie : S2-Corr

L'analyse des méthodes existantes (comme CAT-Seg) révèle que les décalages de domaine corrompent les cartes de corrélation initiales entre l'image et le texte, générant du bruit qui se propage via les mécanismes d'attention. Pour résoudre cela, les auteurs proposent S2-Corr, un module de raffinement de corrélation piloté par un modèle d'espace d'états (State-Space Model - SSM).

Architecture et Composants Clés

S2-Corr remplace les mécanismes d'attention par une approche séquentielle basée sur les SSM (inspirée de Mamba), offrant trois innovations majeures :

1. Modulation avant agrégation (Modulation Before Aggregation) :

   • Avant d'agréger les informations, le modèle injecte des indices spécifiques au domaine dans les embeddings de corrélation.
   • Cela se fait via une modulation conditionnelle par l'image (guidage visuel) et par le texte (prompts textuels multi-domaines, ex: "une photo de {classe} sous la pluie"). Cela aide le modèle à adapter la représentation sémantique aux conditions actuelles.

2. Mécanisme de décroissance géométrique apprenable (Learnable Geometric Decay Prior) :

   • Les SSM utilisent une porte de décroissance ($A_t$) pour contrôler la rétention des informations passées.
   • S2-Corr introduit un prior géométrique ($\gamma$) qui impose une atténuation structurelle du bruit à longue portée, combinée à une porte apprenable. Cela permet de supprimer efficacement les activations erronées causées par le décalage de domaine tout en conservant les informations pertinentes.

3. Stratégie de balayage en forme de serpent par blocs (Chunk-wise Snake Scanning) :

   • Pour traiter les images 2D de manière séquentielle (nécessaire aux SSM), l'image est divisée en blocs (chunks).
   • Au lieu d'un balayage ligne par ligne simple, une stratégie en "serpent" alterne la direction de lecture entre les lignes adjacentes.
   • L'état final d'un bloc est transmis au suivant, assurant une continuité spatiale fluide et réduisant les discontinuités aux frontières des blocs, tout en maintenant une complexité linéaire.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark OVDG-SS avec des backbones ViT-B/16 et ViT-L/14 (EVA02).

• Performance Supérieure : S2-Corr surpasse systématiquement les méthodes de l'état de l'art (CAT-Seg, MaskAdapter, CLIPSelf, etc.) dans les deux scénarios (Synthétique→Réel et Réel→Réel).
  • Exemple (Réel→Réel, ViT-B/16) : S2-Corr atteint 50,3 % de mIoU sur le groupe Dv-19, surpassant la meilleure méthode précédente de 4,3 points.
  • Exemple (Synthétique→Réel, ViT-L/14) : S2-Corr atteint 49,9 % sur Dv-19, avec des gains constants sur les classes vues et non vues.
• Efficacité Computationnelle :
  • Contrairement aux méthodes basées sur l'attention qui voient leur débit chuter drastiquement avec l'augmentation du vocabulaire, S2-Corr maintient un débit élevé (26,1 FPS pour un vocabulaire de 19 classes, contre 15,4 FPS pour CAT-Seg).
  • Il consomme moins de mémoire GPU (9,2 Go vs 13,8 Go) et nécessite moins de temps d'entraînement.
• Robustesse aux Classes Non Vues : La méthode démontre une capacité exceptionnelle à segmenter des objets inconnus (ex: barrières, cônes, tunnels) dans des conditions difficiles, là où les méthodes DG-SS classiques échouent totalement.

5. Contributions et Signification

Contributions principales :

1. Nouveau Setting (OVDG-SS) : Définition et analyse d'un problème unifié combinant généralisation de domaine et vocabulaire ouvert, comblant le fossé entre la recherche académique et les besoins réels de sécurité routière.
2. Benchmark Complet : Création du premier jeu de données exhaustif pour l'OVDG-SS, incluant des généralisations synthétique-réel et réel-réel avec plus de 30 catégories supplémentaires liées à la conduite.
3. Algorithme S2-Corr : Proposition d'un module de raffinement de corrélation innovant utilisant les SSM pour stabiliser les modèles VLM face aux décalages de domaine, surpassant les mécanismes d'attention traditionnels.

Signification :
Ce travail est une avancée majeure pour la conduite autonome. Il démontre qu'il est possible de créer des systèmes de perception qui ne sont pas seulement robustes aux changements de conditions météorologiques ou géographiques, mais qui peuvent aussi comprendre et segmenter des objets imprévus (comme un chantier ou un animal traversant la route) sans réentraînement. L'approche S2-Corr offre un équilibre optimal entre précision, robustesse et efficacité, posant les bases pour des systèmes de perception ouverts et fiables dans le monde réel.