💻 computer science

Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Exploring Query-Based Segmentation and Increased Spatial Context for Outdoor Scene Understanding

Ce rapport technique détaille une soumission au défi ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation qui atteint un mIoU de 69,6 % en améliorant une base SegFormer avec des recadrages d'entraînement plus larges, une transition vers l'architecture Mask2Former basée sur les requêtes, et une augmentation au moment du test pour améliorer la compréhension des scènes extérieures.

Auteurs originaux : David Pascual-Hernández, Roberto Calvo-Palomino, Inmaculada Mora-Jiménez, Jose María Cañas-Plaza

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Pascual-Hernández, Roberto Calvo-Palomino, Inmaculada Mora-Jiménez, Jose María Cañas-Plaza

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à « voir » le monde extérieur, non pas comme un flou de vert et de gris, mais comme une carte détaillée de choses spécifiques : un type précis de buisson, une zone de boue humide, un arbre lointain ou un panneau de signalisation spécifique. C'est le défi que les auteurs de ce document ont relevé pour une compétition de robotique appelée GOOSE.

Voici une décomposition simple de ce qu'ils ont fait, en utilisant des analogies de la vie quotidienne.

Le Problème : Le défi de la « vision floue »

Les environnements extérieurs sont désordonnés. Contrağment à une rue en ville avec des lignes claires, la nature est pleine de choses qui se ressemblent énormément. Est-ce un tas de terre ou un rocher ? Est-ce une zone humide sur la route ou une flaque d'eau ? Est-ce un arbre au premier plan ou une partie de la forêt lointaine ?

Les auteurs devaient construire un système de vision par ordinateur capable de distinguer ces différences subtiles. Ils disposaient d'une immense bibliothèque de photos (plus de 13 000) prises par des robots dans différentes conditions météorologiques et terrains, mais la tâche restait incroyablement difficile car les « classes » (catégories) étaient très spécifiques et nombreuses.

La Solution : Une mise à niveau en trois étapes

L'équipe est partie d'un modèle standard et fiable (comme une bonne paire de lunettes) et l'a amélioré de trois manières spécifiques pour lui donner une « super-vision ».

1. Changer le cerveau : du « pixel par pixel » au « basé sur des requêtes »

L'ancienne méthode (SegFormer) : Imaginez essayer d'identifier une personne dans une foule en regardant chaque pixel de son t-shirt, un par un, et en devinant ce que c'est. C'est lent et cela conduit souvent à des erreurs car on perd la vue d'ensemble.
La nouvelle méthode (Mask2Former) : Les auteurs sont passés à un système « basé sur des requêtes » (query-based). Pensez à cela comme un détective qui pose des questions spécifiques : « Où est la voiture ? » « Où est l'arbre ? » Au lieu de deviner chaque pixel, le modèle envoie des « détectives » (requêtes) qui cherchent des objets entiers. Ils se concentrent sur la forme et toute la zone de l'objet. Cela a aidé le robot à comprendre qu'un « poteau » est un objet unique et fin, plutôt qu'une simple collection de pixels gris.

2. Dézoomer : L'« objectif grand angle »

Le problème : Si vous prenez la photo d'un tronc d'arbre en zoomant tellement près que vous ne voyez que l'écorce, vous pourriez penser que c'est un rocher ou un mur parce que vous ne voyez pas les feuilles ou le ciel.
La solution : Les auteurs ont arrêté d'entraîner leur modèle sur de petits carrés zoomés de l'image. Au lieu de cela, ils lui ont fourni des morceaux beaucoup plus larges de la photo (comme passer d'un carré de 512x512 pixels à un de 1024x1024).
Le résultat : Cela a donné du « contexte » au modèle. Il pouvait comprendre que le « rocher » était en fait un tronc d'arbre parce qu'il pouvait aussi voir les branches et le ciel au-dessus. C'est la différence entre essayer d'identifier une personne en ne voyant que sa chaussure et en voyant tout son corps et où elle se tient.

3. L'astuce du « deuxième avis » (Augmentation au moment du test)

L'astuce : Avant que le modèle ne fasse sa supposition finale, les auteurs lui ont montré la même image trois fois : une fois normalement, une fois légèrement dézoomée, et une fois retournée horizontalement.
Le résultat : C'est comme demander à trois personnes différentes de regarder une photo floue, puis de voter sur ce qu'elles voient. Si les trois sont d'accord, la réponse est probablement correcte. Cela a rendu le résultat final beaucoup plus fiable.

Les Résultats : À quel point cela a-t-il fonctionné ?

L'équipe a testé leur nouveau système contre l'ancien :

La mise à niveau : Le simple fait de dézoomer (en utilisant des images plus grandes) a considérablement amélioré le score. Passer au style « détective » (Mask2Former) l'a encore plus amélioré.
Le score final : Leur système final a obtenu un score de 69,6 % lors du test officiel. Dans la compétition, cela leur a permis de se classer 5ème sur toutes les équipes.
Ce qu'ils ont réussi : Ils ont excellé dans l'identification de choses grandes et communes comme le ciel, la végétation et le terrain (atteignant plus de 90 % de précision).
Ce qui restait difficile : Ils ont eu du mal avec des éléments rares ou complexes, comme les « animaux » ou l'« eau », ce qui est attendu car ils sont difficiles à repérer et apparaissent moins souvent dans les photos d'entraînement.

Ce qu'il faut retenir

Le document prouve deux choses principales pour la navigation des robots en extérieur :

Le contexte est roi : On ne peut pas comprendre une petite partie de la nature si l'on ne peut pas voir toute la scène environnante. Donner au robot une vue plus large le rend beaucoup plus intelligent.
Posez les bonnes questions : Au lieu de simplement scanner des pixels, utiliser un système qui cherche activement des objets spécifiques (requêtes) crée des cartes du monde beaucoup plus nettes et précises.

Les auteurs ont partagé leur code et leurs « poids cérébraux » en ligne afin que d'autres chercheurs puissent utiliser cette « super-vision » pour aider leurs propres robots à naviguer dans la nature.

Résumé Technique : Soumission au Défi de Segmentation Sémantique Fine-Grained 2D GOOSE

Énoncé du Problème

Le document traite du Défi de Segmentation Sémantique Fine-Grained 2D GOOSE, organisé pour l'atelier ICRA 2026 sur la robotique de terrain. Le problème central concerne la segmentation sémantique dans des environnements extérieurs non structurés, ce qui présente des difficultés uniques par rapport aux milieux urbains. Ces défis incluent :

Discrimination fine (fine-grained) : Distinguer un grand nombre de classes de terrains et d'obstacles visuellement similaires (56 classes fines et 11 catégories plus larges).
Distributions à longue traîne (long-tailed distributions) : Un déséquilibre significatif où certaines classes sont abondantes tandis que d'autres sont sévèrement sous-représentées.
Robustesse trans-domaine : La nécessité de généraliser à travers divers environnements, conditions météorologiques et plateformes robotiques.
Rareté des données : La disponibilité limitée de données annotées pour les scènes extérieures a historiquement entravé les progrès.

Le défi utilise les jeux de données unifiés GOOSE et GOOSE-Ex, comprenant plus de 13 000 images annotées de manière dense, capturées à partir de quatre configurations de caméras distinctes.

Méthodologie

L'approche des auteurs a évolué d'une ligne de base standard vers une architecture plus sophistiquée, en se concentrant sur deux variables primaires : l'architecture du modèle et le contexte spatial fourni lors de l'entraînement.

1. Transition Architecturale : De SegFormer à Mask2Former

Ligne de base (SegFormer) : Les auteurs ont initialement utilisé SegFormer (variante B2, pré-entraînée sur Cityscapes), un encodeur Transformer hiérarchique avec un décodeur MLP léger. Cela a servi de ligne de base efficace sur le plan computationnel pour une exploration rapide.
Modèle Proposé (Mask2Former) : Le principal changement architectural a été le passage à Mask2Former (utilisant un backbone Swin-L, pré-entraîné sur Cityscapes). Ce modèle traite la segmentation comme un problème de classification de masques par requêtes (query-based mask classification). Au lieu d'une classification au niveau du pixel, il utilise un ensemble fixe de requêtes pour prédire les masques de segmentation et les catégories sémantiques via une attention masquée. Les auteurs émettent l'hypothèse que cela est supérieur pour les tâches fine-grained car le modèle raisonne sur des régions sémantiques cohérentes, exploitant l'étendue, la forme et le contexte des objets pour lever l'ambiguïté entre des classes visuellement similaires.

2. Configuration d'Entraînement et Contexte Spatial

Analyse de la Taille de Recadrage (Crop Size) : Une composante critique de l'étude a été l'analyse empirique des tailles de recadrage d'entraînement. Les modèles ont été entraînés avec des recadrages de soit 512 × 512 ou 1024 × 1024 pixels. Les auteurs ont postulé que des recadrages plus larges préservent les indices contextuels au niveau de la scène, nécessaires pour lever l'ambiguïté entre des catégories visuellement similaires.
Augmentation de Données : Un pipeline d'augmentation robuste a été employé, incluant le redimensionnement aléatoire, le retournement horizontal, la dérive de couleur (color jittering) et des perturbations de la qualité d'image (bruit gaussien, flou, netteté).
Augmentation au Moment du Test (TTA) : La soumission finale a utilisé la TTA avec trois facteurs d'échelle (0,75, 1,0, 1,25) et le retournement horizontal pour améliorer la robustesse des prédictions.
Optimisation : Les modèles ont été entraînés avec AdamW avec une décroissance de taux d'apprentissage cosinus sur 50 époques. SegFormer utilisait une perte de cross-entropie par pixel, tandis que Mask2Former utilisait une combinaison pondérée de cross-entropie, de perte de masque de cross-entropie binaire et de perte Dice.

Résultats Clés

Les auteurs ont mené une étude d'ablation sur l'ensemble de validation (1 369 images) et ont rapporté les résultats finaux sur l'ensemble de test du défi.

Performance Quantitative

Impact de la Taille de Recadrage : Augmenter la taille du recadrage d'entraînement de 512×512 à 1024×1024 a généré des gains significatifs. Pour SegFormer, l'IoU composite ( $mIoU_{comp}$ ) est passé de 58,4 % à 61,5 %. Pour Mask2Former, cette augmentation est encore plus prononcée, bondissant de 67,5 % à 73,4 %.
Comparaison d'Architecture : Passer de SegFormer à Mask2Former (à 512×512) a entraîné une augmentation de +9,1 points de l' $mIoU_{comp}$ .
Soumission Finale : La combinaison de Mask2Former, d'un entraînement à grand recadrage et de la TTA a permis d'atteindre un $mIoU_{comp}$ final de 69,6 % sur l'ensemble de test, décrochant la 5ème place de la compétition.
- mIoU Grossier (Coarse) : 76,6 %
- mIoU Fin (Fine) : 62,7 %

Observations par Catégorie

Haute Performance : Les catégories fréquentes comme le Terrain, la Végétation et le Ciel ont atteint plus de 90 % d'IoU.
Défis : Les classes sous-représentées telles que "Animal" (26,9 %) et "Eau" (58,8 %) sont restées difficiles.
Ambiguïté Sémantique : Un écart notable existait entre "Véhicule" (92,6 % d'IoU) et "Objet" (62,7 %). Les auteurs attribuent la performance moindre sur "Objet" à sa nature hétérogène, qui crée des frontières ambiguës avec d'autres catégories.

Résultats Qualitatifs

Préservation Structurelle : Mask2Former a démontré une capacité supérieure à préserver les structures fines (ex: poteaux, fils) par rapport à SegFormer, grâce à son décodeur de pixels qui évite la perte de caractéristiques à haute résolution.
Cohérence : Mask2Former a produit des masques plus cohérents spatialement, segmentant correctement des formes complexes (ex: remorques) là où SegFormer produisait des résultats fragmentés.
Raisonnement Contextuel : L'entraînement à grand recadrage a permis au modèle de distinguer des apparences locales visuellement similaires grâce au contexte global. Par exemple, le modèle a pu différencier les "arbres de premier plan" de la "forêt" (où les arbres individuels sont indistincts) en analysant la visibilité des troncs et la distance par rapport au véhicule. De même, il a correctement identifié un mur flou comme un mur plutôt qu'une haie en exploitant la présence de la route et la forme globale de la structure.

Signification et Revendications

L'article affirme que ses conclusions fournissent une ligne de base solide pour la segmentation sémantique fine-grained dans les environnements extérieurs. La signification du travail est résumée comme suit :

Efficacité des Approches par Requêtes : L'étude démonte que la classification de masques par requêtes (Mask2Former) surpasse significativement les architectures de prédiction dense conventionnelles (SegFormer) pour la compréhension des scènes extérieures fine-grained.
Rôle Critique du Contexte Spatial : Les auteurs soulignent qu'augmenter le contexte spatial lors de l'entraînement (via des tailles de recadrage plus grandes) est essentiel pour la levée d'ambiguïté fine-grained. Cela permet aux modèles de tirer parti des indices au niveau de la scène pour séparer des éléments visuellement similaires appartenant à différentes catégories sémantiques.
Reproductibilité : Pour faciliter la recherche future, les auteurs ont rendu leur code et leurs poids publics, établissant une fondation reproductible pour les travaux futurs dans ce domaine.

L'article conclut que bien que des défis subsistent pour les classes à longue traîne et ambiguës, la combinaison d'architectures basées sur les requêtes et d'un contexte spatial étendu offre une voie robuste pour la compréhension des scènes extérieures.