💻 computer science

SAM3 Self-Distillation for Fine-Grained GOOSE 2D Semantic Segmentation

Ce document présente la solution de segmentation sémantique fine 2D de la compétition GOOSE ICRA 2026 ayant obtenu la 4e place, laquelle atteint un mIoU de 69,73 % en adaptant le modèle de fondation SAM3 avec un décodeur léger et en améliorant les performances grâce à un schéma d'auto-distillation, une augmentation de temps d'exécution multi-échelle au niveau de l'image et une distorsion photométrique agressive.

Auteurs originaux : Xuesong Wang

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuesong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à conduire hors piste, mais qu'au lieu de simplement voir « un arbre » ou « un rocher », le robot doive distinguer 64 types d'objets spécifiques, comme « l'herbe basse », « les buissons », « la mousse » et « les trottinettes ». C'est le défi que l'auteur, Xuesong Wang, a relevé pour la compétition ICRA 2026 GOOSE. L'objectif était de construire un système capable d'étiqueter chaque pixel d'une image caméra avec le nom correct de l'objet.

L'entrée de l'auteur a obtenu la 4ème place avec un score de 69,73 %. Voici comment ils ont procédé, expliqué à travers des analogies simples.

L'idée centrale : Un étudiant intelligent et un super-professeur

L'équipe n'a pas construit le cerveau de leur robot à partir de zéro. Au lieu de cela, ils ont utilisé un « super-professeur » pré-entraîné appelé SAM3 (Segment Anything Model 3). Considérez SAM3 comme un artiste de génie qui a vu des millions d'images et sait exactement comment dessiner le contour de presque n'importe quel objet si on le lui indique.

Cependant, ce génie est un peu rigide ; il ne fonctionne bien que sur des invites spécifiques et ne connaît pas les 64 classes spécifiques du « hors-piste » que le robot doit apprendre.

La solution :

L'étudiant : Ils ont pris le « cerveau » (l'encodeur d'image) du génie professeur (SAM3) et lui ont donné une « tête » (décodeur) petite et simple pour apprendre les classes spécifiques du hors-piste.
Entraînement partiel : Ils n'ont pas réentraîné tout le cerveau du génie. Ils ont seulement ajusté les couches supérieures (la partie qui gère les détails complexes) tout en laissant les couches inférieures (qui connaissent les formes et les bords de base) gelées. C'est comme embaucher un chef étoilé pour enseigner dans un nouveau restaurant ; vous ne le réentraînez pas sur la façon de couper des oignons (il sait déjà faire), vous lui apprenez juste votre sauce secrète spécifique.

Les trois ingrédients secrets

L'article souligne trois astuces spécifiques qui ont boosté le score :

1. L'auto-distillation par « Boîte Oracle » (Le professeur aide l'étudiant)

Habituellement, un étudiant apprend d'un professeur en le regardant résoudre un problème. Ici, l'étudiant (le robot) et le professeur (SAM3) appartiennent en fait à la même famille de modèles.

L'astuce : Avant l'entraînement, l'équipe a demandé au « génie professeur » (SAM3) de dessiner des contours parfaits autour des objets en utilisant les boîtes de vérité terrain (ground-truth) correctes (comme une feuille de triche).
Le piège : Le professeur n'est pas parfait en tout. Il est excellent pour dessiner un « camion » ou un « arbre », mais très mauvais pour les « clôtures » ou la « mousse » (il dépasse des lignes).
La correction : L'équipe n'a laissé le professeur aider que pour les classes où il était clairement meilleur que l'étudiant. Pour ces 22 classes spécifiques (comme les camions, les bus et les cônes de signalisation), l'étudiant était forcé de copier le dessin parfait du professeur. Pour les autres classes, l'étudiant apprenait par lui-même.

2. Le « Changement de couleur agressif » (La leçon la plus difficile)

Les scènes hors-piste changent radicalement : la neige en hiver, la boue au printemps, le soleil éclatant en été et la pluie en automne. Un robot qui repose sur le fait que « le vert signifie l'herbe » échouera lorsque l'herbe sera recouverte de neige ou paraîtra brune en hiver.

L'astuce : Pendant l'entraînement, l'équipe a pris chaque image et a modifié ses couleurs de manière agressive. Ils ont changé aléatoirement la luminosité, le contraste, la saturation et la teinte.
L'analogie : Imaginez entraîner un étudiant à reconnaître un « panneau stop » non pas seulement par sa couleur rouge, mais par sa forme octogonale. Vous lui montrez le panneau en noir et blanc, en vert néon, en sépia et dans l'obscurité.
Le résultat : Cela a été la plus grande amélioration unique (+0,86 point). Cela a forcé le robot à arrêter de deviner en se basant sur la couleur pour commencer à reconnaître les formes et les textures.

3. L'astuce du « Zoom avant, Zoom arrière » (Test multi-échelle)

La plupart des modèles d'IA modernes sont comme des caméras avec un objectif fixe ; ils ne peuvent regarder une image qu'à une taille spécifique. Si vous leur donnez une image minuscule, elle devient floue ; si vous lui donnez une image énorme, elle devient pixélisée.

Le problème : La méthode standard pour corriger cela est de redimensionner le modèle pour qu'il regarde à différentes tailles, mais ce modèle était trop rigide pour changer son objectif.
La solution de contournement : Au lieu de changer le modèle, ils ont changé l'image. Avant de nourrir l'image au modèle, ils l'ont réduite à 75 % de sa taille et l'ont agrandie à 125 %.
Le processus :
1. Prendre la photo originale.
2. La rétrécir, la passer dans le cerveau du robot, et enregistrer la réponse.
3. L'agrandir, la passer dans le cerveau, et enregistrer la réponse.
4. Passer l'image à sa taille d'origine, également.
5. Faire la moyenne des résultats.
Pourquoi cela fonctionne : Regarder un « cône de signalisation » de loin (réduit) aide le robot à voir l'objet dans son ensemble. Le regarder de près (agrandi) l'aide à voir les détails fins. Combiner ces deux vues rend la supposition beaucoup plus précise. Cela a ajouté un autre +0,34 point sans nécess avoir besoin d'un entraînement supplémentaire.

Ce qui n'a pas fonctionné ?

L'auteur a été honnête sur ce qu'il a testé et qui a échoué :

Des cerveaux plus lourds : Ils ont essayé d'utiliser une « tête » (décodeur) plus complexe pour le modèle, mais cela a en fait rendu le robot moins bon pour repérer les petits objets rares.
D'autres professeurs : Ils ont testé d'autres modèles d'IA célèbres (comme DINOv2), mais aucun n'était aussi performant que SAM3 pour cette tâche spécifique.
Redimensionnement aléatoire : Redimensionner aléatoirement les images pendant l'entraînement n'a pas aidé autant que les changements de couleurs agressifs.

L'essentiel

Le robot a obtenu la 4ème place en utilisant une IA pré-entraînée puissante comme base, en laissant un « génie professeur » l'aider à apprendre les classes faciles, en le forçant à ignorer les indices de couleur pour qu'il apprenne les formes, et en utilisant une astuce de « zoom » intelligente lors du test final pour voir les objets à différentes distances.

La seule chose avec laquelle il lutte encore ? La « mousse ». Le robot confond constamment la mousse avec l'herbe basse ou le sol forestier, probablement parce que la mousse est très rare et ressemble tellement à d'autres choses dans le jeu de données.

Résumé Technique : Auto-distillation SAM3 pour la segmentation sémantique 2D fine-grained de GOOSE

Énoncé du Problème

Le papier traite du défi ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation, qui nécessite d'étiqueter chaque pixel des images hors-piste avec l'une des 64 classes fines (par exemple, des types de végétation spécifiques, des modèles de véhicules) qui se regroupent en 11 super-catégories grossières. Le défi est évalué sur un ensemble de test non vu de 1 815 images capturées à travers quatre plateformes de caméras robotiques distinctes (MuCAR-3, ALICE et deux configurations Spot).

Les auteurs identifient trois difficultés principales dans ce domaine :

Distribution de classes à longue traîne (Long-tailed) : Quelques classes (ex: forêt, herbe basse) dominent les données d'entraînement, tandis que d'autres (ex: trottinette, tuyau) n'apparaissent que dans quelques parties par million.
Équivalence Visuelle : De nombreuses classes au sein d'une même super-catégorie (ex: différents types de végétation) ne diffèrent que subtilement par la densité ou la robustesse de leur canopée, ce qui entraîne des taux de confusion élevés.
Hétérogénéité des Plateformes : Les variations de résolution, d'exposition et de point de vue entre les quatre plateformes de caméras rendent difficile la création d'un modèle capable de généraliser sans s'adapter excessivement à une géométrie spécifique.

Méthodologie

La solution proposée adapte le modèle de fondation visuelle Segment Anything Model 3 (SAM3) pour la segmentation hors-piste. L'architecture et le pipeline d'entraînement se composent des éléments suivants :

1. Backbone et Décodeur

Backbone : Les auteurs utilisent l'encodeur d'image pré-entraîné de SAM3. Au lieu de le figer entièrement ou de le ré-entraîner de zéro, ils emploient un fine-tuning partiel : les couches inférieures (capturant les caractéristiques visuelles génériques) restent figées, tandis que les 12 blocs transformer supérieurs sont affinés. Cela équilibre la conservation des connaissances générales et l'adaptation au domaine hors-piste.
Décodeur : Un décodeur léger de type réseau de pyramide de caractéristiques (FPN) est attaché à l'encodeur. Il fusionne les caractéristiques multi-résolutions en une carte de classes par pixel. Les auteurs ont constaté qu'un décodeur plus complexe (UPerNet) performait légèrement moins bien, probablement en raison du flou sur les objets petits ou rares.

2. Auto-distillation SAM3 Oracle-Box

Un nouveau schéma d'auto-distillation est introduit où SAM3 agit lui-même comme un enseignant pour le modèle étudiant :

Mécanisme : SAM3 est sollicité par des boîtes englobantes de vérité terrain (oracle-box prompting) pour générer des masques mous de haute qualité pour des objets spécifiques.
Critère de Sélection : SAM3 n'est pas utilisé comme enseignant pour toutes les classes. Les auteurs pré-évaluent les classes et n'appliquent la distillation que pour 22 classes où les masques oracle-box de SAM3 sont manifestement supérieurs aux prédictions initiales de l'étudiant (typiquement des objets compacts et bien définis comme les camions, les panneaux de signalisation et les arbres).
Fonction de Perte : L'objectif d'entraînement combine une perte d'entropie croisée standard ( $L_{CE}$ ) pour les 56 classes avec une perte de distillation ( $L_{teach}$ ) pour les 22 classes sélectionnées, pondérée par $\lambda = 0.3$ .

3. Distorsion Photométrique Agressive

Le pipeline adopte une stratégie d'augmentation de couleur agressive issue d'une entrée gagnante de 2025. Contraएँ aux méthodes standards qui appliquent simultanément des perturbations de luminosité, de contraste, de saturation et de teinte, cette approche applique chaque perturbation indépendamment avec une probabilité de 0,5. Cela crée une distribution plus riche d'images d'entraînement, forçant le modèle à se fier à la forme et à la texture plutôt qu'aux indices de couleur, ce qui est crucial compte tenu des variations de lumière et de saisons dans les scènes hors-piste.

4. Augmentation de Temps de Test (TTA) Multi-échelle au niveau de l'image

Le TTA multi-échelle standard consiste à injecter des images redimensionnées dans un modèle. Cependant, l'encodeur de SAM3 n'accepte qu'une taille d'entrée fixe (1008×1008). Les auteurs proposent une solution de contournement :

Processus : Au lieu de redimensionner l'entrée du modèle, l'image de test entière est redimensionnée selon des facteurs de {0,75, 1,0, 1,25}.
Inférence : Chaque image redimensionnée est traitée via une inférence par fenêtre glissante (tuilage) à la résolution native du modèle.
Fusion : Les cartes de scores résultantes sont redimensionnées aux dimensions de l'image originale, pondérées par une fenêtre de Hann pour lisser les bords des tuiles, et accumulées à travers les échelles. La prédiction finale est la classe ayant le score accumulé le plus élevé. Cela permet de récupérer les bénéfices de l'inférence multi-échelle sans ré-entraîner le modèle à entrée fixe.

Résultats Clés

Le modèle final a atteint un mIoU composite de 69,73 % sur l'ensemble de test officiel, décrochant la 4ème place du défi. La décomposition des gains de performance est la suivante :

Modèle de Base (Encodeur + Décodeur) : 67,71 % de mIoU composite.
+ Auto-distillation SAM3 : Amélioration à 68,38 % (+0,67).
+ Augmentation par retournement (Flip) : +0,13 à +0,15 d'amélioration.
+ Augmentation de Couleur Agressive : La source de gain la plus importante, ajoutant +0,86 (atteignant 69,24 %). Cela a été particulièrement efficace pour les classes rares (ex: l'IoU de la trottinette est passée de 7,90 % à 29,65 %).
+ TTA Multi-échelle au niveau de l'image : Ajoute un further +0,34 (atteignant 69,73 %), bénéficiant principalement aux objets de taille moyenne et peu fréquents, comme les cônes de signalisation et les panneaux.

Observations par Classe :

Succès : Le modèle a performé fortement sur les super-catégories Ciel (97,47 %), Végétation (94,01 %) et Véhicule (90,94 %). L'augmentation de couleur a considérablement sauvé les classes rares.
Échecs : Le modèle a eu des difficultés avec la mousse (chutant à presque 0 % d'IoU avec l'augmentation de couleur) et la racine d'arbre, probablement en raison de la similitude visuelle avec d'autres classes de végétation et de leur extrême rareté. Les catégories Eau et Animal sont également restées faibles (<50 % d'IoU).

Signification et Contributions

Le papier revendique trois contributions principales :

Auto-distillation à partir du Modèle de Fondation : Démontrer qu'un modèle de fondation (SAM3), lorsqu'il est sollicité par des boîtes de vérité terrain, peut servir d'enseignant de haute qualité pour des classes spécifiques dans un domaine spécialisé, affinant les prédictions du modèle étudiant sans nécessiter de réseaux enseignants externes.
TTA Multi-échelle au niveau de l'image : Fournir une méthode généralisable pour permettre l'inférence multi-échelle pour tout modèle verrouillé sur une taille d'entrée fixe en redimensionnant l'image plutôt que l'entrée du modèle, récupérant ainsi les gains de précision sans coût d'entraînement supplémentaire.
Constat Empirique sur l'Augmentation de Couleur : Souligner que la distorsion photométrique indépendante et agressive — précédemment réussie dans un défi de 2025 — est le composant le plus impactant pour ce pipeline spécifique, surpassant largement les autres ajustements architecturaux ou fonctions de perte.

Les auteurs notent que bien que l'approche soit efficace, elle ne résout pas le problème fondamental de la confusion intra-végétale pour les classes extrêmement rares (comme la mousse), suggérant que les améliorations futures pourraient nécessiter un pré-entraînement supplémentaire sur des jeux de données hors-piste connexes.