SO3UFormer: Learning Intrinsic Spherical Features for Rotation-Robust Panoramic Segmentation

Ce papier présente SO3UFormer, une architecture de segmentation sémantique panoramique qui apprend des caractéristiques sphériques intrinsèques grâce à des mécanismes géométriques novateurs pour garantir une robustesse exceptionnelle face aux rotations 3D, surpassant ainsi les modèles existants qui échouent dans des conditions d'orientation non alignées.

L'essentiel

🌍 Le Problème : La "Boussole" qui se trompe

Imaginez que vous avez un robot qui regarde le monde à 360 degrés, comme un humain avec des yeux partout sur la tête. Ce robot est très intelligent pour reconnaître les objets : il sait distinguer un sol, un plafond, un mur ou une voiture.

Mais il y a un gros problème : ce robot est un peu "paresseux".

Pour apprendre, on lui a montré des milliers de photos prises par des caméras bien droites (comme sur un trépied ou dans la main d'un humain qui tient son téléphone bien droit). Dans ces photos, le sol est toujours en bas et le plafond est toujours en haut.

Le robot a appris une astuce de triche : "Si c'est en bas de l'image, c'est le sol. Si c'est en haut, c'est le plafond." Il ne regarde pas vraiment la forme des objets, il regarde juste où ils sont par rapport au bas de l'image.

Le drame arrive quand on le secoue :
Si vous prenez ce robot en main, que vous le penchez, que vous le faites tourner ou que vous le mettez sur un drone qui vire de bord, la photo change. Le sol n'est plus en bas, il est sur le côté !
Le robot, paniqué, continue de chercher le "sol" en bas de l'image. Il voit le mur et dit : "Ah ! C'est le sol !" Il voit le plafond et dit : "C'est un mur !"
Résultat : Il devient complètement fou et ne reconnaît plus rien. C'est ce qu'on appelle une "catastrophe" dans le monde de l'IA.

---

🚀 La Solution : SO3UFormer, le Robot "Gymnaste"

Les chercheurs ont créé un nouveau robot, nommé SO3UFormer, qui ne triche pas. Au lieu de se fier à "bas" et "haut", il apprend à comprendre la géométrie pure des objets, peu importe comment la caméra est tournée.

Voici comment il fonctionne, avec trois astuces magiques :

1. Il oublie la "Gravité" (La Boussole)

Le premier robot utilisait des étiquettes fixes : "Bas = Sol".
SO3UFormer, lui, a retiré cette étiquette. Il ne sait plus ce qu'est "le haut" ou "le bas" absolu. Il regarde uniquement les relations entre les objets.

L'analogie : Imaginez que vous jouez avec des blocs de Lego. Le premier robot dit : "Le bloc rouge est toujours en bas." Le nouveau robot dit : "Peu importe où je tourne la boîte, le bloc rouge est collé au bloc bleu." Il comprend la structure, pas la position.

2. Il compte les "points" équitablement (L'Attention Quadrature)

Sur une sphère (comme une balle de foot), les points ne sont pas tous espacés de la même manière. Près des pôles (le haut et le bas de la balle), les points sont très serrés. Près de l'équateur, ils sont plus espacés.
Les anciens robots prenaient les points serrés beaucoup plus au sérieux que les autres, ce qui faussait leur vision.
SO3UFormer utilise une balance spéciale. Il dit : "Attends, ici il y a beaucoup de points serrés, je vais les pondérer pour ne pas qu'ils crient plus fort que les autres."

L'analogie : C'est comme une réunion où tout le monde parle. Si un groupe de 10 personnes crie à l'oreille d'un seul, le premier robot écoute seulement le groupe. SO3UFormer, lui, s'assure que chaque voix compte pour ce qu'elle vaut, pas pour le nombre de personnes qui crient.

3. Il utilise un "Repère Local" (Le Gauge)

Au lieu de dire "C'est à 30 degrés de l'Est" (ce qui change si on tourne), il dit "C'est à 30 degrés par rapport à mon nez".
Il crée un petit repère de coordonnées autour de chaque objet, comme si chaque objet avait sa propre petite boussole locale.

L'analogie : Si vous êtes dans un taxi qui tourne, la rue ne change pas, c'est votre orientation qui change. SO3UFormer ne regarde pas la rue par rapport à la ville, mais par rapport à la vitre du taxi. Peu importe comment le taxi tourne, il sait toujours où est la porte.

---

🏆 Le Résultat : Un Champion de la Stabilité

Les chercheurs ont créé un test spécial appelé Pose35. Ils ont pris des images normales et les ont fait tourner de manière aléatoire (comme si on secouait la caméra).

• Les anciens robots (les "SOTAs") : Quand on les fait tourner, leur score de réussite s'effondre. Ils passent de 67 % de réussite à 25 %. C'est comme si un élève excellent en maths échouait dès qu'on lui tourne la feuille de papier.
• SO3UFormer : Il reste stable. Même quand on le fait tourner complètement, il garde un score de 70 %. Il ne panique pas.

En résumé

SO3UFormer est une nouvelle intelligence artificielle pour les caméras à 360 degrés qui a appris à ne plus dépendre de la gravité.

• Avant : "C'est le sol parce que c'est en bas." (Fragile)
• Maintenant : "C'est le sol parce qu'il est plat et connecté aux murs, peu importe l'angle." (Robuste)

C'est une avancée majeure pour les drones, les robots qui marchent dans des maisons, ou les casques de réalité virtuelle, car dans le vrai monde, les caméras bougent, tremblent et tournent tout le temps !

Résumé technique

1. Problématique : La fragilité des modèles face aux rotations 3D

La segmentation sémantique panoramique (360°) est cruciale pour les agents autonomes, les drones et la réalité immersive. Cependant, les modèles actuels, y compris les Transformers sphériques de pointe comme SphereUFormer, souffrent d'une hypothèse fondamentale restrictive : l'alignement gravitationnel strict.

• Le biais de latitude absolue : Les modèles standards intègrent des encodages de position absolue (latitude/longitude) qui supposent que la caméra est toujours verticale (le "sol" est en bas de l'image).
• La conséquence : Dans des scénarios réels (drones en vol, appareils portables tremblants, robots sur terrain accidenté), la caméra subit des rotations arbitraires (roulis, tangage, lacet). Lorsque l'orientation change, le modèle continue d'associer les classes sémantiques (ex: "sol") aux coordonnées absolues de l'image plutôt qu'à la géométrie intrinsèque de la scène.
• Résultat catastrophique : Sous des rotations 3D arbitraires (groupe SO(3)), les performances des modèles actuels s'effondrent. Par exemple, SphereUFormer voit son score mIoU chuter de 67,53 % (vue verticale) à 25,26 % sous rotation, prouvant qu'il apprend à segmenter le système de coordonnées et non la scène.

2. Méthodologie : SO3UFormer

Pour résoudre ce problème, les auteurs proposent SO3UFormer, une architecture Transformer sphérique conçue pour apprendre des caractéristiques intrinsèques (indépendantes du repère de coordonnées global). L'approche repose sur trois piliers géométriques et des mécanismes d'entraînement spécifiques :

A. Architecture et Principes de Conception

1. Suppression de l'encodage de latitude absolue :
   • L'encodage de position global (qui crée le biais gravitationnel) est éliminé. Le modèle ne doit plus dépendre d'un axe "Nord" ou "Haut" fixe.
2. Attention Sphérique Quadrature-Consistante :
   • Les grilles sphériques (comme les subdivisions icosaédriques) ont des densités d'échantillonnage non uniformes (plus denses aux pôles).
   • SO3UFormer intègre des poids de quadrature (basés sur la surface réelle des faces/nœuds) dans la normalisation de l'attention. Cela corrige le biais d'agrégation vers les régions sur-échantillonnées, assurant une intégration géométrique fidèle.
3. Mécanisme de Position Relative "Gauge-Aware" (Invariance de jauge) :
   • Au lieu d'utiliser des axes globaux, la position relative est encodée dans le plan tangent local de chaque nœud.
   • Le modèle utilise des angles projetés sur le plan tangent et un pooling de jauge discret (moyenne sur 6 rotations in-plane). Cela permet au modèle de raisonner sur la géométrie locale sans référence à un système de coordonnées global privilégié.

B. Opérateurs Géométriques Cohérents

• Échantillonnage Multi-échelle : Le passage entre les échelles (downsampling/upsampling) utilise des assignations basées sur la similarité cosinus des normales et des noyaux géodésiques pondérés par la surface, évitant ainsi l'introduction de distorsions dépendantes de la carte (chart-dependent).
• Régularisation de Cohérence SO(3) :
  • Pendant l'entraînement, un régularisateur est ajouté dans l'espace des logits.
  • Il force le modèle à produire des prédictions cohérentes lorsqu'une rotation 3D est appliquée à l'entrée (via un rééchantillonnage par indexation), minimisant l'erreur quadratique moyenne (MSE) entre les logits originaux et rotés.

3. Contributions Clés

1. Identification de la cause racine : Démonstration que la fragilité aux rotations provient du couplage entre les embeddings de coordonnées absolues et l'agrégation incohérente avec la mesure de la sphère.
2. Architecture SO3UFormer : Proposition d'un Transformer sphérique robuste combinant :
   • Absence de biais de latitude.
   • Attention corrigée par quadrature.
   • Encodage de position relative invariant de jauge.
3. Nouveau Protocole de Benchmark (Pose35) : Introduction d'un jeu de données dérivé de Stanford2D3D avec des perturbations de pose aléatoires (±35°) et un test de stress SO(3) complet (rotations arbitraires sur les trois axes) pour évaluer la robustesse hors distribution (OOD).
4. Opérateurs SO(3)-compatibles : Développement d'une suite d'opérateurs (échantillonnage géométrique, régularisation) qui préservent la symétrie du domaine de données.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Pose35 avec un test de stress SO(3) extrême (rotations aléatoires complètes).

• Performance de base (Base mIoU) : SO3UFormer atteint 72,03 % sur le jeu de validation Pose35 (sans rotation supplémentaire), surpassant les modèles de référence.
• Robustesse SO(3) (SO(3) mIoU) :
  • SphereUFormer (SOTA précédent) : Chute catastrophique à 25,26 %.
  • SO3UFormer : Maintient une performance exceptionnelle de 70,67 % sous des rotations 3D arbitraires.
• Analyse Ablative : La suppression de l'encodage de latitude seule améliore déjà la robustesse (de 25,26 % à 64,66 %), mais la combinaison de tous les modules (attention quadrature, biais de jauge, échantillonnage géométrique, régularisation) est nécessaire pour atteindre l'état de l'art.
• Visualisation : Les résultats qualitatifs montrent que les méthodes concurrentes confondent souvent le sol et le plafond après rotation, tandis que SO3UFormer préserve la cohérence sémantique et les frontières nettes.

5. Signification et Impact

Ce travail marque un tournant dans la vision par ordinateur panoramique en passant d'une approche "carte dépendante" (Equirectangular Projection avec biais gravitationnel) à une approche géométriquement intrinsèque.

• Fiabilité opérationnelle : SO3UFormer rend la segmentation panoramique viable pour des applications dynamiques où l'orientation de la caméra est imprévisible (drones, robots mobiles, réalité virtuelle).
• Principe de conception : L'article établit que pour le Geometric Deep Learning sur les sphères, la robustesse nécessite de respecter les symétries du groupe SO(3) et d'éviter les raccourcis d'apprentissage basés sur les coordonnées globales.
• Avenir : Cette approche ouvre la voie à des tâches de prédiction dense sphérique plus robustes (profondeur, détection) et à l'application sur des données réelles avec des trajectoires de caméra complexes.

En résumé, SO3UFormer résout le problème de la "cassure gravitationnelle" en apprenant à voir la sphère comme une surface géométrique intrinsèque plutôt que comme une image 2D déformée alignée sur la gravité.