SO3UFormer: Learning Intrinsic Spherical Features for Rotation-Robust Panoramic Segmentation

SO3UFormer is een rotation-robust architectuur voor panoramische segmentatie die, door het gebruik van intrinsieke sferische kenmerken en geometrisch consistente mechanismen, de prestaties behoudt bij willekeurige 3D-oriëntaties waar bestaande modellen falen.

De kern

SO3UFormer: De Slimme Segmenteerder die Niet Verliest in de Draai

Stel je voor dat je een camera hebt die 360 graden rondom kan kijken, alsof je in een bol zit. Dit wordt gebruikt voor drones, robotauto's en virtuele werelden. Het probleem is dat de huidige slimme camera's (AI-modellen) een heel specifiek, maar foutief, idee hebben van hoe de wereld eruit moet zien: ze denken dat de vloer altijd onderaan zit en het plafond altijd bovenaan. Ze zijn verslaafd aan de zwaartekracht.

Het Probleem: De "Zwaartekracht-Val"
In de echte wereld kan een camera van alles doen. Een drone kan kantelen, een handmatige camera kan trillen, of een robot kan over oneffen terrein rijden. De camera draait dan.
Voor een gewone mens is het duidelijk: als je je hoofd kantelt, weet je nog steeds dat de vloer de vloer is. Maar voor de huidige AI-modellen is dit een ramp. Omdat ze hebben geleerd dat "vloer" altijd "onderaan" betekent in de afbeelding, raken ze volledig in de war zodra de camera kantelt. Ze gaan denken dat de vloer nu het plafond is, of dat de muur de vloer is. Het resultaat? De AI ziet de wereld niet meer, maar ziet alleen de coördinaten van de camera.

De Oplossing: SO3UFormer
De onderzoekers hebben een nieuw model bedacht, genaamd SO3UFormer. Je kunt dit zien als het geven van een kompas en een gevoel voor ruimtelijk oriëntatie aan de AI, in plaats van haar te laten vertrouwen op een statische kaart.

Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. Vergeten "Boven" en "Onder" (Intrinsieke Kenmerken)

   • De oude manier: De AI keek naar de afbeelding en dacht: "Ah, dit is onderaan, dus dit moet de vloer zijn."
   • De nieuwe manier (SO3UFormer): De AI leert de vorm van de objecten te herkennen, ongeacht waar ze staan. Het is alsof je een kind leert een hond te herkennen, niet omdat de hond altijd op de grond staat, maar omdat hij een hond is, of hij nu op zijn kop staat of rechtop. De AI stopt met kijken naar de "absolute hoogte" en kijkt naar de relatieve vorm.

2. De Oneerlijke Verdeling (Quadrature-Consistent Attention)

   • Het probleem: Als je een bol (zoals de aarde) plat maakt op een kaart, worden de plekken bij de polen (boven en onder) erg vervormd en "dicht" op elkaar gepakt. De AI zag deze dichte plekken als belangrijker dan de open plekken bij de evenaar.
   • De oplossing: SO3UFormer gebruikt een slimme weegschaal. Het zegt: "Oké, deze plek op de kaart is kleiner en dichter, dus ik geef hem minder gewicht in mijn berekening." Zo krijgt elke stukje van de bol eerlijke aandacht, net als een eerlijke verdeling van taart.

3. Lokaal Kompas in plaats van Wereldkaart (Gauge-Aware Relative Position)

   • De oude manier: De AI gebruikte een wereldwijde kaart met een vaste Noordpool. Als je draaide, was de kaart verkeerd.
   • De nieuwe manier: De AI gebruikt een "lokaal kompas". In plaats van te zeggen "de muur is links van de Noordpool", zegt het: "de muur is 30 graden rechts van de hoek waar ik nu sta." Het kijkt naar de relatieve hoek tussen objecten, niet naar een vaste wereldrichting. Dit maakt het onkwetsbaar voor draaiingen.

4. De Oefening (Training met Rotaties)

   • Tijdens het leren laat de onderzoekers de AI oefenen met beelden die willekeurig gedraaid zijn. Ze straffen de AI als ze zegt: "Oh, nu is de vloer het plafond!" en belonen haar als ze zegt: "Nee, het is nog steeds de vloer, alleen de camera draait." Dit zorgt ervoor dat de AI echt begrijpt wat ze ziet, en niet alleen wat ze verwacht te zien.

Het Resultaat
Wanneer ze dit nieuwe model testten met een extreme test (waarbij de camera volledig willekeurig draaide), faalden de oude modellen catastrofisch. Hun nauwkeurigheid daalde van een goede 67% naar een slechte 25%. Ze zagen de wereld niet meer.

SO3UFormer daarentegen bleef stabiel. Het behield een nauwkeurigheid van ongeveer 70%, zelfs als de camera completely gek werd. Het model is nu zo robuust dat het de wereld kan begrijpen, of je nu rechtop staat, op je hoofd hangt, of in een draaiende drone zit.

Kort samengevat:
SO3UFormer is de eerste AI die niet meer verslaafd is aan de zwaartekracht. Het leert de echte geometrie van de wereld te begrijpen, waardoor het nooit meer in de war raakt als de camera kantelt. Het is de overstap van "kijken naar de kaart" naar "voelen hoe de wereld eruitziet".

Technische samenvatting

Probleemstelling

Bestaande modellen voor semantische segmentatie van panoramische beelden (360°) worden doorgaans getraind onder de strikte aanname dat de camera perfect verticaal is uitgelijnd met de zwaartekracht (gravity-aligned). In de praktijk wijken echter veel opnames af van deze canonieke oriëntatie door onbeperkte camerabewegingen, zoals trillingen van handbediende apparaten of dynamische houdingsveranderingen van drones.

Deze discrepantie veroorzaakt dat standaard sferische Transformers overfiten op absolute breedtegraad-cues (latitude cues). Het model leert de coördinatenstelsel te segmenteren in plaats van de werkelijke scène-geometrie. Zodra de camera roteert (roll, pitch, yaw), "verwacht" het model de vloer nog steeds onderaan het beeld, wat leidt tot een catastrofale prestatiedaling. Bijvoorbeeld, de state-of-the-art SphereUFormer daalt van 67,53% mIoU (mean Intersection-over-Union) bij verticale beelden naar slechts 25,26% bij willekeurige 3D-rotaties.

Methodologie: SO3UFormer

Om dit probleem op te lossen, stellen de auteurs SO3UFormer voor, een rotatie-robust sferisch Transformer-architectuur die is ontworpen om intrinsieke sferische eigenschappen te leren die minder afhankelijk zijn van het onderliggende coördinatenstelsel. De aanpak rust op drie geometrische pijlers:

1. Intrinsieke Feature Formulering (Verwijdering van Absolute Breedtegraad):
   Het model verwijdert absolute latitude-encoding (positie-encoding op basis van globale breedtegraad). Hierdoor wordt de "zwaartekrachtsbias" (gravity bias) verwijderd die het netwerk misleidt tijdens rotaties. In plaats daarvan leert het model intrinsieke relaties binnen het sferische oppervlak.

2. Quadratuur-Consistente Sferische Attention:
   Sferische roosters (zoals icosahedrale subdvisies) hebben geen uniforme steekproefdichtheid; gebieden nabij de polen zijn dichter bevolkt dan de evenaar. Standaard attention-mechanismen vertonen hierdoor een bias naar dichtbevolkte regio's. SO3UFormer lost dit op door quadratuur-gewichten (gebiedsgewichten) te integreren in de attention-normalisatie. Dit zorgt ervoor dat de aggregatie consistent is met de meetkunde van de bol, ongeacht de steekproefdichtheid.

3. Gauge-Aware Relatieve Positie-Mechanisme:
   In plaats van te vertrouwen op globale assen (zoals Noord/Zuid), definieert het model relatieve geometrie via lokale raakvlak-projecties.

   • Het gebruikt tangent-plane projected angles om de hoek tussen punten te berekenen.
   • Het past een discrete gauge pooling toe over een kleine set van in-vlak rotaties.
   • Dit encodeert lokale hoekgeometrie zonder een bevoorrechte globale referentie-as in te voeren, wat essentieel is voor rotatie-invariantie.

Aanvullende Technieken:

• Geometrie-Consistente Sampling: Down- en upsampling tussen verschillende schalen (ranks) gebeurt via cosinus-argmax-toewijzing en oppervlakte-gewogen pooling, zodat de multi-schaal architectie geen vervormingen introduceert.
• SO(3)-Consistent Regularisatie: Tijdens het training wordt een regularisator toegepast die de voorspellingen consistent houdt onder willekeurige 3D-rotaties. Dit gebeurt via index-based sferische resampling en een MSE-verlies in de logit-ruimte, zonder de inferentie-architectuur te veranderen.

Kernbijdragen

• Identificatie van de Oorzaak: De auteurs identificeren dat de koppeling van absolute coördinaat-embeddings met niet-geometrisch consistente aggregatie de root-cause is van rotatie-fragiliteit.
• Nieuwe Architectuur: SO3UFormer combineert gauge-aware relatieve geometrie, quadratuur-consistente attention en het verwijderen van zwaartekracht-afhankelijke biases.
• SO(3)-Vriendelijke Operators: Ontwerp van operators voor multi-schaal verwerking en een trainingsschema met rotatie-consistentie regularisatie.
• Nieuwe Benchmark (Pose35): Introductie van een stress-test protocol gebaseerd op Stanford2D3D met willekeurige rotaties (±35°), plus een extreme OOD (Out-of-Distribution) test met volledige SO(3) rotaties.

Resultaten

De resultaten worden getest op de Pose35 dataset en een extreme stress-test met willekeurige volledige SO(3) rotaties.

• Prestatieondergang bij Bestaande Methoden: Bestaande SOTA-modellen (zoals SphereUFormer) lijden onder catastrofale prestatiedalingen bij rotatie (van ~67% naar ~25% mIoU).
• SO3UFormer Prestaties:
  • Pose35 (Base): 72,03% mIoU.
  • Full SO(3) Rotaties: 70,67% mIoU.
  • Dit toont een opmerkelijke stabiliteit en sluit de prestatie-kloof tussen verticale en geroteerde beelden bijna volledig.
• Kwalitatieve Resultaten: Terwijl concurrenten grote gebieden (zoals de vloer) verkeerd classificeren als plafond of muur na rotatie, behoudt SO3UFormer correcte semantische labels en scherpe randen, zelfs onder extreme hoeken.

Betekenis

Dit werk markeert een paradigmaverschuiving van "extrinsieke coördinaat-learning" naar "intrinsieke geometrische perceptie" in de panoramische segmentatie. Het bewijst dat het verwijderen van globale referenties en het respecteren van de intrinsieke symmetrieën van de bol (SO(3)) essentieel is voor betrouwbare visuele waarneming in dynamische omgevingen (zoals drones en mobiele robots). SO3UFormer stelt een nieuwe standaard voor rotatie-robustheid en opent de weg voor betrouwbare 360°-segmentatie in ongestructureerde, real-world scenario's waar de camera-oriëntatie niet vaststaat.