AdaSFormer: Adaptive Serialized Transformers for Monocular Semantic Scene Completion from Indoor Environments

Probleemstelling

Monoculaire semantische scènecompletie (MSSC) is een taak waarbij een model probeert, op basis van één enkele RGB-afbeelding, de volledige 3D-structuur van een scène te reconstrueren, inclusief de bezetting (occupancy) en semantische labels van elk voxel.

• Uitdagingen in binnenruimtes: In tegenstelling tot buiten-scènes, zijn binnenruimtes gekenmerkt door complexe, multi-level ruimtelijke structuren (overlappende plafonds, muren, meubels), hoge objectdichtheid en ernstige occlusies.
• Beperkingen van bestaande methoden:
  • Convolutionele netwerken (CNNs): Hebben een beperkt receptief veld en kunnen lange-afstandsafhankelijkheden (long-range dependencies) moeilijk modelleren. Het vergroten van kernels in 3D leidt echter tot onaanvaardbare rekenkosten.
  • Transformers: Zijn uitstekend in het modelleren van globale afhankelijkheden, maar de hoge geheugenvraag (memory cost) en de moeilijkheid om fijne details te reconstrueren maken ze onpraktisch voor hoge-resolutie 3D-voxels in binnenruimtes.
  • Bestaande serialisatiemethoden: Methoden die 3D-data omzetten in 1D-sequenties gebruiken vaak een vaste indeling (fixed grouping), wat leidt tot een starre receptief veld dat niet optimaal past bij de variabele structuur van objecten.

Methodologie: AdaSFormer

De auteurs introduceren AdaSFormer, een hybride framework dat convolutionele modules en transformer-modules combineert om zowel lokale geometrie als globale context efficiënt te modelleren. Het framework bestaat uit een 2D-encoder, een projectiemodule naar 3D-ruimte, en een 3D-encoder gebaseerd op hun nieuwe architectuur.

De kern van de methode ligt in drie innovatieve componenten:

1. Adaptieve Geserialiseerde Attention (Adaptive Serialized Attention - ASA)

Om het geheugenvraag van Transformers te verminderen, worden 3D-voxels omgezet in een 1D-sequentie (serialisatie) via een ruimtevullende curve (bijv. Z-curve).

• Het probleem: Bij traditionele serialisatie is de startpositie van de "patches" (groepen van voxels) vast. Dit kan leiden tot inefficiënte indelingen waarbij objecten willekeurig worden opgesplitst.
• De oplossing: ASA introduceert een leerbare verschuiving (learnable shift). In plaats van een vaste start, leert het model dynamisch de optimale startpositie voor de serialisatie per laag.
• Implementatie: Dit wordt bereikt met Straight-Through Gumbel-Softmax. Hierdoor kan het model discrete verschuivingen selecteren (om de patch-indeling te optimaliseren) terwijl het toch differentieerbaar blijft voor backpropagation. Een temperatuurverloopstrategie (temperature annealing) zorgt ervoor dat de selectie tijdens het trainen steeds "discreter" wordt.

2. Center-Relative Positional Encoding (CRPE)

Omdat CNNs al lokale posities goed kunnen vastleggen, is traditionele absolute positiële encoding minder cruciaal. De auteurs focussen echter op de relatieve ruimtelijke rijkdom.

• Concept: De relatieve positie van elk voxel wordt berekend ten opzichte van het centrum van de scène (het gemiddelde van alle bezette voxels).
• Berekening: Er worden twee hoeken berekend: de yaw (horizontale rotatie) en pitch (verticale inclinatie) ten opzichte van dit centrum. Deze hoekverschillen worden gecodeerd en als bias toegevoegd aan de attention-mechanismen. Dit helpt het model om structurele relaties en belangrijke gebieden in de scène beter te begrijpen.

3. Convolution-Modulated Layer Normalization (CMLN)

Het combineren van Transformer- en Convolutie-features kan leiden tot statische discrepanties.

• Oplossing: CMLN fungeert als een brug tussen de twee architecturen. Het modificeert de normalisatieparameters ($\gamma$ en $\beta$) op basis van de invoer-voxelfeatures. Hierdoor kan het netwerk de statistieken van de features adaptief aanpassen voordat ze worden verwerkt door de volgende lagen, wat de integratie van globale (Transformer) en lokale (Convolutie) informatie verbetert.

Belangrijkste Bijdragen

1. AdaSFormer Framework: Een nieuw hybride model dat lange-afstandsafhankelijkheden vastlegt met een lage geheugenvoot, specifiek ontworpen voor complexe binnenruimtes.
2. Drie Nieuwe Componenten:
   • Adaptive Serialized Attention: Dynamisch aanpassende receptieve velden via leerbare verschuivingen.
   • Center-Relative Positional Encoding: Verbeterde ruimtelijke redenering door relatieve hoeken ten opzichte van het scènecentrum.
   • Convolution-Modulated Layer Norm: Effectieve harmonisatie van heterogene features tussen CNN en Transformer.
3. State-of-the-Art Prestaties: De methode overtreft bestaande methoden aanzienlijk op de belangrijkste benchmarks.

Resultaten

De auteurs hebben hun methode getest op twee grote datasets: NYUv2 en Occ-ScanNet.

• NYUv2 Dataset:
  • AdaSFormer bereikte een SSC-mIoU van 32,50%, wat een verbetering is van 1,25% ten opzichte van de huidige state-of-the-art (ISO).
  • Het presteerde ook beter op het SC-IoU (Scene Completion IoU) met 51,33%.
• Occ-ScanNet Dataset:
  • Hier was de verbetering nog drastischer: AdaSFormer behaalde een mIoU van 45,33%, wat 14,50% hoger is dan de beste bestaande methode (ISO).
• Efficiëntie:
  • Ondanks de complexiteit is AdaSFormer zeer efficiënt. De latentie bedraagt slechts 178,9 ms, vergeleken met 535,2 ms voor ISO.
  • Ablatiestudies tonen aan dat elke component (ASA, CRPE, CMLN) bijdraagt aan de prestaties zonder de rekentijd significant te verhogen.

Betekenis en Impact

Dit paper is significant omdat het een van de eerste succesvolle toepassingen van Transformer-architecturen is voor indoor monoculaire semantische scènecompletie.

• Het lost het fundamentele probleem op van het hoge geheugengebruik van Transformers in 3D door slimme serialisatie en adaptieve verschuivingen.
• Het bewijst dat het combineren van CNN's (voor lokale details) en Transformers (voor globale context) essentieel is voor complexe binnenruimtes waar occlusies en dichte objecten voorkomen.
• De resultaten suggereren dat AdaSFormer een robuuste basis vormt voor toepassingen zoals robotnavigatie, 3D-reconstructie en ruimtelijk begrip in autonome systemen die in gebouwen opereren.

Kortom, AdaSFormer biedt een efficiënte en krachtige oplossing voor het reconstrueren van complexe 3D-interieurs uit één foto, waarbij het de beperkingen van zowel traditionele CNN's als standaard Transformers overwint.