RePer-360: Releasing Perspective Priors for 360$^\circ$ Depth Estimation via Self-Modulation

RePer-360 is een zelfmodulerend framework dat bestaande dieptefondsenmodellen voor perspectiefafbeeldingen effectief aanpast aan 360°-panoramische beelden door vervormingsbewuste priors te behouden, waardoor het met slechts 1% van de trainingsdata aanzienlijk betere prestaties levert dan standaard fijnafstemming.

De kern

Stel je voor dat je een bril hebt die perfect is ontworpen om de wereld te zien zoals wij mensen die zien: recht vooruit, met rechte lijnen en duidelijke perspectieven. Dit is wat moderne AI-modellen (zoals "Depth Anything") hebben geleerd te doen. Ze zijn experts in het schatten van afstanden op gewone foto's.

Het probleem? 360-graden foto's (panorama's) zijn als een wereldbol die plat is uitgerold. Als je een rechte muur op zo'n foto bekijkt, lijkt hij gebogen of uitgerekt. Als je de "rechte-wereld-bril" van de AI zomaar op zo'n foto probeert te gebruiken, raakt hij in de war. De lijnen kloppen niet, en de AI denkt dat muren krom zijn of dat objecten heel dichtbij zijn terwijl ze ver weg zijn.

Tot nu toe hadden wetenschappers twee manieren om dit op te lossen, maar beide hadden grote nadelen:

1. De "Puzzel-methode": Je snijdt de ronde foto in stukjes (zoals een puzzel), bekijkt elk stukje apart met de bril, en plakt het weer samen. Dit werkt soms, maar het kost veel tijd en de overgangen tussen de stukjes zien er vaak lelijk uit.
2. De "Herleer-methode": Je laat de AI opnieuw leren, maar dan met duizenden voorbeelden van ronde foto's. Dit werkt goed, maar het kost enorm veel tijd, rekenkracht en data.

De Oplossing: RePer-360

De onderzoekers van dit papier hebben een slimme derde weg gevonden, genaamd RePer-360. Ze noemen het "het vrijgeven van perspectief-priors via zelf-modulatie". Laten we dat vertalen naar een verhaal:

De Analogie: De Meesterkook en de Speciale Keuken

Stel je de AI voor als een meesterkok die al jarenlang perfecte soep heeft gekookt in een rechte, vierkante keuken (de perspectief-wereld). Hij weet precies hoe je groenten moet snijden en hoe je de smaak moet afstemmen.

Nu willen we hem soep laten koken in een ronde, holle keuken (de 360-graden wereld). In die ronde keuken zijn de muren krom en staan de potten op vreemde plekken.

• Als je de kok dwingt de hele keuken te herbouwen (de "Herleer-methode"), duurt het jaren.
• Als je hem de ronde keuken in stukjes snijdt (de "Puzzel-methode"), is het koken chaotisch.

RePer-360 doet iets anders: Ze geven de kok een slimme bril en een magisch schepje.

1. De Brillen (GAG-module): De kok kijkt door twee verschillende lenzen tegelijk: één die de ronde wereld ziet (ERP) en één die de wereld in kubusvorm bekijkt (CP). Deze lenzen helpen hem te begrijpen waar de kromming zit, zonder dat hij zijn basisrecepten moet vergeten.
2. Het Magische Schepje (Zelf-Modulatie): In plaats van de soep volledig te herscheppen, gebruikt de kok een heel klein, slim schepje om de smaak precies daar een beetje aan te passen waar de ronde keuken hem dwarszit. Hij verandert de basisrecepten niet; hij past alleen de hoeveelheid zout en peper lokaal aan, gebaseerd op wat zijn brillen zien.

Dit is wat Self-Modulation betekent: De AI past zichzelf heel subtiel aan op de plek waar het nodig is, zonder zijn geheugen van de "rechte wereld" te wissen.

Waarom is dit zo slim?

• Het behoudt de kennis: De AI vergeet niet hoe hij een rechte muur moet zien. Hij gebruikt die kennis nog steeds, maar past hem alleen aan voor de kromming.
• Het is extreem efficiënt: Omdat ze de basis niet hoeven te herbouwen, hebben ze 99% minder trainingsdata nodig dan andere methoden. Het is alsof je de kok slechts 10 minuten instructie geeft in plaats van hem een jaar te laten leren.
• Het werkt beter: Zelfs met weinig data, maakt deze AI minder fouten dan de methoden die duizenden uren hebben getraind.

De "Cubemap" Consistentie (De Check)

Om zeker te weten dat de kok niet in de war raakt door de ronde muren, gebruiken ze een extra controle: ze kijken naar de soep alsof hij in een kubus zit (6 vlakken). Als de diepte op de ene kant van de kubus niet klopt met de andere kant, krijgen ze een waarschuwing. Dit zorgt ervoor dat de 3D-structuur logisch blijft, ook al is de foto rond.

Conclusie

RePer-360 is als het geven van een slimme, aanpasbare bril aan een expert. In plaats van de expert te dwingen alles opnieuw te leren of de wereld in stukjes te hakken, helpen ze hem om zijn bestaande expertise te gebruiken in een nieuwe, kromme omgeving. Het resultaat is een dieptekaart (een kaart van afstanden) die scherper is, sneller te maken is en minder data nodig heeft.

Technische samenvatting

1. Het Probleem

Dieptefondamentmodellen (zoals Depth Anything Models), die zijn getraind op perspectiefafbeeldingen (normale camera's), presteren uitstekend op die schaal. Echter, deze modellen generaliseren slecht op 360°-panoramische beelden. De oorzaak is een fundamenteel prior-mismatch: de geometrische statistieken van perspectiefbeelden komen niet overeen met de zware vervormingen (distorties) die inherent zijn aan panoramische projecties (zoals ERP - Equirectangular Projection).

Bestaande oplossingen hebben twee grote nadelen:

1. Projectie-gebaseerde fusie: Methoden die een panorama opsplitsen in perspectiefweergaven, inferentie uitvoeren en deze weer samenvoegen, leiden vaak tot artefacten en zijn computatief duur.
2. Volledige fine-tuning: Het volledig aanpassen van modellen aan panoramische data vereist enorme hoeveelheden 360°-trainingsdata. Zonder expliciete modellering van de vervorming kan dit leiden tot het "overschrijven" van de waardevolle voorgeprente perspectiefkennis (representation drift), wat de generalisatie verslechtert.

2. Methodologie: RePer-360

RePer-360 introduceert een vervormingsbewust zelf-modulatiekader (distortion-aware self-modulation framework). In plaats van kenmerken direct te fuseren (wat de statistieken verstoort), past het de bestaande perspectief-priors aan door ze te moduleren op basis van geometrische gidsen.

Het kader bestaat uit drie kerncomponenten:

A. Geometry-Aligned Guidance (GAG)

In plaats van twee projecties (ERP en Cubemap Projection - CP) hard te fuseren, gebruikt GAG de CP-kenmerken als een stuur-signaal voor de ERP-kenmerken.

• Werkingsprincipe: Omdat de backbone is getraind op perspectief, vertonen CP-kenmerken (die uit zes vlakken bestaan) betere lokale geometrische consistentie. GAG aligneert de statistische verdeling van CP-kenmerken met ERP-kenmerken via parameterloze affiene normalisatie.
• Adaptieve Gating: Een mechanisme kiest dynamisch per pixel of lokale details (van CP) of globale context (van ERP) belangrijker zijn. Dit resulteert in een "guidance signal" dat vervormingsinformatie bevat zonder de oorspronkelijke backbone-kenmerken te vervangen.

B. Self-Conditioned AdaLN-Zero (SCAdaLN-Zero)

Dit is de kern van de adaptatie. Het moduleert de kenmerken van de bevroren backbone (Depth Anything Model) zonder de inhoud van de kenmerken direct te veranderen.

• Mechanisme: Het gebruikt de GAG-signalen om normalisatielagen (LayerNorm) in de transformer-blokken te sturen. In plaats van nieuwe kenmerken toe te voegen via cross-attention, worden schaal- en verschuivingsparameters ($\gamma$ en $\beta$) gegenereerd die de bestaande kenmerken aanpassen aan het panoramische domein.
• Zero-Init: De modulatie wordt geïnitieerd met nulwaarden. Hierdoor start het model als een standaard transformer en leert het geleidelijk de noodzakelijke aanpassingen, wat de training stabiliseert.
• Voordeel: Dit behoudt de sterke voorgeprente perspectief-priors terwijl het tegelijkertijd de vervormingen van 360°-beelden corrigeert.

C. E2C Consistency Loss (ECCLoss)

Om de onbalans in de ERP-supervisie aan te pakken (waar poolgebieden veel pixels innemen maar minder informatie bevatten dan het equatoriale gebied), wordt een consistentieverlies in het Cubemap-domein toegevoegd.

• Zowel de voorspelde diepte als de ground truth worden omgezet naar het cubemap-formaat.
• Een Scale-Shift Invariant Mean Absolute Error wordt berekend over de zes vlakken van de kubus. Dit dwingt het model om geometrisch consistente dieptestructuren te leren, ongeacht de vervorming in de ERP-weergave.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: De auteurs herformuleren panoramische adaptatie van "feature fusion" naar "guidance-based domain adaptation". Ze gebruiken complementaire projecties als sturing in plaats van als input voor fusie.
2. SCAdaLN-Zero: Een nieuwe module die normalisatie-gebaseerde modulatie gebruikt om vervormingsbewuste aanpassingen te maken zonder de voorgeprente geometrische structuur te vernietigen.
3. Data-efficiëntie: Het model bereikt state-of-the-art prestaties met slechts 1% van de trainingsdata die eerdere methoden nodig hadden (bijv. 1k vs. 120k beeldparen).

4. Resultaten

De prestaties zijn getest op de datasets Matterport3D en Stanford2D3D, zowel voor in-domein training als zero-shot generalisatie.

• Kwantitatieve resultaten:
  • RePer-360 overtreft de huidige state-of-the-art methode (PanDA-L) aanzienlijk.
  • Bij een eerlijke vergelijking (zonder vooraf getrainde data) verbetert het de RMSE met ongeveer 20-22% en de Abs Rel met 12-34%.
  • Het slaagt erin om de prestaties van PanDA-L (dat 120k panoramische beelden heeft gebruikt voor pre-training) te overtreffen met slechts 1k-8k in-domein beelden.
• Kwalitatieve resultaten:
  • Het model behoudt scherpere structuren en vermijdt artefacten (zoals het verkeerd interpreteren van muurtexturen als dieptevariaties) die vaak voorkomen bij andere methoden.
  • Het toont sterke generalisatie op ongelabelde datasets (SUN360) en onder complexe buitenverlichting.
• Analyse van Feature Drift:
  • In tegenstelling tot methoden die cross-attention gebruiken (wat leidt tot grote, onstabiele verschuivingen in de kenmerken), behoudt RePer-360 een hoge gelijkenis met de bevroren backbone, wat aantoont dat de voorgeprente kennis effectief wordt bewaard en slechts gecontroleerd wordt aangepast.

5. Betekenis en Conclusie

RePer-360 biedt een principieel nieuwe aanpak voor het aanpassen van visuele fundamentmodellen aan domeinen met een andere geometrie (zoals 360°). De belangrijkste inzichten zijn:

• Behoud van Priors: Het is cruciaal om voorgeprente kennis niet te overschrijven via ruwe fusie, maar deze te moduleren via normalisatielagen.
• Efficiëntie: Het is mogelijk om zeer krachtige 360°-modellen te trainen met een minimaal aantal data, wat de toepasbaarheid in real-world scenario's (waar 360°-data schaars is) aanzienlijk vergroot.
• Stabiliteit: De combinatie van zelf-conditionering en cubemap-consistentie zorgt voor stabielere training en betere geometrische coherentie.

Kortom, RePer-360 lost het probleem van de "projectiegap" op tussen perspectief en panorama door slimme zelf-modulatie in plaats van brute kracht of data-honger.