Technische Samenvatting: 360Anything

Probleemstelling

De generatie van fotorealistische 3D-werelden vanuit perspectivische beelden en video's is een cruciale grens voor immersieve toepassingen in robotica, AR/VR en gaming. Hoewel recente vooruitgang in visuele generatieve modellen de synthese van perspectivische gezichtsvelden heeft verbeterd, produceren standaard generatoren een smal gezichtsveld (FoV), wat hun bruikbaarheid voor het creëren van volledig immersieve 360°-omgevingen beperkt.

Bestaande benaderingen voor het transformeren van perspectivische inputs naar 360°-panorama's vertrouwen doorgaans op expliciete geometrische uitlijning. Deze methoden projecteren de perspectivische input in de Equirectangular Projection (ERP) ruimte om een pixel-gealigneerd conditioneringssignaal te bieden. Deze strategie vereist echter bekende camerameta-data (Field-of-View, yaw, pitch, roll). In "in-the-wild" scenario's, zoals bij ongekalibreerdeerde inputs, ontbreken deze gegevens vaak of zijn ze ruisachtig. Gevolgelijk hebben huidige modellen moeite met ongekalibreerde inputs of falen ze wanneer ze vertrouwen op broze externe estimators. Bovendien lijden gegenereerde panorama's vaak aan naad-artefacten (seam artifacts) bij de ERP-grenzen, een probleem dat eerdere werken proberen te verzachten met technieken tijdens de inferentie in plaats van de oorzaak aan te pakken.

Methodologie

De auteurs stellen 360Anything voor, een geometrie-vrij framework gebouwd op pre-trained Diffusion Transformers (DiT) dat de noodzaak voor expliciete camerainformatie elimineert.

1. Geometrie-vrije Sequentie-concatenatie

In tegenstelling tot eerdere werken die ruimtelijke correspondentie afdwingen door inputs in de ERP-ruimte te projecteren, behandelt 360Anything de perspectivische input en het doel-panorama simpelweg als token-sequenties.

• Mechanisme: De perspectivische input ($X_{pers}$) wordt gecodeerd in latente tokens ($x_{pers}$) en geconcateneerd met de ruisige doel-latente tokens ($y^t_{equi}$) langs de sequentiedimensie.
• Leren: De DiT voert globale self-attention uit op deze gecombineerde sequentie. Het model leert de perspectief-naar-equirectangulaire mapping puur uit data, waarbij het impliciet de camera-intrinsics en -extrinsics afleidt om de input op een 360°-canvas te "plaatsen".
• Canonicalisering: Om consistente training en generatie te waarborgen, dwingt het framework een Canonical Coordinate constraint af. Het model wordt getraind om panorama's te genereren in een standaard, door zwaartekracht uitgelijnde rechtopstaande oriëntatie, ongeacht de pose van de inputcamera. Dit vereist een tweestaps data-pre-processing pipeline voor real-world video's:
  1. Stabilisatie: Gebruik van COLOLMAP om per frame poses te schatten en frames te roteren om rotatie tussen frames te elimineren.
  2. Zwaartekracht-uitlijning: Gebruik van GeoCalib om de globale zwaartekrachtrichting te schatten en de video te roteren zodat de zwaartekracht uitlijnt met de verticale as.

2. Circulaire Latente Codering voor Naadloze Generatie

Het paper identificeert de oorzaak van naad-artefacten in ERP-generatie als de zero-padding in de convolutionele lagen van de Variational Autoencoder (VAE) die wordt gebruikt voor latente codering. Standaard zero-padding introduceert discontinuïteiten in de grenzen van de latente representatie, die het diffusiemodel vervolgens leert te repliceren.

• Oplossing: De auteurs stellen Circulaire Latente Codering voor. Voordat de codering plaatsvindt, worden kolommen van de linker- en rechterzijde van het panorama afgesneden en aan de tegenovergestelde zijden toegevoegd (circulaire padding). Na de codering worden de latente regio's die overeenkomen met deze gepadde gebieden verwijderd.
• Resultaat: Dit zorgt ervoor dat de latente representatie een circulaire continuïteit bezit, waardoor de discontinuïteit die naden veroorzaakt wordt geëlimineerd, zonder extra overhead voor de sequentielengte of inferentietijd te introduceren.

Belangrijkste Bijdragen

1. 360Anything Architectuur: Een nieuw DiT-gebaseerd framework voor "in-the-wild" perspectief-naar-panorama generatie dat impliciet cameraparameters afleidt, waardoor de afhankelijkheid van camerakalibratie wordt opgeheven.
2. Oorzaakanalyse van Naden: Identificatie van VAE zero-padding als de bron van naad-artefacten en de introductie van Circulaire Latente Codering als een fundamentele oplossing in de trainingsfase.
3. State-of-the-Art Prestaties: De methode behaalt superieure resultaten op zowel beeld- als videogeneratie benchmarks, waarbij het baselines die gebruikmaken van ground-truth camerainformatie overtreft.
4. Zero-Shot Geometrisch Begrip: Het model vertoont competitieve nauwkeurigheid in zero-shot camera FoV en oriëntatieschatting, wat bewijst dat het diepe geometrische correspondenties leert ondanks het ontbreken van expliciete metadata.

Experimentele Resultaten

Panoramische Beeldgeneratie

Geëvalueerd op de Laval Indoor en SUN360 datasets, presteert 360Anything beter dan baselines (inclusclusief CubeDiff, PanoDiffusion en Diffusion360) op basis van visuele kwaliteitsmetrieken (FID, KID, FAED).

• FAED Verbetering: Het model vermindert de FAED-fout met bijna 50% vergeleken met de state-of-the-art, wat wijst op een aanzienlijk betere globale geometrie en 360°-consistentie.
• Kwalitatief: In tegenstelling tot cubemap-gebaseerde methoden die objecten uitrekken wanneer de input FoV verschilt van 90°, leidt 360Anything de FoV en oriëntatie correct af, wat resulteert in onvervormde objecten.

Panoramische Videogeneratie

Geëvalueerd op de Argus dataset met zowel gesimuleerde als real-world cameratrajecten.

• Metrieken: 360Anything behaalt de beste scores in PSNR, LPIPS, FVD en VBench metrieken (Beeldkwaliteit, Esthetische Kwaliteit, Bewegingsvloeiendheid).
• Consistentie: Het model genereert stabiele, gecanoniseerde video's die rechtop blijven staan en vrij van vervorming blijven, zelfs bij grote camerabewegingen, terwijl baselines vaak geroteerde of vervormde outputs produceren.
• 3D Reconstructie: De gegenereerde panoramische video's maken hoogwaardige 3D-scène reconstructie mogelijk via 3D Gaussian Splatting (3DGS), wat een sterke geometrische consistentie aantoont die geschikt is voor exploratie via "fly-throughs".

Zero-Shot Camera Kalibratie

Ondanks dat het uitsluitend getraind is voor outpainting, behaalt het model competitieve resultaten in zero-shot camera-parameter schatting:

• FoV Schatting: Staat in de top-3 op NYUv2, ETH3D en iBims-1, waarbij het verschillende gesuperviseerde baselines overtreft en slechts licht achterblijft bij gespecialiseerde SOTA-methoden (zoals DUSt3R, MoGe).
• Oriëntatieschatting: Presteert beter dan de meeste gesuperviseerde baselines op MegaDepth en LaMAR voor roll- en pitch-schatting, met fouten die slechts ~0,5 graad hoger liggen dan de SOTA GeoCalib.

Betekenis en Claims

Het paper beweert dat expliciete geometrische uitlijning niet nodig is voor hoogwaardige panorama-generatie. Door gebruik te maken van het representatieve vermogen van Diffusion Transformers en de taak te behandelen als een sequentie-naar-sequentie probleem, bereikt 360Anything robuustheid in "in-the-wild" scenario's waar kalibratie onmogelijk is.

Het werk toont aan dat:

1. Data-gestuurd leren van geometrische relaties de methoden kan overtreffen die vertrouwen op expliciete, vaak ruisachtige, geometrische priors.
2. Naad-artefacten een architecturaal probleem zijn in de latente ruimte, en niet slechts een inferentie-artefact, en opgelost kunnen worden via Circulaire Latente Codering.
3. Het framework beschikt over een diep geometrisch begrip, in staat om cameraparameters af te leiden en 3D-consistentie te behouden (wat 3DGS-reconstructie mogelijk maakt) zonder expliciete supervisie.

De auteurs concluderen dat deze aanpak de schaalbaarheid van modellen en data voor immersieve 3D-wereldgeneratie mogelijk maakt, waarbij de beperkingen van perspectief-only generatoren en kalibratie-afhankelijke pipelines worden overstegen.