Riepilogo Tecnico: 360Anything

Problematica

La generazione di mondi 3D fotorealistici da immagini e video in prospettiva è una frontiera critica per le applicazioni immersive nella robotica, AR/VR e nel gaming. Sebbene i recenti progressi nei modelli generativi visivi abbiano migliorato la sintesi di viste prospettiche, i generatori standard producono campi di visione (FoV) ristretti, limitandone l'utilità per la creazione di ambienti immersivi a 360°.

Gli approcci esistenti per elevare gli input prospettici a panoramiche a 360° si affidano tipicamente all'allineamento geometrico esplicito. Questi metodi proiettano l'input prospettico nello spazio della Proiezione Equirettangolare (ERP) per fornire un segnale di condizionamento allineato ai pixel. Tuttavia, questa strategia richiede metadati della telecamera noti (Campo di Visione, yaw, pitch, roll). Negli scenari "in-the-wild", come quelli con dati di calibrazione assenti o rumorosi, i modelli attuali faticano con input non calibrati o falliscono quando si affidano a stimatori esterni fragili. Inoltre, le panoramiche generate soffrono spesso di artefatti di cucitura (seam artifacts) ai bordi dell'ERP, un problema che i lavori precedenti tentano di mitigare con trucchi in fase di inferenza piuttosto che affrontandone la causa radice.

Metodologia

Gli autori propongono 360Anything, un framework privo di geometria basato su Diffusion Transformers (DiT pre-addestrati) che elimina la necessità di informazioni esplicite sulla telecamera.

1. Concatenazione di Sequenze Senza Geometria

A differenza dei lavori precedenti che impongono una corrispondenza spaziale proiettando gli input nello spazio ERP, 360Anything tratta l'input prospettico e la panoramica target semplicemente come sequenze di token.

• Meccanismo: L'input prospettico ($X_{pers}$) viene codificato in token latenti ($x_{pers}$) e concatenato con i token latenti rumorosi del target ($y^t_{equi}$) lungo la dimensione della sequenza.
• Apprendimento: Il DiT esegue l'auto-attenzione globale su questa sequenza combinata. Il modello apprende la mappatura da prospettiva a equirettangolare puramente dai dati, inferendo implicitamente le caratteristiche intrinseche ed estrinseche della telecamera per "posizionare" l'input su una tela a 360°.
• Canonicalizzazione: Per garantire una generazione e un addestramento coerenti, il framework impone un vincolo di Coordinate Canoniche. Il modello è addestrato per generare panoramiche in un'orientamento standard, allineato alla gravità, indipendentemente dalla posa della telecamera di input. Ciò richiede una pipeline di pre-elaborazione dei dati in due fasi per i video reali:
  1. Stabilizzazione: Utilizzo di COLMAP per stimare le pose per frame e ruotare i frame per eliminare la rotazione inter-frame.
  2. Allineamento alla Gravità: Utilizzo di GeoCalib per stimare la direzione globale della gravità e ruotare il video in modo che la gravità si allinei con l'asse verticale.

2. Codifica Latente Circolare per una Generazione Senza Cuciture

Il paper identifica la causa radice degli artefatti di cucitura nella generazione ERP come lo zero-padding nei livelli convoluzionali dell'Autoencoder Variazionale (VAE) utilizzato per la codifica latente. Lo zero-padding standard introduce discontinuità ai bordi nella rappresentazione latente, che il modello di diffusione impara a replicare.

• Soluzione: Gli autori propongono la Codifica Latente Circolare. Prima della codifica, le colonne vengono ritagliate dai lati sinistvo e destro della panoramica e aggiunte (padding) ai lati opposti (circular padding). Dopo la codifica, i latenti corrispondenti a queste regioni di padding vengono scartati.
• Risultato: Ciò garantisce che la rappresentazione latente possieda una continuità circolare, eliminando la discontinuità che causa le cuciture senza introdurre sovraccarichi alla lunghezza della sequenza o ai tempi di inferenza.

Contributi Chiave

1. Architettura 360Anything: Un nuovo framework basato su DiT per la generazione da prospettiva a panorama "in-the-wild" che inferisce implicitamente i parametri della telecamera, rimuovendo la dipendenza dalla calibrazione.
2. Analisi della Causa Radice delle Cuciture: Identificazione dello zero-padding del VAE come fonte degli artefatti di cucitura e introduzione della Codifica Latente Circolare come rimedio principato in fase di addestramento.
3. Prestazioni allo Stato dell'Arte: Il metodo ottiene risultati superiori negli benchmark di generazione di immagini e video, superando i baseline che utilizzano informazioni sulla telecamera reali (ground-truth).
4. Comprensione Geometrica Zero-Shot: Il modello dimostra un'accuratezza competitiva nella stima zero-shot del FoV e dell'orientamento della telecamera, provando di aver appreso profonde corrispondenze geometriche nonostante non utilizzi metadati espliciti.

Risultati Sperimentali

Generazione di Immagini Panoramiche

Valutato sui dataset Laval Indoor e SUN360, 360Anything supera i baseline (inclusi CubeDiff, PanoDiffusion e Diffusion360) in termini di qualità visiva (metriche FID, KID, FAED).

• Miglioramento FAED: Il modello riduce l'errore FAED di quasi il 50% rispetto allo stato dell'arte, indicando una migliore coerenza geometrica globale e a 360°.
• Qualitativo: A differenza dei metodi basati su cubemap che distorcono gli oggetti quando il FoV di input differisce da 90°, 360Anything inferisce correttamente FoV e orientamento, producendo oggetti non distorti.

Generazione di Video Panoramici

Valutato sul dataset Argus utilizzando traiettorie di telecamera simulate e reali.

• Metriche: 360Anything raggiunge i punteggi migliori in PSNR, LPIPS, FVD e metriche VBench (Qualità dell'Immagine, Qualità Estetica, Fluidità del Movimento).
• Coerenza: Il modello genera video canonicizzati stabili che rimangono verticali e privi di distorsioni anche con grandi movimenti della telecamera, mentre i baseline spesso producono output ruotati o distorti.
• Ricostruzione 3D: I video panoramici generati consentono ricostruzioni di scene 3D di alta qualità tramite 3-D Gaussian Splatting (3DGS), dimostrando una forte coerenza geometrica adatta all'esplorazione di volo (fly-through).

Calibrazione della Telecamera Zero-Shot

Nonostante sia addestrato esclusivamente per l'outpainting, il modello ottiene risultati competitivi nella stima zero-shot dei parametri della telecamera:

• Stima del FoV: Si posiziona tra i primi 3 su NYUv2, ETH3D e iBims-1, superando diversi baseline supervisionati e restando solo leggermente dietro a metodi specializzati SOTA (DUSt3R, MoGe).
• Stima dell'Orientamento: Supera la maggior parte dei baseline supervisionati su MegaDepth e LaMAR per la stima di roll e pitch, con errori solo di circa 0,5 gradi superiori allo SOTA GeoCalib.

Significato e Rivendicazioni

Il paper sostiene che l'allineamento geometrico esplicito è superfluo per la generazione di panoramiche di alta qualità. Sfruttando la potenza rappresentativa dei Diffusion Transformers e trattando il compito come un problema da sequenza a sequenza, 360Anything ottiene robustezza negli scenari "in-the-wild" dove la calibrazione è impossibile.

Il lavoro dimostra che:

1. L'apprendimento guidato dai dati delle relazioni geometriche può superare i metodi che si affidano a priori geometrici espliciti e spesso rumorosi.
2. Gli artefatti di cucitura sono un problema architettonico nello spazio latente, non solo un artefatto di inferenza, e possono essere risolti tramite la Codifica Latente Circolare.
3. Il framework possiede una profonda comprensione geometrica, capace di inferire i parametri della telecamera e mantenere la coerenza 3D (consentendo la ricostruzione 3DGS) senza supervisione esplicita.

Gli autori concludono che questo approccio consente la scalabilità di modelli e dati per la generazione di mondi 3D immersivi, andando oltre i limiti dei generatori basati solo sulla prospettiva e delle pipeline dipendenti dalla calibrazione.