💻 computer science

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

Il documento introduce Canvas360, un framework a due stadi che sfrutta un dataset di 1 milione di campioni di nuova creazione e tecniche di pre-addestramento consapevole della geometria per raggiungere prestazioni allo stato dell'arte in diversi compiti di generazione panoramica in-context, garantendo al contempo una coerenza geometrica e una coerenza globale superiori.

Autori originali: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Pubblicato 2026-07-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di dipingere un panorama perfetto a 360 gradi di una stanza su un semplice foglio di carta. Il problema? Quando avvolgi una mappa piatta attorno a una sfera, la parte superiore e quella inferiore vengono schiacciate e allungate come una strana pizza al formaggio fuso. La maggior parte dei generatori di immagini AI cerca di risolvere il problema usando mappe "cubiche" speciali o trucchi 3D, ma gli autori di questo articolo, Canvas360, suggeriscono che anche quei metodi lasciano comunque la geometria con un aspetto un po' distorto. Sostengono che, se si vuole un mondo panoramico davvero fluido e privo di distorsioni, non basta guardare l'immagine; è necessario comprendere la profondità e la forma dello spazio stesso.

Allora, come hanno risolto il problema? Hanno costruito una pipeline di addestramento a due stadi che agisce come un maestro architetto e poi come un pittore versatile.

Stadio 1: Il Campo di Addestramento Geometrico
Per prima cosa, il team ha insegnato al loro modello AI a vedere il mondo in 3D, non solo in 2D. Non si sono limitati a mostrare al modello delle immagini; hanno accoppiato ogni singola immagine con una mappa di profondità (un progetto che mostra quanto ogni oggetto sia lontano). Hanno fornito al modello 100.000 di questi campioni accoppiati.

Per assicurarsi che il modello non si confondesse tra l'immagine e il progetto, hanno usato un trucco astuto: hanno dato alla mappa di profondità un "offset posizionale", come dare a una mappa un numero di posto diverso in un teatro per farle capire che non è la stessa cosa dell'immagine accanto a lei. Hanno anche aggiunto una regola speciale chiamata "perdita di similarità" (similarity loss), che fondamentalmente rimproverava il modello se l'immagine e la mappa di profondità iniziavano a somigliarsi troppo, costringendoli a rimanere distinti.

La parte più incredibile? Hanno introdotto il padding circolare di velocità (velocity circular padding). Immagina un mondo di un videogioco in cui, se cammini oltre il bordo destro dello schermo, riappari istantaneamente sul lato sinisto. Gli autori si sono assicurati che l'IA comprendesse che i bordi sinistro e destro di un panorama sono in realtà vicini su una sfera. Non si sono limitati a copiare-incollare i bordi; hanno insegnato al modello che la "velocità" (la direzione del cambiamento) al bordo deve fluire perfettamente nel lato opposto. Questo ha aiutato il modello a imparare come mantenere le giunture invisibili.

Stadio 2: Il Pittore Versatile
Una volta che il modello aveva compreso la geometria, sono passati al secondo stadio: insegnargli a essere un maestro della generazione in-context. Ciò significa che l'IA può ora prendere un'immagine esistente e un prompt testuale per compiere ogni sorta di magie senza più bisogno delle mappe di profondità. Lo hanno addestrato su un nuovo dataset massiccio chiamato Canvas360Dataset, che contiene 1 milione di campioni di alta qualità.

Questo dataset è stato costruito sintetizzando 900.000 nuovi esempi che coprono quattro compiti specifici:

Trasferimento di Stile (Style Transfer): Trasformare una foto in uno schizzo a matita o in un dipinto (200.000 campioni).
Outpainting: Espandere la visuale oltre i bordi originali (250.000 campioni).
Inpainting: Riempire i buchi mancanti nell'immagine (250.000 campioni).
Editing: Rimuovere oggetti (come un divano) o aggiungerne di nuovi (200.000 campioni).

Gli autori sostengono esplicitamente contro l'idea che sia necessario addestrare modelli separati per ciascuno di questi compiti o fare affidamento sui vecchi metodi "cube map". Al contrario, suggeriscono che un singolo modello unificato, pre-addestrato sulla geometria, possa gestire tutti questi lavori meglio.

Ha funzionato?
I risultati suggeriscono un forte miglioramento. Quando hanno testato il modello, questo ha ottenuto il punteggio migliore in una metrica specifica chiamata FAED (che misura quanto il panorama sia fedele alla geometria) e ha performato molto bene anche in altri controlli di qualità. In uno studio sugli utenti con 71 persone che osservavano 10 immagini, Canvas360 è stato il preferito per avere i confini più fluidi e la migliore qualità complessiva.

Gli autori notano che, mentre i metodi precedenti spesso lasciavano bordi sfocati o oggetti distorti durante l'editing di un panorama, Canvas360 è riuscito a mantenere intatta la struttura 3D. Non hanno sostenuto di aver risolto ogni problema dell'universo, ma i loro esperimenti suggeriscono che, insegnando all'IA a rispettare la forma sferica del mondo fin dall'inizio, hanno creato uno strumento in grado di generare immagini panoramiche molto più coerenti e realistiche.

Riepilogo Tecnico: Canvas360 – Miglioramento della Generazione Panoramica In-context tramite Pretraining Geometricamente Consapevole

Problema

Sebbene la generazione da testo a panorama abbia fatto progressi significativi, la generazione panoramica in-context (editing, inpainting, outpainting e trasferimento di stile condizionati su immagini fornite dall'utente) affronta sfide distinte. La rappresentazione dominante della proiezione equirettangolare (ERP) introduce intrinsecamente distorsioni dipendenti dalla latitudine, rendendo difficile preservare la coerenza geometrica della struttura della scena 3D sottostante durante l'editing.

I metodi esistenti tentano di mitigare questo problema attraverso design sensibili alla distorsione (ad esempio, cube-map o embedding posizionali sferici 3D), ma le osservazioni empiriche suggeriscono che essi incontrino ancora difficoltà nel mantenere la coerenza geometrica operando direttamente su panorami ERP. Inoltre, il campo è ostacolato dalla scarsità di dati di addestramento su larga scala e di alta qualità specificamente adattati per i compiti panoramici in-context. Una domanda critica rimane aperta: Come possono i priori di profondità essere formulati sotto geometria sferica per preservare la coerenza geometrica nella generazione di immagini panoramiche in-context?

Metodologia

Gli autori propongono Canvas360, un framework in due fasi che integra il pretraining geometricamente consapevole con un fine-tuning in-context unificato.

1. Pretraining Geometricamente Consapevole (Fase 1)

Per instillare forti priori spaziali e geometrici, il modello viene preaddestrato su un dataset su larga scala aumentato dalla profondità utilizzando un'architettura Flow Transformer.

Generazione di Profondità Parallela: Il modello genera panorami RGB e mappe di profondità sferiche simultaneamente. La profondità è trattata come un esplicito priore geometrico in cui la profondità corrisponde alla distanza radiale dal centro della telecamera (spazio sferico) piuttosto che all'asse cartesiano Z.
Concatenazione per Token e Offset Posizionali: I latenti RGB e di profondità sono concatenati a livello di token. Per evitare che il modello confonda le due modalità, viene applicato un offset costante alla prima dimensione degli embedding posizionali rotanti 3D (RoPE) per i token di profondità, separandoli dai token RGB nello spazio posizionale.
Padding Circolare di Velocità: Per imporre la continuità sferica e la coerenza dei bordi, gli autori introducono il velocity circular padding. A differenza del padding standard che si limita a copiare le colonne di bordo, questo metodo sincronizza i campi di velocità dei token di confine (0° e 360°) con i rispettivi controparti circolari prima del calcolo del transformer. Questo supervisiona esplicitamente il modello affinché predica velocità coerenti ai bordi, garantendo un allineamento delle cuciture senza interruzioni.
Regolarizzazione della Perdita di Similarità: Per evitare che le predizioni RGB e di profondità collassino in output degeneri e eccessivamente simili, viene aggiunta una perdita di similarità. Questa penalizza l'eccessiva correlazione tra i campi di velocità predetti delle due modalità, incoraggiando rappresentazioni distinte e specifiche per modalità.

2. Fine-tuning In-context Unificato (Fase 2)

Costruito sul modello preaddestrato, un framework unificato viene addestrato per quattro compiti downstream: trasferimento di stile, inpainting, outpainting ed editing.

Rimozione della Profondità: Durante il fine-tuning, gli input di profondità vengono scartati. Il modello si affida esclusivamente a condizioni in-context basate su RGB (immagini mascherate o immagini di riferimento complete) e prompt testuali, ereditando implicitamente la struttura spaziale appresa durante il pretraining.
Rappresentazione Unificata: Tutti i compiti sono formulati sotto una tupla di addestramento condivisa tramite concatenazione a livello di token. I token di contesto e i token target sono separati da un offset posizionale ( $T_c$ ), consentendo al modello di differenziare i ruoli semantici pur mantenendo la corrispondenza spaziale.

3. Pipeline dei Dati: Canvas360Dataset

Per affrontare la scarsità di dati, gli autori hanno curato il Canvas360Dataset, un dataset di 1 milione di campioni:

Set Seed: 100K panorami RGB-profondità di alta qualità derivati da Matterport3D, risorse web e modelli di generazione allo stato dell'arte.
Pipeline di Sintesi: Una pipeline scalabile genera altri 900K campioni accoppiati per i quattro compiti downstream:
- Trasferimento di Stile (200K): Sintetizzato con FLUX.2-dev con prompt specifici per lo stile.
- Outpainting (250K): Generato campionando parametri casuali della telecamera (yaw, pitch, FoV) per creare maschere di visuale prospettica e proiezioni inverse.
- Inpainting (250K): Creato con maschere rettangolari casuali, utilizzando sia prompt di scena globale che prompt di regione locale (generati da VLM).
- Editing (200K): Sintetizzato utilizzando VLM e modelli di grounding (Florence2, GroundingDino) per localizzare oggetti, seguito da cancellazione/aggiunta di oggetti tramite FLUX.2 e raffinamento con NanoBanana.

Risultati Chiave

Esperimenti estesi dimostrano che Canvas360 raggiunge prestazioni superiori sia nella generazione base da testo a panorama che nei compiti in-context.

Prestazioni Quantitative: Sul set di validazione testo-panorama, Canvas360 raggiunge il miglior punteggio FAED (una metrica di fedeltà specifica per i panorami), superando significativamente i metodi precedenti come DiT360, HunyuanWorld e SMGD. Guida inoltre nei punteggi IS, QA estetica e NIQE, rimanendo competitivo in FID e BRISQUE.
Miglioramenti Qualitativi: I confronti visivi mostrano che Canvas360 produce dettagli più nitidi, correttiamente distribuiti le distorsioni polari e allineamenti dei bordi senza interruzioni rispetto ai baseline che spesso soffrono di sfocature, artefatti o editing geometricamente inconsistenti.
Studio Utente: In uno studio con 71 partecipanti, Canvas360 ha ricevuto i punteggi di preferenza più alti per Continuità del Bordo (31.1%), Consapevolezza Panoramica (34.1%) e Qualità Complessiva (35.9%), superando Matrix-3D, HunyuanWorld e DiT360.
Studi di Ablazione: Rimuovere la generazione di profondità parallela, gli offset posizionali o la perdita di similarità porta a distorsioni geometriche, instabilità dell'addestramento (output eccessivamente scuri) o modalità degenerate. Il padding circolare di velocità si è dimostrato critico per la continuità dei bordi.

Significato e Contributi

Il documento rivendica i seguenti contributi:

Framework Canvas360: Un approccio in due fasi che trasferisce con successo i priori geometricamente consapevoli dal pretraining aumentato dalla profondità alla generazione in-context unificata, migliorando la coerenza spaziale e la fedeltà geometrica senza richiedere una supervisione geometrica esplicita durante i compiti downstream.
Strategia di Pretraining Geometricamente Consapevole: Un metodo innovativo che utilizza la generazione parallela RGB-profondità, regolarizzata da perdita di similarità e padding circolare di velocità, per imporre la continuità sferica e rappresentazioni di modalità distinte.
Canvas360Dataset: Il rilascio di un dataset su scala di 1M che copre quattro distinti compiti in-context, che gli autori notano essere il più completo del suo genere a oggi, abilitando lo scaling del modello su larga scala nella generazione panoramica.
Prestazioni Unificate: La dimostrazione che un singolo modello può gestire efficacemente compiti diversi (inpainting, outpainting, editing, trasferimento di stile) con una forte generalizzazione, superando i metodi precedenti sia nella copertura dei compiti che nella flessibilità di modellazione.

Gli autori concludono che Canvas360 stabilisce una solida base per il futuro scaling e applicazioni più ampie nella generazione panoramica, affrontando efficacemente le sfide della coerenza geometrica e della scarsità di dati.