💻 computer science

Unified Camera Positional Encoding for Controlled Video Generation

Il paper presenta UCPE, un nuovo metodo di codifica posizionale unificato che integra informazioni geometriche complete delle telecamere (pose, intrinseci e distorsioni) in trasformatori video preaddestrati tramite un adattatore leggero, consentendo un controllo preciso dell'orientamento e della posizione della telecamera nella generazione di video con alta fedeltà visiva.

Autori originali: Cheng Zhang, Boying Li, Meng Wei, Yan-Pei Cao, Camilo Cruz Gambardella, Dinh Phung, Jianfei Cai

Pubblicato 2026-03-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Cheng Zhang, Boying Li, Meng Wei, Yan-Pei Cao, Camilo Cruz Gambardella, Dinh Phung, Jianfei Cai

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler creare un film con l'Intelligenza Artificiale scrivendo solo una descrizione (un "prompt"). Finora, l'AI era un po' come un regista ubriaco: scriveva scene bellissime, ma non capiva bene come muovere la telecamera. Se gli chiedevi di girare intorno a un oggetto, a volte lo faceva, a volte no, e se gli chiedevi di usare una lente "pesce" (che distorce tutto), l'AI spesso ignorava l'ordine o creava immagini strane.

Questo nuovo lavoro, chiamato UCPE, è come dare al regista una mappa 3D perfetta e una bussola magica che non sbaglia mai.

Ecco come funziona, diviso in tre concetti chiave:

1. Il Problema: La "Telecamera Pinhole" (La lente perfetta che non esiste)

Fino a oggi, la maggior parte delle AI per i video pensava che tutte le telecamere fossero come quelle dei vecchi telefoni o delle macchine fotografiche classiche: lenti perfette e dritte (chiamate "pinhole").

L'analogia: È come se l'AI credesse che il mondo sia visto solo attraverso un tubo dritto. Ma nella realtà, usiamo lenti grandangolari (che vedono molto), lenti "pesce" (che curvano tutto), e droni che volano storti.
Il risultato: Quando l'AI provava a simulare queste lenti strane, si confondeva e il video veniva distorto o il movimento della camera non corrispondeva a quello che avevi chiesto.

2. La Soluzione: "Raggi di Luce" invece di "Punti"

Gli autori hanno inventato un nuovo modo per insegnare all'AI a "vedere" la telecamera. Invece di dire all'AI "questa è la posizione della camera", gli dicono: "per ogni pixel dell'immagine, immagina un raggio di luce che parte dal tuo occhio e va verso l'oggetto".

L'analogia: Immagina di essere in una stanza buia con un laser. Invece di dire "sono qui", dici "sto puntando questo raggio laser verso quel vaso".
Perché è geniale: Questo metodo (chiamato Relative Ray Encoding) funziona per qualsiasi tipo di lente. Che tu abbia una lente dritta, una curva come una lente d'ingrandimento, o una lente da 360 gradi, il "raggio di luce" si adatta automaticamente. È come se l'AI avesse imparato la fisica della luce invece di memorizzare solo le regole delle vecchie macchine fotografiche.

3. La Bussola Magica: "Dove è l'Orizzonte?"

C'era un altro problema: se chiedi all'AI di girare la camera, lei sa dove andare, ma non sa come è orientata rispetto al cielo e alla terra. A volte il video girava su se stesso in modo strano, come se il mondo fosse capovolto.

La soluzione: Hanno aggiunto un "codice della gravità" (chiamato Absolute Orientation Encoding).
L'analogia: È come dare all'AI un livella a bolla (quello strumento che usano i muratori per vedere se una parete è dritta). Ora, ogni volta che l'AI genera un video, sa sempre esattamente dove c'è il "su" (il cielo) e dove c'è il "giù" (la terra), anche se la telecamera è inclinata o rotta. Questo permette di controllare perfettamente se la telecamera è dritta, inclinata o se sta facendo una "capriola" (rollio).

Cosa ottieni alla fine?

Grazie a questo sistema, chiamato UCPE, puoi ora dire all'AI cose incredibili e ottenere esattamente quello che vuoi:

"Fai un video di un gatto che cammina nell'erba, ma usa una lente grandangolare da 180 gradi che distorce tutto come una lente 'pesce'." -> L'AI lo fa perfettamente.
"Gira intorno a un edificio storico, ma mantieni la telecamera sempre dritta rispetto al cielo, anche se mi muovo velocemente." -> L'AI capisce la gravità e non ti fa girare la testa.
"Simula la vista di un'auto che guida sotto la pioggia con una telecamera da cruscotto." -> L'AI capisce la distorsione della lente e il movimento.

Perché è importante?

Prima, per fare video controllati, servivano team di esperti o costose ricostruzioni 3D. Ora, con UCPE, l'AI impara a "sentire" la geometria della telecamera in modo naturale, come un essere umano che guarda il mondo.

In sintesi: UCPE è il manuale di istruzioni che mancava all'Intelligenza Artificiale per diventare un vero regista cinematografico, capace di usare qualsiasi tipo di lente e di muoversi in qualsiasi direzione senza mai perdere l'equilibrio. E il meglio? Lo fa aggiungendo pochissimi "cervelli" extra al sistema, rendendolo veloce ed efficiente.

1. Il Problema

I modelli Transformer sono diventati lo standard per la generazione video, la sintesi di nuove viste e i modelli del mondo per la guida autonoma e l'IA embodied. Tuttavia, un limite fondamentale delle attuali metodologie è la loro dipendenza da assunzioni semplificate di tipo "pinhole" (prospettiva ideale) per codificare la geometria della telecamera.

Nelle applicazioni reali (guida autonoma, robotica, realtà virtuale), le telecamere utilizzano spesso proiezioni non lineari come grandangolari, fisheye o proiezioni equirettangolari (360°), che introducono forti distorsioni ottiche. I metodi esistenti per il controllo della telecamera (come CameraCtrl o ReCamMaster) falliscono nel generalizzare su queste geometrie eterogenee perché:

Si basano su codifiche assolute (es. coordinate Plücker) che dipendono da un sistema di riferimento mondiale arbitrario.
Non modellano esplicitamente le distorsioni lente o le intrinseche non lineari.
Lasciano ambiguo l'orientamento assoluto (rollio e beccheggio) della prima inquadratura, rendendo impossibile controllare la direzione "verso l'alto" (gravity-aligned).

2. Metodologia: UCPE (Unified Camera Positional Encoding)

Gli autori propongono UCPE, un framework unificato che integra la geometria completa della telecamera (6 gradi di libertà di posa, intrinseche e distorsioni lente) direttamente nei meccanismi di attenzione dei Transformer. UCPE si compone di due elementi chiave:

A. Relative Ray Encoding (Codifica dei Raggi Relativi)

Invece di trattare l'intera immagine come un'unica entità rigida con una proiezione lineare, UCPE riformula la codifica da "telecamera-telecamera" a "raggio-raggio".

Concetto: Ogni token (pixel) è associato al proprio raggio di visione specifico, definito da un'origine e una direzione nello spazio locale.
Meccanismo: Viene costruita una trasformazione locale "raggio-mondo" ( $T^{wr}_t$ ) per ogni token. Questo permette al meccanismo di attenzione di operare direttamente nello spazio dei raggi (ray space) piuttosto che a livello di telecamera.
Vantaggio: Questa rappresentazione è geometricamente coerente e capace di gestire proiezioni non lineari e distorsioni spaziali variabili, rendendo il modello agnostico rispetto al tipo di lente (pinhole, fisheye, ecc.).

B. Absolute Orientation Encoding (Codifica dell'Orientamento Assoluto)

Poiché la codifica relativa non definisce un "verso l'alto" globale, gli autori introducono una mappa Lat-Up (Latitudine + Vettore Su).

Funzione: Fornisce un riferimento gravitazionale ancorando la telecamera alla direzione "su" del mondo.
Implementazione: Calcola l'angolo di latitudine di ogni raggio rispetto al piano orizzontale e un vettore di spostamento che indica la direzione "su" dopo una piccola perturbazione.
Risultato: Permette un controllo preciso e ripetibile del rollio e del beccheggio iniziali, risolvendo l'ambiguità presente nei metodi precedenti.

C. Adattatore di Attenzione Spaziale

Per integrare UCPE nei modelli Diffusion Transformer pre-addestrati (come Wan), viene utilizzato un adattatore di attenzione spaziale leggero:

Funziona in parallelo all'attenzione originale.
Inietta le informazioni geometriche attraverso un ramo condizionale.
Utilizza una proiezione dei token compressa (es. 1/8 della dimensione originale) per mantenere il numero di parametri aggiuntivi inferiore all'1% (circa 35.5M su un modello da 7.3B).
Preserva le conoscenze pre-addestrate del modello, evitando di degradare la qualità visiva.

3. Contributi Chiave

Framework Unificato (UCPE): La prima rappresentazione che codifica congiuntamente pose 6-DoF, intrinseche e distorsioni lente in un formato coerente per i Transformer, superando i limiti delle assunzioni pinhole.
Metodo di Iniezione Efficiente: Un adattatore di attenzione che permette di abilitare il controllo della telecamera su modelli video esistenti con un costo computazionale e parametrico minimo (<1% di parametri aggiuntivi).
Dataset Su Misura: Costruzione di un dataset video su larga scala (~48k clip) sintetizzato da video 360° reali, coprendo un'ampia varietà di FOV (da 90° a 200°), tipi di lente (pinhole, grandangolari, fisheye estreme) e traiettorie di movimento.
Codifica dell'Orientamento Assoluto: Introduzione di un meccanismo per controllare esplicitamente rollio e beccheggio, fondamentale per la coerenza gravitazionale nei video generati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset sintetizzato e su RealEstate10K (senza ri-addestramento specifico per quest'ultimo).

Controllo della Lente e della Distorsione: UCPE supera significativamente i baseline (ReCamMaster, Wan CameraCtrl, CameraCtrl) nella capacità di generare distorsioni ottiche coerenti con i parametri di input (es. effetti fisheye realistici).
Precisione della Posa: Mostra errori di rotazione e traslazione (RotErr, TransErr) inferiori rispetto ai metodi esistenti, sia in scenari pinhole che con lenti distorte.
Qualità del Video: Mantiene un'alta fedeltà visiva (FID, FVD) e allineamento testo-video (CLIP Score), dimostrando che l'aggiunta di controllo geometrico non compromette la qualità estetica.
Generalizzazione: Il modello dimostra una forte capacità di generalizzare su dataset non visti (come RealEstate10K) e su tipi di lenti non presenti durante l'addestramento (es. modello Brown-Conrady), grazie alla natura agnostica della codifica dei raggi.
Efficienza: Rispetto a ReCamMaster, UCPE richiede il 90% in meno di parametri aggiuntivi pur ottenendo prestazioni superiori.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale verso la creazione di modelli del mondo (World Models) realistici e controllabili.

Per la Generazione Video: Permette la creazione di contenuti cinematografici con movimenti di camera complessi e lenti specifiche, aprendo nuove possibilità per la narrazione visiva.
Per l'IA Embodied e la Guida Autonoma: Fornisce un meccanismo unificato per addestrare agenti AI in ambienti simulati con diverse configurazioni di sensori (dalle telecamere pinhole ai sistemi fisheye 360°), migliorando la robustezza dei modelli di percezione e navigazione.
Fondamentale per i Transformer: Stabilisce un nuovo standard per come le informazioni geometriche 3D devono essere incorporate nei Transformer, spostando il focus dalle coordinate assolute alle relazioni geometriche nei raggi, rendendo i modelli più adattabili al mondo reale.

In sintesi, UCPE colma il divario tra la teoria geometrica delle telecamere reali e le capacità generative dei modelli di intelligenza artificiale, offrendo un controllo fine, fisicamente fondato ed efficiente.