URoPE: Universal Relative Position Embedding across Geometric Spaces

1. Il Problema

I Transformer sono diventati l'architettura dominante nella visione artificiale, ma la loro applicazione a compiti geometrici (come la sintesi di nuove viste, la rilevazione 3D o la stima della profondità) presenta una sfida fondamentale: come codificare le relazioni spaziali tra token provenienti da prospettive diverse, sistemi di coordinate differenti o persino modalità geometriche diverse (2D e 3D)?

Le soluzioni attuali per l'embedding di posizione relativa (come RoPE - Rotary Position Embedding) sono limitate a spazi geometrici fissi:

• Sequenze 1D (testo).
• Griglie regolari 2D/3D (immagini o voxel).

Queste formulazioni falliscono nel ragionamento geometrico "cross-view" (tra viste diverse). Ad esempio, due pixel appartenenti a due telecamere diverse potrebbero essere vicini nello spazio 3D ma distanti nelle rispettive griglie 2D. I metodi recenti che incorporano la geometria della telecamera spesso si basano su moltiplicazioni di matrici complesse o su codifiche assolute che non generalizzano bene, oppure non interagiscono efficacemente tra la geometria inter-camera e la posizione intra-immagine.

2. Metodologia: URoPE

Gli autori propongono URoPE (Universal Relative Position Embedding), un'estensione universale di RoPE che utilizza la geometria proiettiva esplicita per mappare le corrispondenze tra viste diverse direttamente nel piano dell'immagine della query.

Il funzionamento si articola in tre fasi principali:

A. Ponti tra 2D e 3D (Camera Rays)

Ogni pixel di un'immagine corrisponde a un raggio di luce che passa attraverso il centro della telecamera. URoPE utilizza questi raggi come ponte tra le coordinate 2D e lo spazio 3D.
Per un pixel $(u, v)$ nella vista sorgente $i$, il raggio è definito da un'origine $o_i$ e una direzione $r_i(u, v)$.

B. Sollevamento e Proiezione (Lifting and Projection)

Poiché la profondità reale è spesso sconosciuta, URoPE adotta una strategia di sollevamento ancorato alla profondità (depth-anchored lifting):

1. Ancoraggi di profondità fissi: Viene definita una serie di ancoraggi di profondità fissi $D = \{d_h\}$.
2. Sollevamento: Per ogni pixel chiave, vengono campionati punti 3D lungo il raggio della telecamera a ciascuna delle profondità ancorate: $p_i^h = o_i + d_h \cdot r_i$.
3. Proiezione: Questi punti 3D vengono proiettati nel piano dell'immagine della telecamera di query (vista $j$) utilizzando la trasformazione relativa tra le telecamere e i parametri intrinseci della vista di query.
   • Il risultato è un insieme di coordinate pixel proiettate $(u^h, v^h)$ nel piano della query.
   • Se le viste sono la stessa ($i=j$), la proiezione è l'identità, e URoPE degenera naturalmente nel RoPE 2D standard.

C. Attenzione Multi-Head Ancorata alla Profondità

Poiché la proiezione cross-view è intrinsecamente ambigua (un pixel sorgente corrisponde a una linea epipolare nella vista di query), URoPE risolve l'ambiguità distribuendo gli ancoraggi di profondità su diversi head di attenzione:

• Ogni head (o gruppo di head) è associato a un ancoraggio di profondità fisso diverso.
• Ogni head codifica quindi un'ipotesi di profondità specifica.
• L'attenzione multi-head copre collettivamente le corrispondenze dal vicino al lontano.
• All'interno di ogni head, le coordinate proiettate $(u^h, v^h)$ vengono utilizzate per applicare lo standard 2D RoPE (rotazione sui canali delle feature della query e della chiave).

Vantaggi Chiave del Design:

• Parametro-free: Non richiede moduli di predizione della profondità appresi.
• Aware degli intrinseci: Tiene conto della calibrazione della telecamera.
• Invariante SE(3): Invariante rispetto alle trasformazioni rigide del sistema di coordinate globale.
• Compatibilità: Mantiene il formato di moltiplicazione Q/K/V standard, rendendolo compatibile con kernel ottimizzati come FlashAttention.

3. Contributi Chiave

1. Universalità Geometrica: URoPE è il primo embedding di posizione relativa che funziona nativamente attraverso spazi geometrici diversi (2D-2D, 2D-3D, cross-view) senza modifiche specifiche per il task.
2. Meccanismo di Proiezione Esplicita: Sostituisce le codifiche di raggi astratti con una proiezione geometrica esplicita nel piano della query, permettendo a RoPE di operare in uno spazio di coordinate condiviso.
3. Gestione dell'Ambiguità di Profondità: Introduce un meccanismo di depth-anchored multi-head attention che distribuisce le ipotesi di profondità tra gli head, evitando la necessità di predire la profondità in modo supervisionato o non supervisionato all'interno dello strato di attenzione.
4. Efficienza: Non introduce complessità computazionale asintotica aggiuntiva rispetto all'attenzione standard.

4. Risultati Sperimentali

URoPE è stato valutato come un encoding "plug-in" su una vasta gamma di task e dataset, mostrando miglioramenti coerenti rispetto alle baselines (Plücker ray, 6D RoPE, P-RoPE, RayRoPE):

• Sintesi di Nuove Viste (Novel View Synthesis): Su Objaverse e RealEstate10k, URoPE ha ottenuto i migliori risultati in termini di PSNR, SSIM e LPIPS, gestendo efficacemente variazioni nei parametri intrinseci della telecamera e scene complesse.
• Rilevazione e Tracciamento 3D: Su nuScenes, l'integrazione in modelli come PETR e StreamPETR ha migliorato significativamente sia la rilevazione di oggetti (NDS, mAP) che il tracciamento (AMOTA), specialmente per oggetti piccoli e in sequenze multi-frame con movimenti rapidi.
• Stima della Profondità Stereo: Su dataset come RGBD, Scenes11 e SUN3D, URoPE ha migliorato le metriche di errore di profondità (Abs Rel, RMSE) anche in configurazioni stereo semplici, dimostrando versatilità.
• Robustezza e Scalabilità:
  • Out-of-Distribution: Il modello mantiene prestazioni robuste quando testato con focali diverse o numero di viste di contesto diverso rispetto all'addestramento.
  • Scalabilità: Esperimenti di scaling (50x costo computazionale) confermano che i benefici di URoPE si mantengono su modelli più grandi.
  • Analisi degli Head: Non si osserva il collasso multi-head; gli head mantengono una distribuzione equilibrata delle informazioni di profondità.

5. Significato e Impatto

URoPE rappresenta un passo avanti significativo nell'integrazione della geometria fisica nei Transformer per la visione artificiale.

• Unificazione: Unifica la codifica della posizione relativa intra-immagine e inter-camera in un unico meccanismo geometrico coerente.
• Semplificazione: Elimina la necessità di moduli di predizione della profondità complessi o di maschere di attenzione rigide, semplificando l'ottimizzazione del modello.
• Generalizzazione: La sua natura "parameter-free" e basata sulla geometria proiettiva lo rende ideale per compiti che richiedono un ragionamento geometrico robusto, superando i limiti delle codifiche basate su griglie fisse.

In sintesi, URoPE trasforma il problema della corrispondenza geometrica tra viste diverse in un problema di proiezione standard, permettendo ai Transformer di "vedere" le relazioni 3D direttamente attraverso le loro operazioni di attenzione 2D.