Riepilogo Tecnico: RaysUp: Upsampling di Caratteristiche Universale Ultra-leggero tramite Rappresentazione di Raggi Consapevole della Geometria

1. Definizione del Problema

I modelli di Vision Foundation (VFM) pre-addestrati, come le famiglie DINO, CLIP e SigLIP, sono diventati centrali nella moderna visione artificiale grazie alle loro potenti rappresentazioni semantiche e capacità di generalizzazione. Tuttavia, questi modelli tipicamente producono mappe di caratteristiche a bassa risoluzione a causa della "patchification" o di operazioni di pooling aggressive. Questa limitazione ostacola la loro efficacia in compiti di predizione densa che richiedono un ragionamento a grana fine, livello pixel, come la segmentazione semantica, la stima della profondità e la ricostruzione 3D.

Gli approcci esistenti all'upsampling delle caratteristiche affrontano compromessi significativi:

• Interpolazione Tradizionale: Metodi come l'interpolazione bilineare sono computazionalmente efficienti ma spesso degradano la fedeltà semantica, portando a sfocature dei bordi e perdita di dettagli fini.
• Upsampling Appreso: Recenti metodi agnostici rispetto al task (es. LiFT, FeatUp, LoftUp, JAFAR) migliorano le prestazioni ma spesso richiedono il ri-addestramento per specifici VFM o comportano un pesante overhead computazionale durante l'inferenza.
• Approcci Universali: Sebbene lavori recenti come AnyUp tentino di creare framework encoder-agnostic, essi si affidano ad architetture di rete pesanti, risultando in un elevato numero di parametri e velocità di inferenza ridotta, limitando la scalabilità e l'efficienza.

2. Metodologia

Gli autori propongono RaysUp, un framework ultra-leggero, task-agnostic e VFM-agnostic che ricostruisce mappe di caratteristiche ad alta risoluzione a risoluzioni arbitrarie, elevando la ricostruzione delle caratteristiche in un dominio di raggi consapevole della geometria. L'architettura consiste in quattro componenti principali:

2.1 Encoder di Guida Spazialmente Decoupled

Motivato dall'osservazione che i kernel convoluzionali standard $3 \times 3$ nei mevcut upsampler esibiscono distribuzioni di peso anisotrope (che favoriscono gli angoli rispetto al centro), RaysUp introduce un encoder leggero che decompone l'estrazione delle caratteristiche in componenti direzionali ortogonali.

• Struttura: L'encoder suddivide la generazione delle caratteristiche di guida in quattro rami paralleli: una convoluzione $1 \times 1$ (centro), $1 \times 3$ (orizzontale), $3 \times 1$ (verticale) e una convoluzione dilatata $2 \times 2$ (diagonale/angoli).
• Efficienza: Questo design riduce l'overhead dei parametri di circa il 69,4% rispetto alle convoluzioni $3 \times 3$ standard, migliorando al contempo l'interpretabilità direzionale e il disaccoppiamento strutturale.
• Output: Genera caratteristiche di guida direzionali ($F_g$) che catturano le semantiche spaziali multi-scala in modo più efficace rispetto alle differenze RGB grezze.

2.2 Meccanismo di Cross-Attention a Qualsiasi Risoluzione

Per supportare risoluzioni target arbitrarie senza ri-addestramento, RaysUp impiega un meccanismo di cross-attention de-accoppiato dalla risoluzione.

• Query ($Q_g$): Generate alla risoluzione elevata target ($H_{any} \times W_{any}$) tramite adaptive average pooling delle caratteristiche di guida.
• Keys ($K_g$): Generate alla bassa risoluzione del backbone ($H_{lr} \times W_{lr}$) tramite adaptive average pooling.
• Values ($V$): Presi direttamente dalle caratteristiche VFM a bassa risoluzione.
• Funzione: Ciò consente alle query ad alta risoluzione di aggregare informazioni da caratteristiche a bassa risoluzione semanticamente allineate senza interpolazione esplicita, consentendo una propagazione cross-risoluzione flessibile.

2.3 Codifica Posizionale del Raggio (RayPE)

Per superare i limiti dei vicinati 2D locali e iniettare prior geometrici 3D, RaysUp introduce RayPE, ispirato ai Neural Radiance Fields (NeRF).

• Concetto: Invece di fare affidamento sulla prossimità euclidea 2D, ogni pixel è associato a un raggio di telecamera 3D definito dal suo origine ($o$) e direzione normalizzata ($d$).
• Codifica: I parametri del raggio sono codificati utilizzando coordinate di Plücker 6D. Una codifica di fase armonica multi-banda mappa queste coordinate in uno spazio rotazionale ad alta dimensione.
• Modulazione: Similmente alla Rotary Positional Embedding (RoPE), RayPE applica una modulazione rotazionale alle query e alle chiavi in base alla geometria del raggio 3D. Ciò assicura che l'aggregazione delle caratteristiche rispetti la coerenza angolare e le strutture 3D sottostanti, prevenendo interazioni tra raggi geometricamente non correlati.

2.4 Cross-Attention di Vicinato Consapevole della Geometria

Il passaggio finale di ricostruzione utilizza un operatore di aggregazione bilaterale apprendibile.

• Meccanismo: Invece dell'attenzione globale, ogni query ad alta risoluzione aggrega informazioni da un vicinato locale $k \times k$ nello spazio delle caratteristiche a bassa risoluzione.
• Dilatazione: Per colmare i gap di risoluzione, il vicinato è definito con fattori di dilatazione basati sul rapporto di upsampling.
• Beneficio: Ciò assicura che l'attenzione venga eseguita tra raggi con orientamenti simili, preservando la coerenza geometrica e riducendo la complessità computazionale da globale $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ a locale $O(H_{any}W_{any} \cdot k^2)$.

3. Contributi Chiave

1. Framework RaysUp: Un framework ultra-leggero (0,14M di parametri), task-agnostic e VFM-agnostic capace di fare l'upsampling delle caratteristiche del backbone a risoluzioni arbitrarie.
2. Encoder di Guida Spazialmente Decoupled: Un design dell'encoder innovativo che migliora la modellazione anisotropa e riduce i parametri del ~69% rispetto alle convoluzioni standard.
3. Codifica Posizionale del Raggio (RayPE): Un metodo che inietta prior geometrici 3D impliciti tramite coordinate di raggio di Plücker 6D, estendendo il classico Joint Bilateral Upsampling (JBU) in un processo di ricostruzione consapevole della geometria che mitiga il drift strutturale e la sfocatura dei bordi.
4. Efficienza e Prestazioni: Il framework raggiunge prestazioni allo stato dell'arte in vari compiti di predizione densa utilizzando solo il ~16% dei parametri del principale baseline (AnyUp) e offrendo un'inferenza circa 7 volte più veloce.

4. Risultati Sperimentali

Sono stati condotti esperimenti estesi su diversi dataset (COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS) e vari VFM (DINOv2, DINOv3, SigLIP2, PE Spatial).

• Prestazioni Task-Agnostic: RaysUp ha ottenuto il miglior risultato o il secondo miglior risultato nella maggior parte delle metriche in segmentazione semantica, stima della profondità, stima della normale superficiale, segmentazione di oggetti video e segmentazione open-vocabulary. Notevolmente, ha mostrato una superiore coerenza geometrica nei compiti di stima della profondità e delle normali.
• Generalizzazione VFM-Agnostic: Testato su VFM non visti (inclusi DINOv3 e SigLIP2) e diverse scale di modello (ViT-S, ViT-M, ViT-L), RaysUp ha costantemente superato AnyUp, dimostrando una robusta generalizzazione senza ri-addestramento.
• Efficienza:
  • Parametri: 0,14M (vs 0,87M per AnyUp).
  • Velocità di Inferenza: Alla risoluzione 224×224, RaysUp raggiunge 55 FPS rispetto agli 11 FPS di AnyUp.
  • Scalabilità: RaysUp rimane eseguibile ad estreme risoluzioni (2K×2K) dove altri metodi (LoftUp, JAFAR, AnyUp) incontrano errori Out-Of-Memory (OOM) o rallentamenti significativi.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità dell'Encoder di Guida Spazialmente Decoupled e di RayPE. Rimuovere RayPE ha causato un calo significativo delle prestazioni, validando l'importanza dei prior geometrici 3D.

5. Significato e Rivendicazioni

Il paper sostiene che RaysUp stabilisce un nuovo standard per il compromesso accuratezza-efficienza nell'upsampling universale delle caratteristiche. Revisitando il paradigma classico del Joint Bilateral Upsampling e riformulandolo con rappresentazioni di raggi consapevoli della geometria, RaysUp riesce a bilanciare alta fedeltà semantica, coerenza geometrica ed efficienza computazionale.

Gli autori posizionano RaysUp come una soluzione pratica e scalabile per le moderne pipeline di visione artificiale, consentendo l'uso di VFM congelati o fine-tuned in compiti downstream che richiedono una comprensione ad alta risoluzione e a livello di pixel senza il carico computazionale di pesanti reti di upsampling. Il lavoro evidenzia come l'integrazione di prior geometrici 3D (tramite rappresentazioni di raggi) nell'upsampling di caratteristiche 2D sia un passo critico verso il miglioramento della fedeltà strutturale e la riduzione degli artefatti nei compiti di predizione densa.