💻 computer science

VkSplat: High-Performance 3DGS Training in Vulkan Compute

Il documento presenta VkSplat, la prima pipeline di addestramento per 3D Gaussian Splatting interamente basata su Vulkan che raggiunge prestazioni all'avanguardia con un aumento di velocità di 3,3 volte e una riduzione del 33% della VRAM rispetto alle baseline CUDA+PyTorch, garantendo al contempo la compatibilità con GPU di diversi produttori.

Autori originali: Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Pubblicato 2026-05-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover costruire un mondo 3D mozzafiato e fotorealistico utilizzando milioni di palloncini minuscoli, luminosi e sfocati (chiamati "Gaussiani"). Questo è ciò che fa il 3D Gaussian Splatting (3DGS). È un metodo popolare per creare scene 3D partendo da fotografie, ma finora, costruire questi mondi è stato come cercare di dipingere un capolavoro con un pennello lento e pesante che funziona solo su un marchio specifico di computer (NVIDIA).

Il documento presenta VkSplat, un nuovo strumento che agisce come un pennello universale ad alta velocità. Costruisce questi mondi 3D molto più velocemente, utilizza meno memoria e funziona su quasi tutte le schede grafiche, non solo su quelle NVIDIA.

Ecco come l'hanno realizzato, spiegato con analogie di tutti i giorni:

1. Il Problema: Il "Traffico" e il "Club Esclusivo"

Il Traffico: Nel vecchio modo di costruire queste scene 3D, il computer doveva controllare ogni singolo pixel contro ogni singolo palloncino per vedere se si toccavano. Questo creava un ingorgo enorme dove migliaia di lavoratori (thread del computer) cercavano tutti di scrivere sullo stesso blocco note contemporaneamente, costringendoli ad attendersi a vicenda.
Il Club Esclusivo: I migliori strumenti per questo lavoro erano scritti in un linguaggio (CUDA) che funziona solo sulle schede grafiche NVIDIA. Se avevi una scheda AMD o Intel, eri escluso o dovevi usare una versione molto più lenta e goffa.

2. La Soluzione: Il "Kit Universale" di VkSplat

Gli autori hanno costruito VkSplat utilizzando Vulkan, un linguaggio universale che parla a quasi tutte le schede grafiche (NVIDIA, AMD, Intel, ecc.) con la stessa efficacia. Non si sono limitati a tradurre il vecchio codice; hanno ricostruito il motore da zero per renderlo incredibilmente efficiente.

3. Gli Ingredienti Segreti (Le Ottimizzazioni)

A. La "Mappa Perfetta" (Tile Culling)

Vecchio Metodo: Immagina un fattorino che controlla ogni casa in una strada per vedere se ha un pacco, anche se la casa è chiaramente dall'altra parte della città. Questo spreca tempo.
Metodo VkSplat: Usano un metodo a "linea di scansione". È come disegnare una scatola perfetta e stretta attorno al palloncino e controllare solo le case che la scatola tocca effettivamente. Calcolano questo matematicamente in modo che non ci siano errori (nessuna casa inesistente controllata e nessuna casa reale saltata). Questo ferma l'ingorgo prima che inizi.

B. Il "Capo Squadra Intelligente" (Adaptive Scheduling)

Vecchio Metodo: Immagina una fabbrica dove ogni lavoratore ha un numero fisso di compiti assegnati, indipendentemente da quanti compiti ci siano effettivamente in attesa. Alcuni lavoratori restano inattivi mentre altri sono sopraffatti.
Metodo VkSplat: Usano un "capo squadra intelligente" che osserva la fila di lavoro. Se una specifica area ha molti palloncini, il capo assegna più lavoratori a quel punto. Se ce ne sono pochi, ne assegna di meno. Hanno persino una "strategia del giocatore d'azzardo" (campionamento di Thompson) che prova diversi programmi di lavoro durante l'addestramento per trovare il modo assolutamente più veloce di completare il lavoro per quella specifica scena.

C. Il "Negozio Unico" (Fused Operations)

Vecchio Metodo: Immagina uno chef che taglia le verdure, le mette in una ciotola, cammina verso il frigorifero per prendere le spezie, torna indietro, le mescola e poi cammina verso il fornello. Questo comporta molta camminata (spostamento dei dati dentro e fuori dalla memoria).
Metodo VkSplat: Hanno costruito una cucina dove il taglio, il mescolamento e la cottura avvengono in un unico movimento. Combinano la "matematica della telecamera" (proiezione) e il "passo di apprendimento" (ottimizzatore) in un unico passaggio. Questo significa che i dati non devono mai lasciare il "bancone della cucina" (memoria), risparmiando enormi quantità di tempo e spazio.

D. La "Classificazione Intelligente" (32-bit Sorting)

Vecchio Metodo: Ordinare milioni di elementi richiede solitamente la scrittura di indirizzi molto lunghi e dettagliati (numeri a 64 bit) per ogni elemento.
Metodo VkSplat: Hanno realizzato che potevano usare indirizzi più brevi e intelligenti (numeri a 32 bit) che mantengono comunque tutto nell'ordine giusto. È come usare un codice postale invece di un indirizzo completo per ordinare la posta: è più veloce e occupa meno spazio, senza perdita di accuratezza.

4. I Risultati: Più Veloce, Più Leggero e Universale

Il documento ha testato questo nuovo strumento contro lo standard attuale di riferimento (GSplat) su una scheda NVIDIA RTX 3090:

Velocità: È stato 3,3 volte più veloce. Se il vecchio metodo richiedeva 23 minuti, VkSplat ne ha richiesti circa 7.
Memoria: Ha utilizzato il 33% di memoria video (VRAM) in meno. È come far entrare un enorme camion per traslochi in un'auto compatta.
Qualità: Le immagini 3D finali sembravano esattamente le stesse dello standard di alta qualità.
Compatibilità: L'hanno testato su una scheda AMD (Radeon RX 7800 XT). Ha funzionato! Sebbene fosse più lento rispetto a NVIDIA (a causa delle differenze hardware nel modo in cui i dati vengono spostati), ha dimostrato che lo strumento funziona su marchi diversi, rompendo la barriera "solo NVIDIA".

Riassunto

VkSplat è un nuovo motore altamente ottimizzato per la creazione di mondi 3D. Sostituisce i metodi lenti, esclusivi e avidi di memoria del passato con un sistema veloce, universale ed efficiente. È come passare da una carrozza trainata da cavalli che funziona solo su ciottoli a un treno ad alta velocità che corre su qualsiasi binario, portandoti a destinazione tre volte più velocemente trasportando meno bagagli.

1. Enunciato del Problema

Nonostante la rapida adozione dello 3D Gaussian Splatting (3DGS) per la sintesi di nuove viste di alta qualità, il dispiegamento pratico è ostacolato da due limitazioni principali:

Colli di bottiglia nelle prestazioni: I pipeline di addestramento esistenti sono spesso subottimali in termini di velocità e utilizzo della memoria, in particolare per scene di grandi dimensioni. I colli di bottiglia chiave includono intersezioni di tile con falsi positivi durante l'ordinamento, contenzione atomica durante la rasterizzazione inversa e gestione inefficiente della memoria negli ottimizzatori (ad es. Adam di PyTorch).
Lock-in hardware: La maggior parte delle implementazioni all'avanguardia fa affidamento in modo massiccio sull'ecosistema CUDA e su PyTorch, limitando l'addestramento alle GPU NVIDIA. Questo limita l'accessibilità per gli utenti con GPU AMD, Intel o mobili.
Frammentazione: I precedenti tentativi di utilizzare API cross-fornitore (come Vulkan) hanno affrontato solo la rasterizzazione (non l'addestramento end-to-end) o hanno fatto affidamento su PyTorch per il ciclo di addestramento, non riuscendo a eliminare completamente le dipendenze da CUDA.

2. Metodologia

Gli autori presentano VkSplat, un pipeline di addestramento 3DGS completamente end-to-end implementato interamente in Vulkan Compute. Il sistema è costruito sul linguaggio di shading Slang (indirizzato a Vulkan) per garantire la compatibilità cross-fornitore mantenendo alte prestazioni.

La metodologia di base comporta una riscrittura completa del pipeline 3DGS con specifiche modifiche architetturali:

Vulkan Compute completo: L'intero pipeline, dall'inizializzazione e densificazione all'ottimizzazione, viene eseguito sulla GPU senza intervento lato CPU o dipendenze da PyTorch.
Backend Slang: Sfruttare Slang permette al codice di indirizzare più backend, sebbene l'implementazione attuale si concentri su Vulkan.

3. Principali Contributi Tecnici

Il paper dettaglia cinque principali ottimizzazioni tecniche che permettono a VkSplat di superare le baseline basate su CUDA:

A. Culling completo dei tile tramite intersezione Scan-Line

Problema: I metodi esistenti (ad es. [KKLD23], [RSP∗24]) generano intersezioni di tile con falsi positivi (controllando tile che non si sovrappongono effettivamente al Gaussiano), sprecando tempo di ordinamento e rasterizzazione.
Soluzione: VkSplat utilizza una formulazione scan-line per calcolare intersezioni esatte. Trattando il Gaussiano come un'ellisse e calcolando intervalli in forma chiusa per righe/colonne intersecanti, il sistema genera un elenco preciso di coppie tile-profondità.
Impatto: Elimina i falsi positivi senza richiedere un passaggio di culling separato, riducendo l'utilizzo della VRAM e l'overhead di ordinamento.

B. Rasterizzazione inversa adattiva

Problema: I passaggi inversi standard per pixel causano un'alta contenzione atomica quando si aggiornano i gradienti dei Gaussiani.
Soluzione: Gli autori implementano due strategie e utilizzano un scheduler di campionamento di Thompson per selezionare dinamicamente la più veloce in base alla scena:
1. Parallelismo per tile: Un blocco di thread per tile con dimensioni del batch di Gaussiani dinamicamente aggiustate (ottimizzate a $S = \sqrt{NP}$ ) per minimizzare la latenza.
2. Ottimizzazione della memoria condivisa: Un approccio in due passaggi (il passaggio in avanti calcola la trasmittanza nella memoria condivisa; il passaggio inverso accumula i gradienti per Gaussiano) per minimizzare la divergenza dei thread.
Impatto: Riduce significativamente la contenzione atomica e migliora l'utilizzo dei thread.

C. Proiezione inversa e ottimizzatore fusi

Problema: Le implementazioni standard memorizzano i gradienti separatamente e utilizzano Adam di PyTorch, portando a footprint di memoria e lanci di kernel non necessari.
Soluzione: Il passaggio di proiezione inversa e l'ottimizzatore Adam sono fusi in un singolo kernel.
- I valori e i gradienti per scale e opacità vengono trasformati direttamente tra lo spazio log/logit all'interno del kernel.
- I coefficienti delle Armoniche Sferiche (SH) sono memorizzati in un formato basato su colonne allineato alle dimensioni dei sottogruppi (valori a 128 bit) per migliorare il coalescing della memoria.
Impatto: Elimina la memorizzazione intermedia dei gradienti e riduce l'overhead di lancio dei kernel.

D. Ordinamento Tile-Profondità a 32 bit

Problema: L'ordinamento nativo di Vulkan è spesso più lento rispetto ai built-in ottimizzati di CUDA.
Soluzione: Invece di utilizzare chiavi a 64 bit (ID Tile a 32 bit + Profondità a 32 bit), gli autori utilizzano chiavi a 32 bit. Mappano la profondità $z$ in un intervallo in cui variano solo i primi 23 bit della mantissa di un float FP32, impacchettando l'ID Tile nei bit superiori.
Impatto: Abilita un ordinamento efficiente a 32 bit sull'hardware Vulkan senza sacrificare la precisione della profondità o la qualità dell'immagine.

E. Valutazione del gradiente della perdita completamente fusa

Soluzione: Un singolo kernel calcola direttamente la somma ponderata delle perdite L1 e SSIM e dei loro gradienti.
Ottimizzazione: Le immagini di riferimento sono memorizzate come UINT8 RGBA (evitando la conversione FP32) e il masking alpha è gestito con overhead quasi nullo.
Impatto: Rimuove i passaggi di riduzione intermedi e le conversioni del layout di memoria (da canale-ultimo a canale-primo).

4. Risultati

Gli autori hanno valutato VkSplat su 7 scene del dataset Mip-NeRF 360 rispetto alla baseline GSplat (una leading implementazione CUDA+PyTorch) su una NVIDIA RTX 3090.

Prestazioni:
- Velocità: Ha raggiunto un accelerazione di 3,3× rispetto alla baseline GSplat (ad es. 412s vs 1384s per la densificazione predefinita).
- VRAM: Ha ridotto l'utilizzo della memoria del 33% (3,01 GiB vs 4,56 GiB).
- Granularità: VkSplat è stato più veloce in ogni singolo stadio del pipeline (Proiezione, Tiling, Rasterizzazione, Perdita, Ottimizzatore).
Qualità:
- Le metriche di qualità dell'immagine (PSNR, SSIM, LPIPS) sono state identiche alla baseline, confermando che le ottimizzazioni non hanno compromesso la fedeltà.
Compatibilità Cross-Fornitore:
- Addestramento riuscito su una AMD Radeon RX 7800 XT.
- Sebbene AMD sia stata complessivamente più lenta (1201s vs 575s su NVIDIA), ha prodotto metriche di qualità e utilizzo VRAM coerenti. Il divario nelle prestazioni è stato attribuito principalmente a trasferimenti di memoria host-dispositivo più lenti su AMD, suggerendo spazio per ulteriori ottimizzazioni specifiche per hardware.

5. Significato

Primo 3DGS Vulkan End-to-End: Questo è il primo pipeline di addestramento 3DGS basato interamente su Vulkan che raggiunge prestazioni all'avanguardia, rompendo il monopolio di CUDA.
Agnosticismo Hardware: Rimuovendo le dipendenze da PyTorch e CUDA, VkSplat abilita l'addestramento 3DGS su GPU AMD, Intel e mobili, democratizzando l'accesso alla ricostruzione 3D di alta qualità.
Leadership nelle Prestazioni: Controintuitivamente, l'implementazione Vulkan supera la baseline CUDA altamente ottimizzata, dimostrando che un'attenta ottimizzazione GPU a basso livello (kernel fusi, culling preciso, scheduling adattivo) può produrre guadagni anche su hardware non NVIDIA.
Estendibilità: L'uso di Slang suggerisce che il pipeline può essere facilmente trasferito ad altri backend come Metal, DirectX o WebGPU, ampliando ulteriormente l'ecosistema.

Limitazioni: L'implementazione attuale manca di alcune funzionalità "pronte per la produzione" presenti in trainer maturi, come correzione dell'esposizione, supervisione della profondità, batching e addestramento multi-GPU. Tuttavia, l'architettura di base è progettata per accogliere queste funzionalità.