Joint Optimization of Storage and Loading for High-Performance 3D Point Cloud Data Processing

Questo articolo propone il formato di archiviazione unificato .PcRecord e una pipeline di elaborazione parallela ad alte prestazioni per ottimizzare l'archiviazione e il caricamento dei dati di nuvole di punti 3D, ottenendo significativi miglioramenti nelle velocità di elaborazione su diverse piattaforme hardware e dataset.

L'essenziale

Immagina che i punti 3D (i dati che descrivono oggetti, stanze o strade come una nuvola di milioni di puntini) siano come mattoncini LEGO.

Oggi, l'intelligenza artificiale (come le auto a guida autonoma o i robot) ha bisogno di costruire castelli enormi con questi mattoncini per "vedere" il mondo. Il problema è che i mattoncini arrivano in scatole di forme diverse, sono pesantissimi e ci vuole un'eternità per aprirle e ordinarli prima di poter costruire.

Questo paper presenta una soluzione rivoluzionaria per velocizzare tutto il processo. Ecco come funziona, diviso in 4 idee chiave:

1. La Scatola Magica (.PcRecord)

Il Problema: Attualmente, i dati 3D arrivano in scatole diverse (alcune come file di testo, altre come binari). È come se avessi LEGO, mattoni in legno e blocchi di ghiaccio tutti mischiati. Per usarli, devi prima sciogliere il ghiaccio, tagliare il legno e riscrivere le istruzioni dei LEGO. È lento e occupa tantissimo spazio.
La Soluzione: Gli autori hanno inventato una nuova "scatola universale" chiamata .PcRecord.

• L'analogia: Immagina di prendere tutti i tuoi mattoncini sparsi, pulirli e metterli in una scatola compatta, ordinata e impermeabile.
• Il risultato: Questa scatola è molto più piccola (fino a 16 volte più leggera di prima!) e si apre istantaneamente. Non importa da dove arrivino i dati, questa scatola li rende tutti uguali e pronti all'uso.

2. Il Nastro Trasportatore Intelligente (Pipeline)

Il Problema: Anche con la scatola giusta, i computer faticano a prendere i mattoncini uno per uno. Spesso il computer aspetta che il disco rigido scriva o legga, rimanendo fermo (come un operaio che aspetta che gli portino i mattoni).
La Soluzione: Hanno costruito un nastro trasportatore a più stadi.

• L'analogia: Invece di avere un solo operaio che prende, pulisce e posiziona i mattoni, hanno creato una catena di montaggio. Mentre l'operaio A sta prendendo i mattoni dalla scatola, l'operaio B sta già pulendo quelli che A ha appena preso, e l'operaio C sta già costruendo la base.
• Il risultato: Tutto scorre senza fermate. Il computer non aspetta mai, lavora sempre al massimo della velocità.

3. Il Magazzino in Cloud (OBS Streaming)

Il Problema: I dataset di punti 3D sono così enormi (come il dataset ScanNet che pesa 1,2 Terabyte!) che non ci stanno nemmeno nei computer più grandi. È come voler tenere l'intera biblioteca di Alessandria sul tavolo della tua cucina.
La Soluzione: Usano un sistema di "noleggio" dei dati dal cloud.

• L'analogia: Invece di comprare e stoccare tutti i mattoni a casa tua (occupando tutto il garage), li tieni in un magazzino gigante in città (il Cloud). Quando il tuo computer ne ha bisogno, il magazzino gliene invia solo un pugno alla volta, esattamente quando serve, e poi li butta via se non servono più.
• Il risultato: Non devi comprare hard disk enormi e il computer non si blocca per mancanza di spazio.

4. Il Capo che si Adatta (Autotune)

Il Problema: Ogni computer è diverso. Alcuni hanno molte CPU, altri poche. Se imposti il nastro trasportatore troppo veloce, si inceppa; se troppo lento, perdi tempo.
La Soluzione: Hanno aggiunto un "capo" intelligente che osserva il lavoro in tempo reale.

• L'analogia: È come un direttore d'orchestra che ascolta gli strumenti. Se vede che i violini (la CPU) sono stanchi, rallenta un po' il ritmo. Se vede che i flauti (la GPU) sono veloci ma aspettano i violini, accelera.
• Il risultato: Il sistema si regola da solo per trovare la velocità perfetta per il tuo computer specifico, senza che tu debba fare nulla.

I Risultati: Quanto è veloce?

Per darti un'idea, il loro sistema è molto più veloce dei metodi attuali (come PyTorch o TensorFlow):

• Su alcuni dati, è 8 volte più veloce.
• Su altri, è addirittura 25 volte più veloce.
• In pratica, invece di aspettare ore per preparare i dati per un'auto a guida autonoma, il sistema lo fa in pochi minuti.

In sintesi

Gli autori hanno creato un sistema che:

1. Imballa i dati in modo super compatto.
2. Muove i dati come un nastro trasportatore senza fermate.
3. Noleggia i dati dal cloud invece di occupare spazio a casa.
4. Si adatta da solo per essere sempre al massimo della velocità.

Questo permette alle intelligenze artificiali di "vedere" e imparare molto più velocemente, rendendo possibili cose come auto che guidano da sole in sicurezza o robot che ci aiutano in casa.

Sommario tecnico

1. Il Problema

L'elaborazione dei dati di nuvola di punti (point cloud) è fondamentale per applicazioni di visione 3D come la guida autonoma, la robotica e la realtà aumentata. Tuttavia, l'attuale gestione di questi dati presenta sfide critiche:

• Scalabilità e Complessità: I dataset moderni (es. ScanNet, KITTI) contengono milioni di punti e occupano terabyte di spazio (es. ScanNet V2 richiede 1.2 TB).
• Frammentazione dei Formati: La diversità dei formati di archiviazione (PLY, XYZ, BIN, OBJ) richiede conversioni complesse e dispendiose in termini di tempo prima dell'addestramento dei modelli.
• Colli di Bottiglia nell'I/O: I formati tradizionali e le librerie esistenti spesso non riescono a gestire efficientemente il caricamento e l'elaborazione di grandi dataset, creando colli di bottiglia che limitano le prestazioni delle GPU/NPU.
• Inefficienza delle Risorse: I framework di deep learning standard (PyTorch, TensorFlow) spesso non sfruttano appieno le risorse CPU e memoria durante le fasi di preparazione dei dati, portando a tempi di addestramento prolungati.

2. Metodologia Proposta

Gli autori propongono un sistema integrato ad alte prestazioni basato su quattro moduli chiave, costruiti sopra il framework di deep learning MindSpore:

A. Formato di Archiviazione Unificato: .PcRecord

• Struttura: Un nuovo formato binario unificato che standardizza l'archiviazione. Include un'intestazione (File Header) con metadati, una pagina di dati scalari (per etichette e attributi non binari) e una pagina di dati a blocchi (per coordinate e vettori normali).
• Compressione Ibrida a Doppio Livello:
  • Livello Esterno: Utilizza l'algoritmo LZ4 a livello di pagina per una compressione/decompressione rapida.
  • Livello Interno: Applica una codifica differenziale specifica per le coordinate dei punti, memorizzando solo le differenze tra punti consecutivi.
• Gestione dei Metadati: Introduce una struttura di metadati ottimizzata (TaskType, Data Mapping, Sample Metadata) che permette l'accesso diretto ai byte specifici dei campioni, eliminando la necessità di caricare interi file in memoria.

B. Caricamento in Streaming da Cloud (OBS)

• Per evitare di occupare spazio locale, il sistema utilizza l'Object-Based Storage (OBS).
• Implementa un meccanismo di caricamento in streaming che scarica dinamicamente i dati necessari solo quando richiesti durante l'esecuzione, supportando l'elaborazione distribuita su più dispositivi senza sovraccaricare la memoria locale.

C. Pipeline di Elaborazione Dati Multi-Stadio

• Parallelismo: Una pipeline parallela che esegue operazioni di elaborazione (normalizzazione, traduzione, ecc.) in modo concorrente.
• Ordinamento (Order-Preserving): Utilizza un algoritmo di polling e code bloccanti (Connector) per garantire che l'ordine dei dati sia mantenuto durante l'elaborazione multi-thread, cruciale per l'accuratezza dell'addestramento.
• Integrazione Hardware: Sfrutta le API di trasmissione dati di Ascend e le code GPU per un flusso end-to-end efficiente.

D. Strategia di Auto-Tuning (Autotune)

• Un modulo che monitora in tempo reale l'utilizzo delle risorse (CPU, memoria, latenza delle code).
• Utilizza una combinazione di ricerca casuale e ottimizzazione bayesiana per regolare dinamicamente i parametri della pipeline (numero di thread, dimensione delle code, fusione degli operatori) in base all'hardware e al dataset specifico, massimizzando il throughput.

3. Contributi Chiave

1. Nuovo Sistema di Caricamento: Un sistema completo per dataset di nuvole di punti su larga scala.
2. Formato .PcRecord: Un formato efficiente che riduce drasticamente lo spazio di archiviazione e accelera l'accesso ai dati.
3. Pipeline ad Alte Prestazioni: Un'architettura di elaborazione distribuita con algoritmi di auto-tuning che supera i framework mainstream.
4. Riduzione dello Storage Locale: L'uso di OBS per lo streaming dei dati elimina la necessità di archiviare terabyte di dati localmente.
5. Superiorità Prestazionale: Dimostrazione empirica che il sistema supera PyTorch, TensorFlow, Keras e MindSpore nativo in termini di velocità di caricamento ed elaborazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sei dataset popolari (ModelNet40, S3DIS, ShapeNet, KITTI, SUN RGB-D, ScanNet) utilizzando hardware GPU e Ascend (NPU).

• Compressione: Il formato .PcRecord ha ridotto lo spazio di archiviazione in modo significativo (es. 57.06x per KITTI, 16.63x per ScanNet, 5.81x per ModelNet40).
• Velocità di Elaborazione (Speedup):
  • Su GPU: Il sistema ha ottenuto miglioramenti da 2.23x a 8.07x rispetto ai framework esistenti.
  • Su Ascend: I miglioramenti sono stati ancora più marcati, con picchi di 25.4x per SUN RGB-D e 19.3x per ScanNet.
• Throughput: Il sistema ha mostrato un throughput di picco superiore fino a 240x rispetto ad altri framework su alcuni dataset.
• Utilizzo Risorse: Il sistema mantiene un utilizzo della CPU molto elevato e costante (fino al 160-299% in contesti multi-core), dimostrando un'ottimizzazione efficace delle risorse di calcolo, a differenza dei framework tradizionali che spesso lasciano la CPU inattiva.
• Memoria: Il sistema mostra un pattern di utilizzo della memoria "respiratorio" (picchi e valli), indicando un riciclo efficiente della memoria, a differenza dei framework standard che tendono a mostrare un accumulo progressivo (memory leak).

5. Significato e Impatto

Questo lavoro affronta i colli di bottiglia fondamentali nell'elaborazione dei dati 3D, offrendo una soluzione scalabile per l'industria e la ricerca.

• Efficienza Industriale: Il sistema è già stato integrato in progetti reali, inclusi quelli di Huawei per la guida autonoma (Harmony Intelligent Mobility Alliance) e ha contribuito al primo posto della squadra USTC_IAT_United nella sfida CVPR 2024.
• Scalabilità: La combinazione di compressione avanzata, streaming cloud e ottimizzazione dinamica delle risorse rende possibile l'addestramento di modelli su dataset che altrimenti sarebbero ingestibili.
• Futuro: Apre la strada a flussi di lavoro di deep learning più efficienti e scalabili per la visione 3D, riducendo i tempi di addestramento e i costi computazionali.