Riepilogo Tecnico: FALO - Rilevamento 3D di Oggetti LiDAR Veloce e Accurato su Dispositivi a Risorse Limitate

1. Enunciato del Problema

I metodi esistenti per il rilevamento 3D di oggetti LiDAR affrontano sfide significative quando vengono distribuiti su dispositivi edge a risorse limitate (ad esempio, veicoli autonomi, robot mobili). I principali colli di bottiglia includono:

• Limitazioni delle Convoluzioni Sparse: La maggior parte dei metodi all'avanguardia (SOTA) si basa su convoluzioni sparse 3D. Sebbene efficienti in termini di memoria, queste operazioni comportano pattern di accesso ai dati e alla memoria irregolari a causa della sparsità intrinseca delle nuvole di punti 3D. Ciò le rende difficili da ottimizzare per dispositivi embedded compatti e complica la quantizzazione e la distribuzione tramite framework come TensorRT.
• Inefficienze dei Trasformatori: Gli approcci recenti che utilizzano i Trasformatori (ad esempio, DSVT) evitano le convoluzioni sparse ma soffrono di elevati costi computazionali e di memoria, scalando quadraticamente con il numero di token di input (voxel non vuoti).
• Serializzazione Inefficiente: I metodi basati su token esistenti richiedono spesso di riordinare i voxel più volte all'interno della rete (ad esempio, alternando ordini x/y, ordinamenti multi-scala), portando a costosi spostamenti di dati e utilizzo della larghezza di banda della memoria su dispositivi con larghezza di banda limitata.
• Compromessi Basati sui Pilastri: I metodi basati sui pilastri migliorano l'efficienza proiettando i dati 3D su 2D, ma spesso rimangono indietro in termini di accuratezza del rilevamento rispetto ai metodi completi a voxel 3D e spesso fanno ancora affidamento su convoluzioni sparse 2D.

Il documento affronta la necessità di un framework di rilevamento che mantenga un'accuratezza SOTA offrendo al contempo velocità di inferenza rapide su hardware come la GPU NVIDIA Jetson Orin e l'NPU Qualcomm Hexagon, senza fare affidamento su convoluzioni sparse o meccanismi di attenzione a complessità quadratica.

2. Metodologia: FALO

L'approccio proposto FALO (Fast and Accurate LiDAR 3D Object Detection) elabora le nuvole di punti LiDAR attraverso una pipeline sistematica e amica dell'hardware, progettata per eliminare l'accesso irregolare alla memoria e l'elevato sovraccarico computazionale.

2.1. Panoramica del Sistema

La pipeline inizia con la voxelizzazione standard della nuvola di punti 3D di input. A differenza dei metodi tradizionali che applicano direttamente le convoluzioni sparse, FALO estrae i voxel non vuoti e li organizza in una sequenza densa 1D di token. Questi token vengono elaborati da un backbone 3D costituito da livelli di Raggruppamento di Voxel Implicito e ConvDotMix, prima di essere proiettati nello spazio Vista dall'Alto (Bird's Eye View - BEV) per il rilevamento finale.

2.2. Serializzazione delle Caratteristiche Sparse 3D

Per minimizzare lo spostamento dei dati, FALO impiega un singolo passaggio di serializzazione immediatamente dopo la voxelizzazione:

• Partizionamento in Finestre Locali: Lo spazio 3D viene diviso in finestre locali per preservare la località.
• Attraversamento: All'interno di ogni finestra, i voxel non vuoti vengono attraversati (ad esempio, in ordine x o y) e raccolti in una sequenza densa 1D.
• Stabilità: A differenza di altri metodi che riordinano i voxel a ogni livello, FALO mantiene questo ordine della sequenza 1D durante tutto il backbone 3D, riducendo significativamente i costosi spostamenti di dati.

2.3. Raggruppamento di Voxel Implicito

Per affrontare l'inefficienza dell'elaborazione di lunghe sequenze 1D sbilanciate (ad esempio, $1 \times N \times D$) sull'hardware embedded, FALO introduce il raggruppamento implicito:

• Ridimensionamento: La sequenza viene ridimensionata per bilanciare le dimensioni del batch e dei token (ad esempio, convertendo $1 \times 6000 \times 128$ in $10 \times 600 \times 128$).
• Dimensioni Variabili dei Gruppi: La dimensione del gruppo aumenta man mano che la rete si approfondisce. I livelli superficiali utilizzano gruppi più piccoli per facilitare un'inferenza più rapida e un apprendimento locale focalizzato. I livelli più profondi utilizzano gruppi più grandi per adattarsi al campo ricettivo effettivo in crescita, consentendo interazioni spaziali più ampie senza la necessità di un riordinamento esplicito.

2.4. Operazioni ConvDotMix

L'unità di elaborazione principale del backbone 3D è il blocco ConvDotMix, che sostituisce l'auto-attenzione e le convoluzioni sparse. È composto da:

• Convoluzioni a Grande Kernel: Applicate alla dimensione del token per mescolare le caratteristiche spaziali.
• Livelli Lineari (MLP): Applicati alla dimensione di embedding per il mixing dei canali.
• Prodotto di Hadamard: Una moltiplicazione elemento per elemento tra le caratteristiche mescolate spazialmente e quelle mescolate per canale. Questo introduce interazioni non lineari di ordine superiore tra le caratteristiche dei voxel, una capacità tipicamente fornita dall'auto-attenzione ma qui ottenuta con una complessità computazionale lineare.
• Connessioni Residuali: Vengono aggiunte connessioni di salto all'input per stabilizzare l'addestramento.

Tutte le operazioni in ConvDotMix scalano linearmente con il numero di token di input e si basano su moltiplicazioni di matrici standard, rendendole altamente parallelizzabili ed efficienti sull'hardware AI moderno.

3. Contributi Chiave

1. Architettura FALO: Un approccio sistematico per il rilevamento 3D LiDAR che raggiunge un'accuratezza SOTA su piattaforme a risorse limitate senza utilizzare convoluzioni sparse o Trasformatori.
2. Blocco ConvDotMix: Un'operazione innovativa che combina convoluzioni a grande kernel, livelli lineari e prodotti di Hadamard. Fornisce capacità sufficienti di mixing spaziale, per canale e non lineare di ordine superiore con costi computazionali e di memoria solo lineari.
3. Design Amico dell'Hardware:
   • Serializzazione Una Tantum: I voxel vengono serializzati in una sequenza 1D una sola volta, eliminando i ripetuti spostamenti di dati.
   • Raggruppamento Implicito: Un meccanismo per bilanciare le dimensioni dei tensori per un'inferenza più rapida, utilizzando dimensioni di gruppo variabili per allinearsi al campo ricettivo in crescita.
   • Eliminazione di Operazioni Costose: Il design rimuove le convoluzioni sparse, l'auto-attenzione, lo spostamento delle finestre e il riordinamento dei voxel.
4. Prestazioni: Velocità di inferenza dimostrate da 1,6$\times$ a 9,8$\times$ più veloci rispetto all'ultimo SOTA (DSVT) su NVIDIA Jetson Orin e Qualcomm Hexagon NPU, mantenendo al contempo un'accuratezza di rilevamento competitiva.

4. Risultati Sperimentali

Gli autori hanno valutato FALO sui benchmark nuScenes e Waymo Open Dataset.

• nuScenes:
  • Sul set di validazione, FALO ha raggiunto un NDS di 70,8 e un mAP di 65,7, comparabili a DSVT (NDS 71,1, mAP 66,4) e SAFDNet, nonostante non utilizzi convoluzioni sparse o auto-attenzione.
  • Sul set di test, FALO ha raggiunto un NDS di 70,9 e un mAP di 66,1, superando la maggior parte dei metodi basati su voxel e pilastri che fanno affidamento su convoluzioni sparse.
• Waymo Open Dataset:
  • FALO ha raggiunto risultati competitivi nelle classi Veicolo, Pedone e Ciclista. Ad esempio, ha raggiunto un mAP L2 di 73,6 e un mAPH di 70,6, comparabili a DSVT-Pillar (73,2/71,0) e ad altri metodi SOTA.
• Latenza:
  • Sull'NPU Qualcomm Hexagon, FALO è 9,8$\times$ più veloce di DSVT.
  • Sulla GPU NVIDIA Jetson Orin, FALO è 1,6$\times$ più veloce di DSVT.
  • FALO raggiunge 24–60 inferenze al secondo sul dispositivo, abilitando operazioni in tempo reale.

Studi di Ablazione

• Ordinamento: L'ordinamento proposto a finestra locale ha migliorato l'NDS di 1,1 punti rispetto all'ordinamento casuale/assente.
• Raggruppamento: L'aumento delle dimensioni dei gruppi nei livelli più profondi ha prodotto la migliore accuratezza (NDS 70,2) e la latenza più bassa, mentre la diminuzione delle dimensioni dei gruppi ha degradato le prestazioni.
• ConvDotmix vs Trasformatore: Sostituendo i livelli del Trasformatore in DSVT con ConvDotMix si è ottenuta una leggera miglioramento dell'accuratezza (NDS 71,2 contro 71,1) riducendo al contempo i FLOPs del 28%.
• Dimensione del Kernel: È stato dimostrato che kernel più grandi (dimensione 11) sono vantaggiosi per le prestazioni rispetto a kernel più piccoli.

5. Significato e Affermazioni

Il documento afferma che FALO rappresenta un passo significativo in avanti nella distribuzione di percezione 3D ad alte prestazioni su dispositivi edge. Eliminando sistematicamente le operazioni non amiche dell'hardware (convoluzioni sparse, attenzione quadratica, riordinamenti ripetuti), FALO colma il divario tra modelli di rilevamento ad alta accuratezza e i vincoli rigorosi di latenza/memoria dei sistemi embedded.

Gli autori sottolineano che, sebbene il loro focus sull'efficienza porti a un design leggero, il metodo raggiunge un'accuratezza paragonabile a pesanti modelli SOTA. Tuttavia, riconoscono modestamente un limite: il design guidato dall'efficienza potrebbe portare a una certa degradazione dell'accuratezza per oggetti piccoli o sparsi (ad esempio, pedoni e ciclisti) rispetto ad approcci più intensivi in termini di memoria, sebbene le prestazioni complessive rimangano competitive.

Il lavoro dimostra che è possibile ottenere un rilevamento 3D di oggetti LiDAR accurato e in tempo reale su piattaforme come Snapdragon 8 Gen 3 (NPU Hexagon) e Jetson Orin senza sacrificare le capacità di rilevamento richieste per la guida autonoma e la robotica.