Deployment-Aware Codec Selection for Learned RGB-D Compression in Edge--Cloud 3D Reconstruction

Nel mondo moderno dell'imaging digitale, le fotocamere fanno molto di più che catturare una semplice immagine piatta del mondo. Molti dispositivi, dagli smartphone ai sensori specializzati, ora registrano due cose contemporaneamente: il colore di una scena e la distanza da ogni punto al suo interno. Questa combinazione, nota come dati RGB-D, crea una ricca mappa tridimensionale che permette ai computer di comprendere la forma e la disposizione di una stanza, di una foresta o di una strada. Tuttavia, questo strato aggiuntivo di informazioni sulla profondità comporta un prezzo pesante: raddoppia la quantità di dati che devono essere archiviati o inviati. Quando questi dati vengono catturati su un dispositivo piccolo e alimentato a batteria, come un drone o un robot, e devono essere inviati a un computer potente nel cloud per l'elaborazione, la sfida diventa come rimpicciolire la dimensione del file senza perdere i dettagli critici necessari per ricostruire in seguito la forma 3D.

Per anni, gli ingegneri hanno cercato di risolvere questo problema cercando il perfetto equilibrio tra dimensione del file e qualità dell'immagine. Hanno sviluppato programmi informatici avanzati, spesso chiamati codec apprendibili (learned codecs), che utilizzano l'intelligenza artificiale per prevedere e comprimere le immagini in modo più efficiente rispetto ai metodi tradizionali. L'approccio standard è stato quello di cercare l'algoritmo che produce il file più piccolo per l'immagine più nitida, assumendo che se funziona bene in una simulazione al computer, funzionerà bene nel mondo reale. Ma questa assunzione spesso fallisce quando i dati devono viaggiare da un dispositivo minuscolo e con risorse energetiche limitate verso un server remoto. Il mondo reale introduce limiti fisici: il dispositivo potrebbe non avere abbastanza memoria per eseguire un programma complesso, il software potrebbe non essere compatibile con l'hardware del dispositivo, o il tempo necessario per comprimere l'immagine potrebbe essere troppo lungo per un feed video in tempo reale. Un metodo che appare perfetto su un grafico può diventare inutile se non può effettivamente girare sul dispositivo che deve inviare i dati.

Un team di ricercatori dell'Istituto di Tecnologia di Harbin e dell'Università Tecnologica di Dalian si è proposto di risolvere questo disconnettimento. Invece di guardare solo ai migliori numeri di compressione, hanno progettato un nuovo modo per scegliere quale strumento di compressione utilizzare. Hanno trattato la capacità di eseguire effettivamente il software su un dispositivo specifico come un requisito primario, altrettanto importante della qualità dell'immagine. Il loro obiettivo era costruire un sistema completo in cui una fotocamera su un dispositivo edge cattura una scena 3D, la comprime, la invia attraverso una rete e viene ricostruita in una nuvola di punti 3D colorata su un server cloud, il tutto rispettando i severi limiti dell'hardware.

I ricercatori hanno iniziato testando quattro diversi tipi di modelli di compressione basati sull'IA su un dataset standard di scene interne. Hanno misurato quanto diventavano piccoli i file e quanto rimanevano nitide le immagini. Come previsto, i modelli più complessi, che utilizzano strutture matematiche sofisticate per prevedere i valori dei pixel, producevano i file più piccoli con la qualità più alta. Uno di questi modelli avanzati, che utilizzava una tecnica chiamata "attenzione" (attention) per concentrarsi sui dettagli importanti, ha raggiunto un punteggio di qualità molto elevato a un tasso di dati molto basso. Tuttavia, quando i ricercatori hanno osservato quanto tempo impiegavano questi modelli per essere eseguiti su un dispositivo reale, il quadro è cambiato. Il modello più potente era incredibilmente lento, impiegando molto tempo per elaborare ogni fotogramma perché doveva calcolare i valori in una sequenza rigorosa e passo dopo passo che l'hardware del dispositivo non poteva velocizzare.

Il team ha poi applicato il loro nuovo metodo di selezione, che filtra qualsiasi modello che non possa soddisfare specifici vincoli del mondo reale. Cercavano modelli che potessero girare entro un limite di tempo prestabilito, rientrare nella memoria del dispositivo e lavorare con gli strumenti software specifici disponibili sul dispositivo. Hanno scoperto che il modello più veloce ed efficiente era in realtà uno più semplice. Questo modello utilizzava un approccio matematico diretto che l'hardware del dispositivo poteva gestire molto rapidamente. Sebbene questo modello più semplice producesse file leggermente più grandi e una qualità dell'immagine leggermente inferiore rispetto a quello complesso, era di gran lunga più veloce. Infatti, il modello complesso era più di sessanta volte più lento da preparare per la distribuzione rispetto al modello più semplice. I ricercatori hanno concluso che, per un sistema reale, il "migliore" modello non è quello con la qualità teorica più alta, ma quello che può effettivamente girare abbastanza velocemente da stare al passo con la fotocamera.

Per dimostrare ciò, il team ha costruito un sistema funzionante completo utilizzando una piccola e potente scheda computer chiamata Jetson TX2 per agire come dispositivo edge. L'hanno programmata per catturare immagini di colore e profondità, comprimerle usando il loro modello più semplice e inviare i dati su una rete locale. Sul lato ricevente, un server cloud decodifica i dati e li trasforma nuovamente in una nuvola di punti 3D. Hanno misurato ogni passaggio di questo viaggio, dal momento in cui la fotocamera scatta la foto al momento in cui la forma 3D appare sullo schermo. Il sistema ha consegnato con successo una vista 3D ricostruita a una velocità di quasi trenta fotogrammi al secondo, con un ritardo totale di poco più di novanta millisecondi. Questa velocità è sufficiente per molte applicazioni interattive, come la telepresenza remota o la mappatura in tempo reale.

I ricercatori hanno anche confrontato il loro nuovo sistema con gli strumenti di compressione tradizionali già stabiliti che sono già integrati nell'hardware. Questi strumenti più vecchi, che gestiscono colore e profondità separatamente, erano molto più veloci, comprimendo le immagini in poco più di dieci millisecondi. Tuttavia, richiedevano leggermente più dati per raggiungere un livello di qualità simile. Il nuovo sistema basato sull'IA, pur essendo più lento, è riuscito a produrre una ricostruzione 3D con meno errori nelle misurazioni della profondità, il che significa che le forme 3D erano più accurate. Questo compromesso ha dimostrato che il nuovo metodo può essere un'alternativa valida quando la priorità è l'accuratezza della forma 3D piuttosto che la velocità assoluta di elaborazione.

Una parte chiave del loro successo è stata la gestione del software sul dispositivo. Non hanno cercato di forzare l'intero complesso programma di IA a girare sul processore grafico specializzato del dispositivo. Invece, hanno diviso il lavoro. Le parti principali del programma che trasformano l'immagine sono state convertite per girare efficientemente sull'hardware del dispositivo, mentre l'ultimo passaggio di impacchettamento dei dati in un flusso è stato gestito da uno strato software diverso e compatibile. Questo approccio ibrido ha permesso loro di ottenere i vantaggi di velocità dell'hardware senza rimanere bloccati sulle parti del software che l'hardware non poteva gestire. Hanno scoperto che questo modo specifico di organizzare il software era cruciale; cercare di eseguire l'intero programma in un unico modo non ottimizzato sarebbe stato troppo lento.

Lo studio ha anche esaminato come i dati si comportavano durante il viaggio sulla rete. Hanno inviato le immagini compresse in piccoli pacchetti, in modo simile a come fanno i servizi di streaming video, e hanno controllato come il sistema gestiva i ritardi o la perdita di dati. Hanno scoperto che il sistema era robusto, capace di riassemblare correttamente le immagini anche quando le condizioni di rete non erano perfette. Il tempo totale impiegato da un'immagine per andare dalla fotocamera alla ricostruzione 3D finale sul cloud è stato misurato in circa novantuno millisecondi in media. Questo include il tempo per catturare l'immagine, comprimerla, inviarla e ricostruirla. I ricercatori hanno notato che la maggiore variazione in questo tempo derivava dalla trasmissione di rete stessa, il che è previsto, ma il sistema è rimasto stabile e costante.

In definitiva, i ricercatori hanno dimostrato che scegliere uno strumento di compressione non è solo un problema matematico di trovare il file più piccolo. È un problema di progettazione di sistema che deve tenere conto dei limiti fisici del dispositivo, della velocità dell'hardware e dei requisiti del compito finale. Trattando la capacità di distribuire il software come una parte centrale della decisione, sono stati in grado di selezionare un modello che bilanciava efficacemente qualità, velocità e uso delle risorse. Il loro lavoro fornisce una chiara tabella di marcia per la costruzione di questi sistemi edge-to-cloud, mostrando che la soluzione migliore è spesso quella che si adatta alla macchina, non solo quella che vince un concorso teorico. Il risultato è un sistema pratico e funzionante che può catturare, comprimere e ricostruire scene 3D in tempo reale, colmando il divario tra l'intelligenza artificiale avanzata e i vincoli fisici dei dispositivi che la trasportano.