Multi-Scale Spectral Attention Module-based Hyperspectral Segmentation in Autonomous Driving Scenarios

Le auto a guida autonoma si affidano ai loro occhi per vedere il mondo, ma le telecamere che utilizzano attualmente hanno un punto cieco. Le telecamere standard vedono il mondo molto simile all'occhio umano, catturando tre ampie bande di luce: rossa, verde e blu. Questo è sufficiente per dire a un'auto che una chiazza di terreno è una strada e una chiazza di cielo è blu, ma fatica quando i materiali sembrano identici all'occhio pur essendo fondamentalmente diversi. Una strada bagnata, una chiazza di ghiaccio e un'ombra scura potrebbero apparire tutti come la stessa tonalità di grigio a una telecamera standard, creando un'ambiguità pericolosa per un veicolo autonomo. Per risolvere questo problema, i ricercatori si stanno rivolgendo a uno strumento più potente chiamato imaging iperspettrale. Inveve di sole tre tonalità, questi sensori catturano centinaia di strette bande di luce, creando un'impronta spettrale unica per ogni pixel di un'immagine. Ciò consente a un computer di distinguere tra acqua, ghiaccio e asfalto in base alla loro composizione chimica piuttosto che solo alla loro luminosità. Tuttavia, sebbene questa tecnologia offra una visione più chiara del mondo fisico, insegnare a un computer come comprendere queste immagini complesse e ad alta dimensionalità si è rivelato difficile.

La sfida risiede nel modo in cui sono costruiti gli attuali sistemi di visione artificiale. La maggior parte dei modelli di intelligenza artificiale progettati per le auto a guida autonoma è stata originariamente addestrata su immagini standard rosso-verde-blu. Quando i ricercatori provano a inserire dati iperspettrali in questi modelli, spesso devono comprimere le informazioni ricche e dettagliate per adattarle all'architettura più semplice, proprio come cercare di far stare una mappa grande e complessa in una piccola tasca. Questa compressione inevitabilmente scarta i sottili dettagli spettrali che rendono l'imaging iperspettrale così prezioso. Inoltre, i metodi esistenti spesso trattano ogni banda di colore come un'informazione indipendente, non riconoscendo che la luce catturata in una banda è fisicamente correlata alla luce nelle sue vicine. I ricercatori in questo studio hanno cercato di correggere questo distacco creando un nuovo modo per far elaborare ai computer queste impronte spettrali senza perdere il loro dettaglio.

Il team ha sviluppato uno strumento specializzato chiamato Modulo di Attenzione Spettrale Multi-Scala. Immaginate una lente della fotocamera che può guardare una scena attraverso tre diversi filtri contemporaneamente: uno che si concentra su dettagli minuscoli e immediati, uno che osserva schemi a medio raggio e uno che vede il contesto ampio e generale. Nel mondo degli spettri luminosi, ciò significa che il sistema può analizzare simultaneamente come un materiale reagisce a un intervallo di colori molto stretto, uno medio e uno ampio, tutto in una volta. Eseguendo queste tre diverse "visioni" in parallelo, il sistema può catturare sia le firme chimiche fini di un materiale che il contesto più ampio della scena. I ricercatori hanno poi integrato questo strumento in un'architettura di visione artificiale molto popolare nota come UNet, posizionandolo specificamente nei percorsi che trasportano l'informazione dalle fasi iniziali di elaborazione a quelle successive. Questo posizionamento assicura che i ricchi dettagli spettrali siano preservati e trasmessi man mano che il computer costruisce la sua comprensione finale dell'immagine.

Per testare se questo approccio funzionasse davvero, i ricercatori hanno applicato il loro nuovo sistema a diversi dataset del mondo reale contenenti immagini di scene di guida urbane e rurali. Questi dataset includevano immagini di strade, veicoli, pedoni e vegetazione, catturate con telecamere iperspettrali che registravano da 15 a 128 diverse bande di luce. Il team ha confrontato il loro nuovo sistema con la versione standard del modello di visione artificiale che non possedeva questo speciale strumento spettrale. I risultati sono stati chiari: il sistema dotato del modulo di attenzione spettrale multi-scala ha costantemente ottenuto prestazioni migliori. In tutti i diversi dataset e varie dimensioni del modello, il nuovo approccio ha migliorato l'accuratezza nell'identificazione degli oggetti in media del 2,32 percento in un parametro chiave e del 2,88 percento in un altro. Sebbene questi numeri possano sembrare piccoli, nel mondo ad alto rischio della guida autonoma, anche una frazione di un percento può fare la differenza tra una frenata sicura e una collisione.

Lo studio ha anche rivelato che non esiste un'impostazione "perfetta" singola per questo strumento che funzioni in ogni situazione. I ricercatori hanno scoperto che la combinazione migliore di filtri dipendeva dal dataset specifico utilizzato. Per alcuni dataset, una combinazione di filtri molto stretti, medi e molto ampi funzionava meglio, mentre per altri, una diversa miscela di dimensioni era superiore. Ciò suggerisce che le firme spettrali dei materiali in ambienti diversi sono uniche e che il sistema deve essere sintonizzato sul "linguaggio della luce" specifico del luogo che sta osservando. Nonostante queste variazioni, l'approccio multi-scala si è dimostrato più efficace rispetto all'uso di un singolo filtro o al trattamento delle bande di colore in modo indipendente.

Confrontato con altri metodi avanzati che cercano di aiutare i computer a concentrarsi sulle parti importanti di un'immagine, il nuovo sistema ha saputo difendersi. Ha raggiunto livelli di accuratezza competitivi con le migliori tecniche esistenti, pur funzionando abbastanza velocemente su potenti processori grafici da essere utile nelle applicazioni in tempo reale. I ricercatori hanno notato che il sistema richiedeva una maggiore potenza di elaborazione su chip informatici standard, ma sull'hardware specializzato tipicamente presente nelle moderne auto a guida autonoma, ha operato in modo efficiente. Questo lavoro fornisce una solida base per il futuro della percezione della guida autonoma. Dimostrando che guardare la luce attraverso molteplici scale di dettaglio migliora la capacità del computer di comprendere il mondo, lo studio offre una via pratica per rendere le auto a guida autonoma più sicure e affidabili in condizioni reali e complesse.