Depth-guided Multi-view Exposure Bracketing for HDR Robot Vision

Robot e smartphone sono sempre più dotati di telecamere che vedono il mondo in tre dimensioni, utilizzando sensori di profondità per capire quanto siano lontani gli oggetti. Queste macchine devono anche essere in grado di vedere chiaramente in condizioni di illuminazione che accecherebbero l'occhio umano, come il bagliore di un faro di un'auto contro un tunnel buio o il sole splendente che si riflette su una strada bagnata. Per catturare tali scene, le telecamere si affidano solitamente a una tecnica chiamata esposizione a scatti (exposure bracketing), in cui scattano diverse foto in rapida successione, ciascuna con un'impostazione di luminosità differente, e poi le fondono in un'unica immagine di alta qualità. Tuttavia, questo metodo presenta un difetto critico: se la scena è in movimento, il tempo necessario per scattare quelle molteplici foto causa una sfocatura o una distorsione dell'immagine finale, proprio come una fotografia di un bambino che corre scattata con un tempo di otturazione lento. Sebbene alcune telecamere avanzate possano catturare tutti i livelli di luminosità necessari in un unico istante, esse sono costose e rare. La domanda rimane: come possono le macchine ordinarie, dotate di telecamere standard e sensori di profondità, vedere l'intera gamma di luce in un singolo istante nitido senza aspettare che il mondo si fermi?

Un team di ricercatori della POSTECH in Corea del Sud ha sviluppato un nuovo approccio che risponde a questa domanda cambiando il modo in cui i diversi livelli di luminosità vengono ottenuti. Invece di chiedere a una singola telecamera di scattare più foto nel tempo, hanno chiesto a un gruppo di telecamere di scattare una foto ciascuna, tutte nello stesso identico momento, ma con ogni telecamera impostata su un livello di luminosità drasticamente diverso. Per far funzionare questo sistema, hanno costruito una piattaforma robotica personalizzata che trasporta sei telecamere standard e un sensore di profondità, e hanno anche testato l'idea su un iPhone 13 Pro, che possiede tre telecamere e un sensore di profondità integrato sul retro. I ricercatori hanno creato una nuova e massiccia collezione di dati, che include oltre cento scene del mondo reale catturate dal loro robot, un set più piccolo di immagini dall'iPhone e venti sequenze video simulate generate da un programma per computer. Questo dataset permette loro di testare quanto bene una macchina possa ricostruire un'immagine perfetta quando gli input non sono solo diversi nel tempo, ma anche diversi per esposizione e prospettiva.

Il cuore della loro soluzione è un metodo che chiamano "bracketing dell'esposizione multi-vista guidato dalla profondità" (depth-guided multi-view exposure bracketing). In termini semplici, il sistema prende le immagini da tutte le telecamere e utilizza l'informazione sulla profondità — la mappa di quanto ogni punto della scena sia lontano — per allinearle perfettamente. Poiché le telecamere guardano la scena da angolazioni leggermente diverse, il sistema utilizza la mappa di profondità per deformare (warp) le immagini in modo che si allineino come se fossero state tutte scattate dallo stesso punto. Questa guida geometrica è cruciale perché permette al sistema di fidarsi dell'allineamento anche quando le differenze di luminosità tra le telecamere sono estreme. Senza questa mappa di profondità, il sistema dovrebbe indovinare come le immagini si allineano basandosi su schemi visivi, un compito che fallisce miseramente quando una telecamera vede una luce intensa e un'altra vede un'ombra scura. Affidandosi al sensore di profondità, il sistema può fondere i pixel più scuri, quelli medi e quelli più luminosi delle diverse telecamere in un'unica immagine ad alta gamma dinamica (HDR) istantaneamente.

I risultati di questo approccio sono significanti. Quando testato sul loro nuovo dataset, il metodo ha prodotto immagini più chiare con meno errori rispetto alle tecniche esistenti che cercano di allineare immagini in movimento basandosi solo su schemi visivi. In scene con illuminazione estrema, come una fonte luminosa intensa contro uno sfondo scuro, il nuovo metodo è riuscito a rivelare dettagli che altri approcci avrebbero mancato o distorto. I ricercatori hanno scoperto che l'aggiunta di più telecamere al sistema migliorava ulteriormente la qualità, permettendo alla macchina di catturare una gamma di luce ancora più ampia. Ad esempio, mentre una configurazione con tre telecamere poteva gestire la maggior parte delle situazioni, espandere il sistema a otto telecamere ha permesso di risolvere dettagli fini nelle parti più luminose dell'immagine che altrimenti sarebbero stati sbiaditi. Questo miglioramento è rimasto costante sia che le immagini provenissero dal loro rig robotico personalizzato, dall'iPhone o dall'ambiente simulato.

Oltre a rendere le immagini più belle, i ricercatori hanno dimostrato che questa visione più chiara aiuta i robot a vedere meglio in compiti pratici. Hanno testato il sistema chiedendogli di identificare le auto in una scena con fari accecanti. I metodi standard, che faticano ad allineare correttamente le immagini sotto una luce così dura, spesso fallivano nel riconoscere la forma dei veicoli, scambiando il bagliore per parte dell'auto o mancando completamente l'auto. Al contrario, il nuovo metodo preservava i dettagli strutturali delle auto, permettendo al sistema di rilevamento di identificarle accuratamente. Ciò suggerisce che dare ai robot la capacità di vedere l'intera gamma di luce in un singolo scatto potrebbe renderli più sicuri e affidabili in ambienti reali dove i cambiamenti di luce sono rapidi e imprevedibili. Il lavoro ha anche dimostrato che questa tecnologia non è limitata a robot costosi e costruiti su misura; può funzionare efficacemente su dispositivi di consumo come gli smartphone, a condizione che abbiano più telecamere e un sensore di profondità.

I ricercatori riconoscono che il loro sistema attuale richiede che le telecamere e i sensori di profondità condividano una visione comune del mondo per funzionare, un vincolo che limita il posizionamento dei sensori. Guardando al futuro, suggeriscono che il passo successivo sarebbe andare oltre la creazione di immagini piatte in due dimensioni e costruire invece una rappresentazione tridimensionale completa della scena che catturi dettagli ad alta gamma dinamica nello spazio. Per ora, tuttavia, lo studio dimostra che combinando telecamere standard con sensori di profondità e un nuovo modo di fondere i loro dati, le macchine possono raggiungere un livello di visione che prima era riservato a apparecchiature specializzate e ad alto costo. Ciò apre la porta a sistemi robotici più robusti e capaci, in grado di operare in modo affidabile nelle complesse e spesso ostili condizioni di illuminazione del mondo reale.