Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

Nel mondo moderno, ai nostri dispositivi viene costantemente chiesto di fare di più con meno tempo e meno energia. Dalle auto a guida autonoma alle telecamere intelligenti, le macchine devono elaborare informazioni visive istantaneamente. I computer tradizionali gestiscono questo compito prendendo la luce, trasformandola in elettricità e poi eseguendo complessi calcoli su quell'elettricità. Questo processo di conversione della luce in numeri digitali e viceversa crea un collo di bottiglia, rallentando tutto e consumando energia. La luce stessa, tuttavia, si muove incredibilmente velocemente e può trasportare enormi quantità di informazioni simultaneamente. Gli scienziati hanno da tempo cercato di costruire computer che usino la luce per fare i calcoli direttamente, sperando di bypassare i lenti passaggi elettronici. La sfida è stata che, sebbene la luce sia veloce, è anche difficile da controllare con la precisione necessaria per compiti complessi, e l'hardware del mondo reale è raramente perfetto.

Un team di ricercatori ha ora dimostrato un nuovo modo per colmare il divario tra il flusso continuo della luce e il linguaggio discreto, binario, dei computer digitali. Hanno costruito un sistema che prende un'immagine, lascia che la luce passi attraverso una serie di strati appositamente progettati e produce una risposta digitale diretta senza mai dover ricostruire l'immagine originale o eseguire un pesante programma software. Invece di cercare di fare una copia perfetta dell'immagine, il sistema smista l'energia luminosa in zone specifiche. Confrontando quanta luce cade in una zona rispetto a un'altra, la macchina decide se un determinato bit di informazione è uno zero o un uno. Questo approccio, che i ricercatori chiamano calcolo "Light-Field-to-Bits" (dal campo luminoso ai bit), ha trasformato con successo modelli visivi in codici binari a quattro cifre con alta precisione, anche quando le immagini in ingresso erano distorte o l'attrezzatura era imperfetta.

Il nucleo di questo lavoro è una macchina ibrida che combina l'ottica fisica con l'elettronica digitale. Immaginate un fascio di luce che trasporta un'immagine, come un numero o un segnale stradale, che entra nel sistema. Questa luce colpisce prima uno strato fisico fatto di un materiale speciale che può piegare le onde luminose in modi precisi. Mentre la luce viaggia attraverso l'aria verso lo stadio successivo, si diffonde e interagisce con un secondo strato. Nell'esperimento, il primo strato era un dispositivo reale, fisico, mentre il secondo era simulato da un computer per consentire test flessibili. La luce infine atterra su un sensore che agisce come una telecamera, catturando dove si è accumulata l'energia. L'innovazione chiave non risiede nel prendere una foto del risultato, ma nel modo in cui la luce viene organizzata. Il sistema è progettato per incanalare la luce in otto punti specifici sul sensore, disposti in quattro coppie. Per ogni coppia, il sistema controlla semplicemente quale punto è più luminoso. Se il punto in alto a sinistra è più luminoso di quello in basso a destra, registra un "uno"; se accade il contrario, registra uno "zero". Questo semplice confronto avviene quattro volte, producendo un codice binario a quattro cifre che rappresenta l'input originale.

Per far sì che questo funzioni nel mondo reale, i ricercatori hanno dovuto risolvere un problema complicato: l'hardware reale non è mai perfetto come i modelli informatici usati per progettarlo. Le lenti sono leggermente disallineate, le sorgenti luminose non sono perfettamente uniformi e i materiali presentano piccole imperfezioni. Se il sistema fosse stato addestrato solo su una simulazione computerizzata perfetta, fallirebbe una volta costruito con parti reali. Il team ha risolto questo problema creando un processo di addestramento "camera-in-the-loop" (telecamera nel ciclo). Hanno costruito il dispositivo fisico e poi hanno usato un computer per apprendere come il dispositivo reale si comportasse effettivamente. Il computer osservava la luce mentre si muoveva attraverso la macchina reale, registrava i risultati e poi regolava le impostazioni dello strato fisico per correggere eventuali errori. È stato un ciclo continuo di test e perfezionamenti, che ha permesso alla macchina di imparare a lavorare intorno alle proprie imperfezioni. Questo metodo ha garantito che il sistema potesse gestire il rumore e la distorsione del mondo reale, invece di limitarsi a lavorare in un ambiente idealizzato.

I risultati di questo esperimento sono stati robusti. I ricercatori hanno testato il sistema con sedici diversi simboli esadecimali, che sono come i numeri da zero a nove e le lettere da A a F. Hanno anche testato il sistema con immagini di segnali stradali, che sono più complessi e vari. In entrambi i casi, il sistema ha convertito con successo le immagini nei codici a quattro bit corretti. Quando le immagini in ingresso venivano scosse, ruotate o sfocate per simulare le condizioni del mondo reale, il sistema otteneva comunque la risposta corretta più del 93 percento delle volte. Anche quando i ricercatori hanno simulato un sensore di telecamera con molti pixel morti e una conversione digitale di bassa qualità, il sistema ha mantenuto la sua accuratezza. Ciò suggerisce che il metodo non è fragile; può tollerare un significativo degrado dell'hardware senza perdere la capacità di prendere decisioni.

Uno degli aspetti più sorprendenti di questo lavoro è la velocità con cui la luce esegue i suoi calcoli. Mentre le parti elettroniche del sistema dovevano aspettare che la telecamera leggesse l'immagine e che il computer elaborasse il passaggio successivo, la luce stessa ha eseguito il lavoro pesante quasi istantaneamente. I ricercatori hanno calcolato che la parte ottica del processo, che consiste nel viaggio della luce per una breve distanza e nel suo passaggio attraverso gli strati, equivale all'esecuzione di oltre 51 miliardi di operazioni matematiche in poco più di un miliardesimo di secondo. Si tratta di una quantità enorme di lavoro svolto con quasi zero energia e senza ritardi. La parte elettronica del sistema, al contrario, ha dovuto compiere solo una piccola quantità di lavoro per confrontare i livelli di luce negli otto punti. Questa divisione del lavoro permette al sistema di gestire dati ad alta dimensionalità in modo molto efficiente, delegando la parte più difficile del compito alla luce stessa.

I ricercatori sottolineano con cautela che la loro configurazione attuale è una prova di concetto, costruita su un tavolo con componenti grandi e ingombranti come laser e telecamere. La luce ha dovuto percorrere una distanza di venti centimetri e il sistema è stato limitato dalla velocità con cui la telecamera e il dispositivo di modulazione della luce potevano aggiornare le loro immagini. Tuttavia, i principi dimostrati sono scalabili. In futuro, questi componenti grandi potrebbero essere sostituiti da minuscoli chip ottici piatti e piccoli array di rilevatori di luce. Se il sistema venisse miniaturizzato, potrebbe potenzialmente operare a velocità limitate solo dalla velocità della luce, piuttosto che dalla velocità della telecamera. L'obiettivo finale è creare un dispositivo che possa stare su un robot o un drone, convertendo istantaneamente ciò che vede in decisioni digitali senza il ritardo e il costo energetico dell'informatica tradizionale.

Questo lavoro rappresenta un passo significativo verso la fusione del mondo fisico della luce con il mondo digitale dei bit. Dimostrando che la luce può essere guidata per prendere decisioni dirette e affidabili, i ricercatori hanno aperto la strada a macchine più veloci ed efficienti. Il sistema non cerca di ricreare l'immagine o di comprendere la scena come fa un essere umano; invece, utilizza la fisica della luce per smistare le informazioni in un formato che i sistemi digitali possano utilizzare immediatamente. Questa mappatura diretta dalla luce ai bit offre una soluzione promettente per applicazioni in cui la velocità e l'efficienza energetica sono critiche, come nei veicoli autonomi o nel telerilevamento. La capacità di addestrare il sistema a lavorare con hardware imperfetto suggerisce che tali dispositivi potrebbero essere costruiti e distribuiti in ambienti reali, non solo in laboratori controllati. Man mano che la tecnologia maturerà, potrebbe cambiare fondamentalmente il modo in cui le macchine percepiscono e interagiscono con il mondo che le circonda.