Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

In de moderne wereld wordt van onze apparaten voortdurend gevraagd om meer te doen met minder tijd en minder energie. Van zelfrijdende auto's tot slimme camera's, machines moeten visuele informatie onmiddellijk verwerken. Traditionele computers doen dit door licht te nemen, het in elektriciteit te veranderen en vervolgens complexe berekeningen op die elektriciteit uit te voeren. Dit proces van het omzetten van licht naar digitale getallen en weer terug creëert een flessenhals, wat de boel vertraagt en energie verbruikt. Licht zelf beweegt echter ongelooflijk snel en kan enorme hoeveelheden informatie tegelijkertijd dragen. Wetenschappers proberen al lang computers te bouwen die licht gebruiken om de wiskunde direct te doen, in de hoop de trage elektronische stappen te omzeilen. De uitdaging is geweest dat licht weliswaar snel is, maar ook moeilijk te controleren met de precisie die nodig is voor complexe taken, en dat hardware in de echte wereld zelden perfect is.

Een team van onderzoekers heeft nu een nieuwe manier gedemonstreerd om de kloof te overbruggen tussen de continue stroom van licht en de discrete, binaire taal van digitale computers. Ze bouwden een systeem dat een afbeelding neemt, het licht door een reeks speciaal ontworde lagen laat passeren, en een direct digitaal antwoord produceert zonder ooit de oorspronkelijke afbeelding te hoeven reconstrueren of een zwaar softwareprogramma te hoeven draaien. In plaats van te proberen een perfecte kopie van de afbeelding te maken, sorteert het systeem de lichtenergie in specifieke zones. Door te vergelijken hoeveel licht er in de ene zone landt versus de andere, besluit de machine of een specifiek stukje informatie een nul of een één is. Deze aanpak, die de onderzoekers "Light-Field-to-Bits"-computing noemen, slaagde erin visuele patronen met hoge nauwkeurigheid om te zetten in viercijferige binaire codes, zelfs wanneer de invoerbeelden vervormd waren of de apparatuur imperfect was.

De kern van dit werk is een hybride machine die fysieke optica combineert met digitale elektronica. Stel je een lichtstraal voor die een afbeelding draagt, zoals een getal of een verkeersbord, en het systeem binnenkomt. Dit licht raakt eerst een fysieke laag gemaakt van een speciaal materiaal dat de lichtgolven op precieze wijze kan buigen. Terwijl het licht door de lucht naar de volgende fase reist, verspreidt het zich en interageert het met een tweede laag. In het experiment was de eerste laag een echt, fysiek apparaat, terwijl de tweede werd gesimuleerd door een computer om flexibele tests mogelijk te maken. Het licht landt uiteindelijk op een sensor die werkt als een camera en vastlegt waar de energie zich heeft verzameld. De belangrijkste innovatie ligt niet in het maken van een foto van het resultaat, maar in hoe het licht wordt georganiseerd. Het systeem is ontworpen om het licht in acht specifieke plekken te kanaliseren, gerangschikt in vier paren. Voor elk paar controleert het systeem simpelweg welke plek helderder is. Als de linkerbovenplek helderder is dan de rechteronderplek, registreert het een "één"; als het tegendeel waar is, registreert het een "nul". Deze eenvoudige vergelijking gebeurt vier keer, wat resulteert in een viercijferige binaire code die de oorspronkelijke invoer vertegenwoordigt.

Om dit in de echte wereld te laten werken, moesten de onderzoekers een lastig probleem oplossen: echte hardware is nooit zo perfect als de computermodellen die voor het ontwerp worden gebruikt. Lenzen zijn licht uit het lood, lichtbronnen zijn niet perfect gelijkmatig en materialen hebben kleine imperfecties. Als het systeem alleen op een perfecte computersimulatie zou zijn getraind, zou het falen bij het gebruik van echte onderdelen. Het team loste dit op door een "camera-in-the-loop" trainingsproces te creëren. Ze bouwden het fysieke apparaat en gebruikten vervolgens een computer om te leren hoe het echte apparaat zich eigenlijk gedroeg. De computer observeerde het licht terwijl het door de echte machine bewoog, registreerde de resultaten en paste vervolgens de instellingen van de fysieke laag aan om eventuele fouten te corrigeren. Het was een continue cyclus van testen en bijstellen, waardoor de machine leerde om met haar eigen imperfecties om te gaan. Deze methode zorgde ervoor dat het systeem de ruis en vervorming in de echte wereld kon afhandelen, in plaats van alleen in een geïdealiseerde omgeving te werken.

De resultaten van dit experiment waren robuust. De onderzoekers testten het systeem met zestien verschillende hexadecimale symbolen, die lijken op de cijfers nul tot negen en de letters A tot F. Ze testten het ook met afbeeldingen van verkeersborden, die complexer en gevarieerder zijn. In beide gevallen slaagde het systeem erin de afbeeldingen correct om te zetten in de juiste vierbits-codes. Wanneer de invoerbeelden werden geschud, gedraaid of vervaagd om de werkelijke omstandigheden te simulen, gaf het systeem nog steeds in meer dan 93 procent van de gevallen het juiste antwoord. Zelfs toen de onderzoekers een camerasensor simuleerden met veel dode pixels en een lage kwaliteit van digitale conversie, behield het systeem zijn nauwkeurigheid. Dit suggereert dat de methode niet fragiel is; het kan aanzienlijke hardwareverslechtering tolereren zonder het vermogen om beslissingen te nemen te verliezen.

Een van de meest opvallende aspecten van dit werk is de snelheid waarmee het licht de berekeningen uitvoert. Terwijl de elektronische onderdelen van het systeem moesten wachten tot de camera de afbeelding las en de computer de volgende stap verwerkte, voerde het licht zelf het zware werk bijna onmiddellijk uit. De onderzoekers berekenden dat het optische deel van het proces, waarbij het licht een korte afstand aflegt en door de lagen buigt, gelijk staat aan het uitvoeren van meer dan 51 miljard wiskundige operaties in iets meer dan een miljardste van een seconde. Dit is een enorme hoeveelheid werk die met bijna geen energie en zonder vertraging wordt gedaan. Het elektronische deel van het systeem hoefde daarente daarentegen slechts een klein beetje werk te doen om de lichtniveaus in de acht plekken te vergelijken. Deze taakverdeling stelt het systeem in staat om hoogdimensionale gegevens zeer efficiënt te verwerken, door het moeilijkste deel van de klus aan het licht zelf te delegeren.

De onderzoekers merken er zorgvuldig bij op dat hun huidige opstelling een bewijs van concept (proof of concept) is, gebouwd op een tafel met grote, logge componenten zoals lasers en camera's. Het licht moest een afstand van twintig centimeter afleggen, en het systeem werd beperkt door de snelheid waarmee de camera en het lichtmodulerende apparaat hun beelden konden verversen. De principes die ze hebben gedemonstreerd zijn echter schaalbaar. In de toekomst zouden deze grote componenten vervangen kunnen worden door minuscule, platte optische chips en kleine arrays van lichtdetectoren. Als het systeem wordt verkleind, zou het potentieel op snelheden kunnen werken die alleen worden beperkt door de snelheid van het licht, in plaats van door de snelheid van de camera. Het uiteindelijke doel is om een apparaat te creëren dat op een robot of een drone kan zitten en onmiddellijk ziet wat het ziet, door dit om te zetten in digitale beslissingen zonder de vertraging en de energiekosten van traditionele computing.

Dit werk vormt een belangrijke stap voorwaarts in het samenvoegen van de fysieke wereld van licht met de digitale wereld van bits. Door aan te tonen dat licht kan worden gestuurd om directe, betrouwbare beslissingen te nemen, hebben de onderzoekers een pad geopend naar snellere, efficiëntere machines. Het systeem probeert niet de afbeelding te recreëren of de scène te begrijpen zoals een mens dat doet; in plaats daarvan gebruikt het de fysica van het licht om informatie te sorteren in een formaat dat digitale systemen onmiddellijk kunnen gebruiken. Deze directe mapping van licht naar bits biedt een veelbelovende oplossing voor toepassingen waar snelheid en energie-efficiëntie cruciaal zijn, zoals in autonome voertuigen of remote sensing. Het vermogen om het systeem te trainen om met imperfecte hardware te werken, suggereert dat dergelijke apparaten in de echte wereld kunnen worden gebouwd en ingezet, en niet alleen in gecontroleerde laboratoria. Naarmate de technologie volwassen wordt, zou het de manier waarop machines de wereld om hen heen waarnemen en ermee interageren, fundamenteel kunnen veranderen.