Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

In der modernen Welt werden unsere Geräte ständig dazu aufgefordert, mehr mit weniger Zeit und weniger Energie zu leisten. Von selbstfahrenden Autos bis hin zu intelligenten Kameras müssen Maschinen visuelle Informationen sofort verarbeiten können. Traditionelle Computer bewältigen dies, indem sie Licht aufnehmen, es in Elektrizität umwandeln und dann komplexe Berechnungen mit dieser Elektrizität durchführen. Dieser Prozess der Umwandlung von Licht in digitale Zahlen und wieder zurück erzeugt einen Flaschenhals, der die Abläufe verlangsamt und Energie verbraucht. Das Licht selbst bewegt sich jedoch unglaublich schnell und kann gleichzeitig riesige Mengen an Informationen tragen. Wissenschaftler versuchen schon lange, Computer zu bauen, die Licht nutzen, um die Mathematik direkt auszuführen, in der Hoffnung, die langsamen elektronischen Schritte zu umgehen. Die Herausforderung bestand darin, dass Licht zwar schnell ist, aber auch schwierig zu kontrollieren ist, wenn die Präzision für komplexe Aufgaben erforderlich ist, und dass reale Hardware selten perfekt ist.

Ein Forschungsteam hat nun einen neuen Weg demonstriert, um die Lücke zwischen dem kontinuierlichen Fluss des Lichts und der diskreten, binären Sprache digitaler Computer zu schließen. Sie bauten ein System, das ein Bild aufnimmt, das Licht durch eine Reihe speziell entworfener Schichten fließen lässt und eine direkte digitale Antwort liefert, ohne jemals das ursprüngliche Bild rekonstruieren oder ein schwerfälliges Softwareprogramm ausführen zu müssen. Anstatt zu versuchen, eine perfekte Kopie des Bildes zu erstellen, sortiert das System die Lichtenergie in spezifische Zonen. Durch den Vergleich dessen, wie viel Licht in einer Zone gegenüber einer anderen landet, entscheidet die Maschine, ob ein bestimmtes Bit an Information eine Null oder eine Eins ist. Dieser Ansatz, den die Forscher als „Light-Field-to-Bits“-Computing bezeichnen, verwandelte visuelle Muster erfolgreich in vierstellige Binärcodes mit hoher Genauigkeit, selbst wenn die Eingabebilder verzerrt oder die Ausrüstung unvollkommen war.

Der Kern dieser Arbeit ist eine Hybridmaschine, die physikalische Optik mit digitaler Elektronik kombiniert. Stellen Sie sich vor, ein Lichtstrahl, der ein Bild trägt, wie etwa eine Zahl oder ein Verkehrsschild, tritt in das System ein. Dieses Licht trifft zuerst auf eine physische Schicht, die aus einem speziellen Material besteht, das die Lichtwellen auf präzise Weise beugen kann. Während das Licht zum nächsten Stadium durch die Luft reist, breitet es sich aus und interagiert mit einer zweiten Schicht. In dem Experiment war die erste Schicht ein reales, physisches Gerät, während die zweite durch einen Computer simuliert wurde, um flexible Tests zu ermöglichen. Das Licht landet schließlich auf einem Sensor, der wie eine Kamera fungiert und erfasst, wo sich die Energie gesammelt hat. Die entscheidende Innovation liegt nicht darin, ein Foto des Ergebnisses zu machen, sondern darin, wie das Licht organisiert wird. Das System ist darauf ausgelegt, das Licht in acht spezifische Punkte auf dem Sensor zu leiten, die in vier Paaren angeordnet sind. Für jedes Paar prüft das System einfach, welcher Punkt heller ist. Wenn der Punkt oben links heller ist als der Punkt unten rechts, zeichnet es eine „Eins“ auf; wenn das Gegenteil der Fall ist, zeichnet es eine „Null“ auf. Dieser einfache Vergleich findet viermal statt, was zu einem vierstelligen Binärcode führt, der das ursprüngliche Eingabebild repräsentiert.

Um dies in der realen Welt funktionsfähig zu machen, mussten die Forscher ein schwieriges Problem lösen: Reale Hardware ist niemals so perfekt wie die Computermodelle, die für ihr Design verwendet werden. Linsen sind leicht dezentriert, Lichtquellen sind nicht perfekt gleichmäßig und Materialien weisen winzige Mängel auf. Wenn das System nur mit einer perfekten Computersimulation trainiert worden wäre, würde es beim Einsatz mit realen Teilen versagen. Das Team löste dies durch einen „Camera-in-the-loop“-Trainingsprozess. Sie bauten das physische Gerät und nutzten dann einen Computer, um zu lernen, wie das reale Gerät tatsächlich reagiert. Der Computer beobachtete das Licht, während es sich durch die reale Maschine bewegte, zeichnete die Ergebnisse auf und passte dann die Einstellungen der physischen Schicht an, um Fehler zu korrigieren. Es war ein kontinuierlicher Zyklus aus Testen und Nachjustieren, der es der Maschine ermöglichte, zu lernen, mit ihren eigenen Unvollkommenheiten umzugehen. Diese Methode stellte sicher, dass das System reale Störungen und Verzerrungen bewältigen konnte, anstatt nur in einer idealisierten Umgebung zu funktionieren.

Die Ergebnisse dieses Experiments waren robust. Die Forscher testeten das System mit sechzehn verschiedenen Hexadezimal-Symbolen, die wie die Zahlen Null bis Neun und die Buchstaben A bis F funktionieren. Sie testeten es auch mit Bildern von Verkehrsschildern, die komplexer und variabler sind. In beiden Fällen konvertierte das System die Bilder erfolgreich in die korrekten Vier-Bit-Codes. Wenn die Eingabebilder erschüttert, rotiert oder verschwommen wurden, um reale Bedingungen zu simulieren, lieferte das System immer noch in mehr als 93 Prozent der Fälle das richtige Ergebnis. Selbst als die Forscher einen Kamerasensor mit vielen toten Pixeln und einer minderwertigen digitalen Umwandlung simulierten, behielt das System seine Genauigkeit bei. Dies deutet darauf hin, dass die Methode nicht fragil ist; sie kann erhebliche Hardware-Degradationen tolerieren, ohne ihre Entscheidungsfähigkeit zu verlieren.

Einer der beeindruckendsten Aspekte dieser Arbeit ist die Geschwindigkeit, mit der das Licht seine Berechnungen durchführt. Während die elektronischen Teile des Systems warten mussten, bis die Kamera das Bild ausliest und der Computer den nächsten Schritt verarbeitet, erledigte das Licht die schwere Arbeit fast augenblicklich. Die Forscher berechneten, dass der optische Teil des Prozesses, der beinhaltet, dass das Licht eine kurze Strecke zurücklegt und durch die Schichten gebeugt wird, einer Durchführung von über 51 Milliarden mathematischen Operationen in etwas mehr als einer Milliardstel Sekunde entspricht. Dies ist eine gewaltige Menge an Arbeit, die mit fast keinem Energieaufwand und ohne Verzögerung geleistet wird. Der elektronische Teil des Systems musste im Gegensatz dazu nur eine geringe Menge an Arbeit leisten, um die Lichtintensitäten in den acht Punkten zu vergleichen. Diese Arbeitsteilung ermöglicht es dem System, hochdimensionale Daten sehr effizient zu verarbeiten, indem der schwierigsten Teil der Aufgabe an das Licht ausgelagert wird.

Die Forscher weisen vorsorglich darauf hin, dass ihr aktueller Aufbau ein Proof-of-Concept ist, der auf einem Tisch mit sperrigen Komponenten wie Lasern und Kameras aufgebaut wurde. Das Licht musste eine Strecke von zwanzig Zentimetern zurücklegen, und das System war durch die Geschwindigkeit begrenzt, mit der die Kamera und das lichtmodulierende Gerät ihre Bilder aktualisieren konnten. Die demonstrierten Prinzipien sind jedoch skalierbar. In Zukunft könnten diese großen Komponenten durch winzige, flache optische Chips und kleine Anordnungen von Lichtdetektoren ersetzt werden. Wenn das System miniaturisiert würde, könnte es potenziell mit Geschwindigkeiten arbeiten, die nur durch die Lichtgeschwindigkeit begrenzt sind, statt durch die Geschwindigkeit der Kamera. Das ultimative Ziel ist es, ein Gerät zu schaffen, das auf einem Roboter oder einer Drohne sitzen kann und das, was es sieht, sofort in digitale Entscheidungen umwandelt, ohne die Verzögerung und die Energiekosten herkömmlicher Computer.

Diese Arbeit stellt einen bedeutenden Schritt nach vorn dar, um die physische Welt des Lichts mit der digitalen Welt der Bits zu verschmelzen. Indem sie zeigten, dass Licht gelenkt werden kann, um direkte, zuverlässige Entscheidungen zu treffen, haben die Forscher einen Weg zu schnelleren und effizienteren Maschinen eröffnet. Das System versucht nicht, das Bild zu rekonstruieren oder die Szene so zu verstehen, wie es ein Mensch tut; stattdessen nutzt es die Physik des Lichts, um Informationen in ein Format zu sortieren, das digitale Systeme sofort nutzen können. Diese direkte Abbildung von Licht auf Bits bietet eine vielversprechende Lösung für Anwendungen, bei denen Geschwindigkeit und Energieeffizienz entscheidend sind, wie etwa bei autonomen Fahrzeugen oder der Fernerkundung. Die Fähigkeit, das System darauf zu trainieren, mit unvollkommener Hardware zu arbeiten, legt nahe, dass solche Geräte in realen Umgebungen eingesetzt werden können und nicht nur in kontrollierten Laboratorien. Wenn diese Technologie reift, könnte sie die Art und Weise, wie Maschinen die Welt wahrnehmen und mit ihr interagieren, grundlegend verändern.