Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

Dans le monde moderne, nos appareils sont constamment sollicités pour faire plus avec moins de temps et moins d'énergie. Des voitures autonomes aux caméras intelligentes, les machines doivent traiter l'information visuelle instantanément. Les ordinateurs traditionnels gèrent cela en prenant la lumière, en la transformant en électricité, puis en effectuant des calculs complexes sur cette électricité. Ce processus de conversion de la lumière en nombres numériques, puis inversement, crée un goulot d'étranglement, ralentissant les opérations et consommant de l'énergie. La lumière elle-même, cependant, se déplace incroyablement vite et peut transporter de vastes quantités d'informations simultanément. Les scientifiques tentent depuis longtemps de construire des ordinateurs qui utilisent la lumière pour effectuer les calculs directement, espérant ainsi contourner les étapes électroniques lentes. Le défi a été que, si la lumière est rapide, elle est aussi difficile à contrôler avec la précision nécessaire pour des tâches complexes, et le matériel du monde réel est rarement parfait.

Une équipe de chercheurs a maintenant démontré une nouvelle façon de combler le fossé entre le flux continu de la lumière et le langage discret et binaire des ordinateurs numériques. Ils ont construit un système qui prend une image, laisse la lumière passer à travers une série de couches spécialement conçues, et produit une réponse numérique directe sans jamais avoir besoin de reconstruire l'image originale ou d'exécuter un programme logiciel lourd. Au lieu d'essayer de faire une copie parfaite de l'image, le système trie l'énergie lumineuse dans des zones spécifiques. En comparant la quantité de lumière qui arrive dans une zone par rapport à une autre, la machine décide si un bit d'information spécifique est un zéro ou un un. Cette approche, que les chercheurs appellent l'informatique « Light-Field-to-Bits » (du champ lumineux aux bits), a réussi à transformer des motifs visuels en codes binaires à quatre chiffres avec une grande précision, même lorsque les images d'entrée étaient déformées ou que l'équipement était imparfait.

Le cœur de ce travail est une machine hybride qui combine l'optique physique et l'électronique numérique. Imaginez un faisceau de lumière transportant une image, telle qu'un chiffre ou un panneau de signalisation, entrant dans le système. Cette lumière frappe d'abord une couche physique faite d'un matériau spécial capable de courber les ondes lumineuses de manière précise. Tandis que la lumière voyage dans l'air vers l'étape suivante, elle se propage et interagit avec une seconde couche. Dans l'expérience, la première couche était un dispositif physique réel, tandis que la seconde était simulée par un ordinateur pour permettre des tests flexibles. La lumière finit par atterrir sur un capteur qui agit comme une caméra, capturant l'endroit où l'énergie s'est rassemblée. L'innovation clé ne réside pas dans la prise de photo du résultat, mais dans la manière dont la lumière est organisée. Le système est conçu pour canaliser la lumière dans huit points spécifiques sur le capteur, disposés en quatre paires. Pour chaque paire, le système vérifie simplement quel point est le plus brillant. Si le point en haut à gauche est plus brillant que celui en bas à droite, il enregistre un « un » ; si l'inverse est vrai, il enregistre un « zéro ». Cette comparaison simple se produit quatre fois, produisant un code binaire de quatre chiffres qui représente l'entrée originale.

Pour faire fonctionner cela dans le monde réel, les chercheurs ont dû résoudre un problème délicat : le matériel réel n'est jamais aussi parfait que les modèles informatiques utilisés pour sa conception. Les lentilles sont légèrement désalignées, les sources de lumière ne sont pas parfaitement uniformes, et les matériaux présentent de minuscules défauts. Si le système n'avait été entraîné que sur une simulation informatique parfaite, il échouerait lors de sa construction avec des pièces réelles. L'équipe a résolu cela en créant un processus d'entraînement « caméra-dans-la-boucle » (camera-in-the-loop). Ils ont construit le dispositif physique, puis ont utilisé un ordinateur pour apprendre comment le véritable dispositif se comportait réellement. L'ordinateur observait la lumière alors qu'elle traversait la machine réelle, enregistrait les résultats, puis ajustait les paramètres de la couche physique pour corriger les erreurs. C'était un cycle continu de tests et d'ajustements, permettant à la machine d'apprendre à composer avec ses propres imperfections. Cette méthode a permis de s'assurer que le système pouvait gérer le bruit et les distorsions du monde réel, plutôt que de simplement fonctionner dans un environnement idéalisé.

Les résultats de cette expérience ont été robustes. Les chercheurs ont testé le système avec seize symboles hexadécimaux différents, qui sont comme les chiffres de zéro à neuf et les lettres de A à F. Ils l'ont également testé avec des images de panneaux de signalisation, qui sont plus complexes et variées. Dans les deux cas, le système a réussi à convertir les images en les bons codes à quatre bits. Lorsque les images d'entrée étaient secouées, pivotées ou floues pour simuler des conditions réelles, le système obtenait toujours la bonne réponse plus de 93 pour cent du temps. Même lorsque les chercheurs ont simulé un capteur de caméra avec de nombreux pixels morts et une conversion numérique de faible qualité, le système a maintenu sa précision. Cela suggère que la méthode n'est pas fragile ; elle peut tolérer une dégradation importante du matériel sans perdre sa capacité à prendre des décisions.

L'un des aspects les plus frappants de ce travail est la vitesse à laquelle la lumière effectue ses calculs. Alors que les parties électroniques du système devaient attendre que la caméra lise l'image et que l'ordinateur traite l'étape suivante, la lumière elle-même a effectué le plus gros du travail presque instantanément. Les chercheurs ont calculé que la partie optique du processus, qui implique le trajet de la lumière sur une courte distance et sa courbure à travers les couches, équivaut à effectuer plus de 51 milliards d'opérations mathématiques en un peu plus d'un milliardième de seconde. C'est une quantité massive de travail accomplie avec presque aucune énergie et aucun délai. La partie électronique du système, en revanche, n'a eu qu'à effectuer un travail minime pour comparer les niveaux de lumière dans les huit points. Cette division du travail permet au système de gérer des données de haute dimension de manière très efficace, en déléguant la partie la plus difficile du travail à la lumière elle-même.

Les chercheurs précisent avec prudence que leur configuration actuelle est une preuve de concept, construite sur une table avec des composants volumineux comme des lasers et des caméras. La lumière a dû parcourir une distance de vingt centimètres, et le système était limité par la vitesse à laquelle la caméra et le dispositif de modulation de la lumière pouvaient rafraîchir leurs images. Cependant, les principes qu'ils ont démontrés sont extensibles. À l'avenir, ces composants volumineux pourraient être remplacés par de minuscules puces optiques plates et de petits réseaux de détecteurs de lumière. Si le système était miniaturisé, il pourrait potentiellement fonctionner à des vitesses limitées uniquement par la vitesse de la lumière, plutôt que par la vitesse de la caméra. L'objectif ultime est de créer un dispositif capable de se loger sur un robot ou un drone, convertissant instantanément ce qu'il voit en décisions numériques sans le retard et le coût énergétique du calcul traditionnel.

Ce travail représente une étape importante vers la fusion du monde physique de la lumière et du monde numérique des bits. En montrant que la lumière peut être guidée pour prendre des décisions directes et fiables, les chercheurs ont ouvert une voie vers des machines plus rapides et plus efficaces. Le système ne cherche pas à recréer l'image ou à comprendre la scène comme le ferait un humain ; au lieu de cela, il utilise la physique de la lumière pour trier l'information dans un format que les systèmes numériques peuvent utiliser immédiatement. Cette cartographie directe de la lumière vers les bits offre une solution prometteuse pour les applications où la vitesse et l'efficacité énergétique sont critiques, telles que les véhicules autonomes ou la télédétection. La capacité d'entraîner le système pour qu'il fonctionne avec un matériel imparfait suggère que de tels dispositifs pourraient être construits et déployés dans des environnements réels, et non seulement dans des laboratoires contrôlés. À mesure que la technologie mûrira, elle pourrait fondamentalement changer la façon dont les machines perçoivent et interagissent avec le monde qui les entoure.