Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

No mundo moderno, nossos dispositivos são constantemente solicitados a fazer mais com menos tempo e menos energia. De carros autônomos a câmeras inteligentes, as máquinas precisam processar informações visuais instantaneamente. Os computadores tradicionais lidam com isso captando a luz, transformando-a em eletricidade e, em seguida, executando cálculos complexos sobre essa eletricidade. Esse processo de converter luz em números digitais e vice-versa cria um gargalo, retardando as coisas e consumindo energia. A própria luz, no entanto, move-se incrivelmente rápido e pode carregar vastas quantidades de informação simultaneamente. Cientistas há muito tentam construir computadores que usem a luz para fazer os cálculos diretamente, esperando contornar as etapas eletrônicas lentas. O desafio tem sido que, embora a luz seja rápida, ela também é difícil de controlar com a precisão necessária para tarefas complexas, e o hardware do mundo real raramente é perfeito.

Uma equipe de pesquisadores demonstrou agora uma nova maneira de unir a lacuna entre o fluxo contínuo da luz e a linguagem discreta e binária dos computadores digitais. Eles construíram um sistema que recebe uma imagem, permite que a luz passe por uma série de camadas especialmente projetadas e produz uma resposta digital direta sem nunca precisar reconstruir a imagem original ou executar um programa de software pesado. Em vez de tentar fazer uma cópia perfeita da imagem, o sistema classifica a energia luminosa em zonas específicas. Ao comparar quanta luz cai em uma zona versus outra, a máquina decide se um bit específico de informação é um zero ou um um. Esta abordagem, que os pesquisadores chamam de computação "Light-Field-to-Bits" (Campo de Luz para Bits), transformou com sucesso padrões visuais em códigos binários de quatro dígitos com alta precisão, mesmo quando as imagens de entrada estavam distorcidas ou o equipamento era imperfeito.

O cerne deste trabalho é uma máquina híbrida que combina óptica física com eletrônica digital. Imagine um feixe de luz carregando uma imagem, como um número ou uma placa de trânsito, entrando no sistema. Essa luz primeiro atinge uma camada física feita de um material especial que pode dobrar as ondas de luz de maneiras precisas. À medida que a luz viaja pelo ar para a próxima etapa, ela se espalha e interage com uma segunda camada. No experimento, a primeira camada era um dispositivo físico real, enquanto a segunda foi simulada por um computador para permitir testes flexíveis. A luz finalmente cai em um sensor que atua como uma câmera, capturando onde a energia se acumulou. A inovação fundamental não está em tirar uma foto do resultado, mas em como a luz é organizada. O sistema é projetado para canalizar a luz para oito pontos específicos no sensor, organizados em quatro pares. Para cada par, o sistema simplesmente verifica qual ponto é mais brilhante. Se o ponto superior esquerdo for mais brilhante que o inferior direito, ele registra um "um"; se o oposto for verdadeiro, ele registra um "zero". Essa comparação simples acontece quatro vezes, resultando em um código binário de quatro dígitos que representa a entrada original.

Para fazer isso funcionar no mundo real, os pesquisadores tiveram que resolver um problema complicado: o hardware real nunca é tão perfeito quanto os modelos de computador usados para o seu design. Lentes estão ligeiramente desalinhadas, fontes de luz não são perfeitamente uniformes e materiais possuem pequenas falhas. Se o sistema fosse treinado apenas em uma simulação de computador perfeita, ele falharia ao ser construído com partes reais. A equipe resolveu isso criando um processo de treinamento "camera-in-the-loop" (câmera no loop). Eles construíram o dispositivo físico e então usaram um computador para aprender como o dispositivo real realmente se comportava. O computador observava a luz enquanto ela se movia através da máquina real, registrava os resultados e, então, ajustava as configurações da camada física para corrigir quaisquer erros. Foi um ciclo contínuo de teste e ajuste, permitindo que a máquina aprendesse a trabalhar em torno de suas próprias imperfeições. Este método garantiu que o sistema pudesse lidar com o ruído e a distorção do mundo real, em vez de apenas funcionar em um ambiente idealizado.

Os resultados deste experimento foram robustos. Os pesquisadores testaram o sistema com dezesseis símbolos hexadecimais diferentes, que são como os números zero a nove e as letras de A a F. Eles também testaram o sistema com imagens de placas de trânsito, que são mais complexas e variadas. Em ambos os casos, o sistema converteu com sucesso as imagens nos códigos de quatro bits corretos. Quando as imagens de entrada foram sacudidas, rotacionadas ou borradas para simular condições do mundo real, o sistema ainda obteve a resposta correta mais de 93 por cento das vezes. Mesmo quando os pesquisadores simularam um sensor de câmera com muitos pixels mortos e conversão digital de baixa qualidade, o sistema manteve sua precisão. Isso sugere que o método não é frágil; ele pode tolerar uma degradação significativa de hardware sem perder sua capacidade de tomar decisões.

Um dos aspectos mais impressionantes deste trabalho é a velocidade com que a luz realiza seus cálculos. Enquanto as partes eletrônicas do sistema tinham que esperar que a câmera lesse a imagem e o computador processasse o próximo passo, a própria luz realizou o trabalho pesado quase instantaneamente. Os pesquisadores calcularam que a parte óptica do processo, que envolve a luz viajando uma curta distância e dobrando através das camadas, é equivalente a realizar mais de 51 bilhões de operações matemáticas em pouco mais de um bilionésimo de segundo. Este é um trabalho massivo realizado com quase nenhuma energia e sem atraso. A parte eletrônica do sistema, por outro lado, só teve que realizar uma pequena quantidade de trabalho para comparar os níveis de luz nos oito pontos. Essa divisão de tarefas permite que o sistema lide com dados de alta dimensão de forma muito eficiente, transferindo a parte mais difícil do trabalho para a própria luz.

Os pesquisadores fazem questão de notar que sua configuração atual é uma prova de conceito, construída sobre uma mesa com componentes grandes e volumosos, como lasers e câmeras. A luz teve que viajar uma distância de vinte centímetros, e o sistema foi limitado pela velocidade com que a câmera e o dispositivo de modulação de luz podiam atualizar suas imagens. No entanto, os princípios que eles demonstraram são escaláveis. No futuro, esses componentes grandes poderiam ser substituídos por pequenos chips ópticos planos e pequenos arranjos de detectores de luz. Se o sistema fosse miniaturizado, ele poderia potencialmente operar em velocidades limitadas apenas pela velocidade da luz, e não pela velocidade da câmera. O objetivo final é criar um dispositivo que possa estar em um robô ou em um drone, convertendo instantaneamente o que vê em decisões digitais sem o atraso e o custo energético do computador tradicional.

Este trabalho representa um passo significativo para a fusão do mundo físico da luz com o mundo digital dos bits. Ao mostrar que a luz pode ser guiada para tomar decisões diretas e confiáveis, os pesquisadores abriram um caminho para máquinas mais rápidas e eficientes. O sistema não tenta recriar a imagem ou entender a cena da maneira que um humano faz; em vez disso, utiliza a física da luz para classificar a informação em um formato que os sistemas digitais possam usar imediatamente. Esse mapeamento direto da luz para os bits oferece uma solução promissora para aplicações onde a velocidade e a eficiência energética são críticas, como em veículos autônomos ou sensoriamento remoto. A capacidade de treinar o sistema para trabalhar com hardware imperfeito sugere que tais dispositivos poderiam ser construídos e implantados em ambientes do mundo real, não apenas em laboratórios controlados. À medida que a tecnologia amadurece, ela pode mudar fundamentalmente a forma como as máquinas percebem e interagem com o mundo ao seu redor.