Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

현대 사회에서 우리의 기기들은 더 적은 시간과 에너지로 더 많은 일을 수행하도록 끊임없이 요구받고 있습니다. 자율주행 자동차부터 스마트 카메라에 이르기까지, 기계는 시각 정보를 즉각적으로 처리해야 합니다. 전통적인 컴퓨터는 빛을 받아 전기로 바꾼 뒤, 그 전기를 이용해 복잡한 계산을 수행함으로써 이를 처리합니다. 빛을 디지털 숫자로 변환하고 다시 되돌리는 이 과정은 병목 현상을 일으켜 속도를 늦추고 전력을 소모하게 만듭니다. 하지만 빛 자체는 매우 빠르게 움직이며 방대한 양의 정보를 동시에 전달할 수 있습니다. 과학자들은 전자적인 단계를 우회하기 위해 빛을 이용해 직접 수학적 계산을 수행하는 컴퓨터를 구축하고자 오랫동안 노력해 왔습니다. 문제는 빛이 빠르기는 하지만, 복잡한 작업을 수행하는 데 필요한 정밀도로 제어하기가 어렵다는 점과 실제 하드웨어가 결코 완벽하지 않다는 점이었습니다.

한 연구팀은 이제 빛의 연속적인 흐름과 디지털 컴퓨터의 이산적인 이진 언어 사이의 간극을 메울 수 있는 새로운 방법을 입증했습니다. 그들은 이미지를 입력받아 특수 설계된 일련의 층을 통과하게 함으로써, 원래의 사진을 재구성하거나 무거운 소프트웨어 프로그램을 실행할 필요 없이 직접적인 디지털 답을 내놓는 시스템을 구축했습니다. 이 시스템은 완벽한 이미지를 복제하려고 시도하는 대신, 빛 에너지를 특정 구역으로 분류합니다. 한 구역에 도달한 빛의 양을 다른 구 구역과 비교함으로써, 기계는 특정 비트의 정보가 0인지 1인지 결정합니다. 연구진이 "라이트 필드 투 비츠(Light-Field-to-Bits)" 컴퓨팅이라 부르는 이 접근 방식은, 입력 이미지가 왜곡되거나 장비가 불완전한 상황에서도 높은 정확도로 시각적 패턴을 4자리 이진 코드로 성공적으로 변환했습니다.

이 작업의 핵심은 물리적 광학과 디지털 전자 공학을 결합한 하이브리드 머신입니다. 빛이 숫자나 교통 표지판 같은 그림을 실은 빔이 되어 시스템에 들어오는 모습을 상상해 보십시오. 이 빛은 먼저 빛의 파동을 정밀하게 굴절시킬 수 있는 특수 재료로 만들어진 물리적 층에 부딪힙니다. 빛이 다음 단계로 공기 중을 이동함에 따라 퍼져 나가며 두 번째 층과 상호작용합니다. 실험에서 첫 번째 층은 실제 물리적 장치였던 반면, 두 번째 층은 유연한 테스트를 위해 컴퓨터로 시뮬레이션되었습니다. 마지막으로 빛은 에너지가 모이는 곳을 포착하는 카메라와 같은 센서에 도달합니다. 혁신의 핵심은 결과의 사진을 찍는 것이 아니라 빛이 어떻게 조직되는지에 있습니다. 시스템은 센서 위의 8개 특정 지점으로 빛을 모으도록 설계되었으며, 이 지점들은 4개의 쌍으로 배열되어 있습니다. 각 쌍에 대해 시스템은 단순히 어느 지점이 더 밝은지를 확인합니다. 만약 왼쪽 상단 지점이 오른쪽 하단 지점보다 밝으면 "1"로 기록하고, 그 반대의 경우 "0"으로 기록합니다. 이 간단한 비교가 네 번 반복되어 원래의 입력을 나타내는 4자리 이진 코드가 생성됩니다.

이를 현실 세계에서 작동시키기 위해 연구진은 까다로운 문제를 해결해야 했습니다. 실제 하드웨어는 컴퓨터 모델처럼 결코 완벽하지 않다는 점입니다. 렌즈는 약간 어긋나 있고, 광원은 완벽하게 균일하지 않으며, 재료에는 미세한 결함이 있습니다. 만약 시스템이 완벽한 컴퓨터 시뮬레이션만으로 학습된다면, 실제 부품으로 제작되었을 때 실패할 것입니다. 연구팀은 "카메라 인 더 루프(camera-in-the-loop)" 학습 과정을 통해 이 문제를 해결했습니다. 그들은 물리적 장치를 구축한 후, 컴퓨터를 사용하여 실제 장치가 실제로 어떻게 작동하는지 학습시켰습니다. 컴퓨터는 실제 기계 내에서 빛이 움직이는 것을 관찰하고 결과를 기록한 뒤, 오류를 수정하기 위해 물리적 층의 설정을 조정했습니다. 이는 기계가 자신의 결함을 극복하며 학습할 수 있도록 하는 지속적인 테스트와 미세 조정의 순환 과정이었습니다. 이 방법은 시스템이 이상적인 환경이 아닌 실제 세계의 노이즈와 왜곡을 처리할 수 있도록 보장했습니다.

실험 결과는 견고했습니다. 연구진은 0부터 9까지의 숫자와 A부터 F까지의 문자를 포함하는 16가지의 16진수 기호를 사용하여 시스템을 테스트했습니다. 또한 더 복잡하고 다양한 형태인 교통 표지판 이미지로도 테스트를 진행했습니다. 두 경우 모두 시스템은 이미지를 올바른 4비트 코드로 성공적으로 변환했습니다. 입력 이미지가 흔들리거나 회전하거나 흐릿해지는 등 실제 환경을 시뮬레이션한 조건에서도 시스템은 93% 이상의 높은 정확도로 정답을 맞혔습니다. 연구진이 카메라 센서에 많은 데드 픽셀(dead pixels)이 있고 디지털 변환 품질이 낮은 상황을 시뮬레이션했을 때도 시스템은 정확도를 유지했습니다. 이는 이 방식이 취약하지 않으며, 상당한 수준의 하드웨어 저하에도 의사결정 능력을 잃지 않고 견딜 수 있음을 시사합니다.

이 연구의 가장 놀라운 측면 중 하나는 빛이 계산을 수행하는 속도입니다. 전자 부품들이 이미지를 읽고 컴퓨터가 다음 단계를 처리하기를 기다려야 하는 동안, 빛 자체는 거의 즉각적으로 무거운 계산 작업을 수행했습니다. 연구진은 빛이 짧은 거리를 이동하며 층을 통과하는 광학적 과정이 10억 분의 1초가 조금 넘는 시간 동안 510억 번 이상의 수학적 연산을 수행하는 것과 맞먹는다고 계산했습니다. 이는 거의 에너지 소비와 지연 없이 수행되는 엄청난 양의 작업입니다. 반면, 전자 시스템은 8개 지점의 빛 밝기를 비교하는 아주 적은 양의 작업만을 수행하면 되었습니다. 이러한 역할 분담을 통해 시스템은 고차원 데이터를 매우 효율적으로 처리하며, 가장 어려운 작업의 짐을 빛 자체에게 넘길 수 있습니다.

연구진은 현재의 설정이 테이블 위에 레이저와 카메라 같은 크고 육중한 부품들을 올려놓은 개념 증명 단계임을 주의 깊게 명시하고 있습니다. 빛은 20cm의 거리를 이동해야 했으며, 시스템은 카메라와 빛을 조절하는 장치가 이미지를 갱신하는 속도에 의해 제한되었습니다. 그러나 그들이 입증한 원리는 확장 가능합니다. 향후 이러한 커다란 부품들은 아주 작은 평면형 광학 칩과 작은 광 검출기 배열으로 대체될 수 있습니다. 만약 시스템이 소형화된다면, 카메라의 속도가 아닌 빛의 속도에 의해서만 제한되는 속도로 작동할 수 있을 것입니다. 궁극적인 목표는 로봇이나 드론에 탑재되어, 전통적인 컴퓨팅의 지연 시간과 에너지 비용 없이 자신이 보는 것을 즉각적으로 디지털 결정으로 변환하는 장치를 만드는 것입니다.

이 작업은 빛의 물리적 세계와 비트의 디지털 세계를 결합하는 데 있어 중요한 진전을 의미합니다. 빛이 직접적이고 신뢰할 수 있는 결정을 내리도록 유도할 수 있음을 보여줌으로써, 연구진은 더 빠르고 효율적인 기계를 향한 길을 열었습니다. 이 시스템은 인간처럼 이미지를 재현하거나 장면을 이해하려고 노력하는 대신, 빛의 물리학을 사용하여 정보를 디지털 시스템이 즉시 사용할 수 있는 형식으로 분류합니다. 이러한 빛에서 비트로의 직접적인 매핑은 자율주행 자동차나 원격 탐사와 같이 속도와 에너지 효율이 중요한 응용 분야에 유망한 해결책을 제공합니다. 불완전한 하드웨어에서도 작동하도록 시스템을 훈련할 수 있다는 능력은, 이러한 장치가 통제된 실험실뿐만 아니라 실제 환경에서도 구축되고 배치될 수 있음을 시사합니다. 기술이 성숙해짐에 따라, 이는 기계가 세상을 인식하고 상호작용하는 방식을 근본적으로 변화시킬 수 있습니다.