Robust Multi-Sensor Fusion via Memristive Deep Reservoir Computing With Differential-Pair Fault Tolerance

자율주행 자동차가 비 내리는 도시의 거리를 주행하거나, 드론이 돌풍이 부는 조건에서 착륙 패드에 착륙하려고 시도하는 모습을 상상해 보십시오. 이 기계들은 카메라, 레이더 및 기타 센서로부터 들어오는 지속적인 데이터 스트림에 의존하여 순식간에 결정을 내립니다. 만약 하나의 센서가 고장 나거나 왜곡된 신호를 보내면, 전체 시스템은 혼란에 빠질 수 있으며 이는 잠재적으로 재앙으로 이어질 수 있습니다. 수년 동안 엔지니어들은 나쁜 데이터를 무시하도록 학습할 수 있는 복잡한 디지털 두뇌를 구축함으로써 이 문제를 해결하려 노력해 왔지만, 이러한 시스템은 종종 소형 기기에는 너무 많은 전력을 소비하며, 한 번도 경험하지 못한 결함에 직면했을 때 어려움을 겪습니다. 새로운 접근 방식은 하드웨어 자체에서 해결책을 찾고자 하며, 이를 위해 멤리스터(memristor)라고 불리는 전자 부품을 사용합니다. 이 미세한 장치들은 정보를 저장하는 동시에 처리할 수 있어 생물학적 뉴런의 작동 방식을 모방하며, 이는 매우 효율적입니다. 그러나 물리적 부품인 만큼, 멤리스터 역시 제조상의 결함이 발생하기 쉽고 시간이 지남에 따라 마모되어 특정 상태에 고착되거나 예측 불가능하게 변동될 수 있습니다. 이러한 본질적인 불안정성은 오랫동안 이들을 실제 세계의 안전 필수 기계에 사용하는 데 있어 장벽이 되어 왔습니다.

후난 대학교와 후난 경찰 아카데미의 연구진은 이러한 취약한 전자 시스템을 실제 사용이 가능할 정도로 견고하게 만드는 새로운 방법을 개발했습니다. 그들은 컴퓨터가 내부 구성 요소에 결함이 있더라도 학습하고 적응할 수 있게 하는 프레임워크를 만들었습니다. 그들 연구의 핵심은 리저버 컴퓨팅(reservoir computing)이라는 기술로, 이는 고정된 가중치를 가진 거대하고 무작위로 연결된 네트워크를 사용하여 자동차 카메라의 변화하는 시야나 드론의 변화하는 고도와 같은 시간 기반 정보를 처리합니다. 연구진은 모든 고장 난 하드웨어 부품을 수리하려고 노력하는 대신, 오류를 예측하고 이를 세 가지 단계에서 보상하도록 설계했습니다: 시스템이 구축되기 전, 처음 전원이 켜질 때, 그리고 작동하는 동안입니다.

연구팀은 하드웨어에 정보가 저장되는 방식이 시스템의 오류 생존력에 얼마나 큰 차이를 만드는지 발견했습니다. 그들은 단일 멤리스터를 사용하여 값을 나타내는 방법과, 한 쌍의 멤리스터가 함께 작동하여 차이를 나타내는 두 가지 방법을 비교했습니다. 그 결과, 두 방법 모두 부품이 고장 났을 때 평균적인 성능 저하를 겪지만, 쌍을 이용한 방식이 훨씬 더 안정적이라는 것을 발견했습니다. 단일 부품이 고착되면 그 부품이 보유해야 할 값을 완전히 망가뜨릴 수 있습니다. 하지만 두 구성 요소가 한 쌍으로 작동할 경우, 하나가 고착되더라도 다른 하나가 이를 보완하여 전체 값이 원래 있어야 할 값에 훨씬 가깝게 유지될 수 있습니다. 이러한 데이터 인코딩 방식의 단순한 변화는 결함 있는 부품들로 인한 혼란을 크게 줄여줍니다.

이 시스템을 실제로 작동시키기 위해 연구진은 3단계 안전망을 구축했습니다. 첫째, 설계 단계에서 네트워크의 내부 설정을 조정하여 일부 부품이 의도보다 약하거나 강할 것을 예상하도록 함으로써, 평균적인 오류량을 처리할 수 있도록 시스템을 사전 보정했습니다. 둘째, 시스템에 전원이 켜질 때, 자신의 특정 하드웨어가 어떻게 작동하는지 정확히 측정하는 빠른 자가 점검을 실행하여 안정성을 유지하기 위한 미세 조정을 수행합니다. 마지막으로, 기계가 작동하는 동안에는 수신되는 데이터를 바탕으로 스스로의 의사 결정 규칙을 지속적으로 업데이트하여, 실시간으로 발생하는 느린 변화나 예기치 않은 글리치(glitch)에 적응할 수 있도록 합니다. 이러한 사전 계획, 자가 점검, 그리고 지속적인 학습의 결합은 상당 부분의 하드웨어가 결함이 있더라도 높은 정확도를 유지할 수 있게 합니다.

연구진은 이 접근 방식을 두 가지 까다로운 시나리오, 즉 자율주행과 드론 착륙에 적용하여 테스트했습니다. 그들은 실제 주행 시퀀스에서 추출하여 실험용 전압 신호로 변환된 데이터셋을 사용하여 자율주행 자동차를 시뮬레이션했습니다. 또한 바람의 돌풍과 지면 효과가 포함된 합성 데이터셋을 사용하여 고정익 항공기에 착륙하는 드론을 시뮬레이션했습니다. 주행 테스트에서 시스템은 자동차나 보행자와 같은 물체를 식별해야 했습니다. 드론 테스트에서는 안전하게 착륙하기 위해 필요한 정밀한 고도를 계산해야 했습니다. 연구진이 부품의 20%가 고착되거나 고장 난 상황을 시뮬레이션하기 위해 높은 비율의 하드웨어 결함을 도입했을 때, 그들의 새로운 방식은 놀라운 정밀도로 시스템을 작동하게 유지했습니다. 주행 시나리오에서 오류율은 거의 30%에서 2% 미만으로 떨어졌습니다. 드론 착륙의 경우, 결함이 있는 시스템에서는 고도 오차가 최대 26미터에 달할 수 있었으나, 0.59미터로 줄어들었습니다.

이러한 결과는 제안된 프레임워크가 단순히 이론적인 연습이 아니라, 실제 세계에서 작동할 수 있는 신뢰할 수 있고 에너지 효율적인 기계를 만들기 위한 실행 가능한 경로임을 시사합니다. 연구는 시스템을 재학습시키거나 추가적인 하드웨어를 더함으로써 오류를 해결하려 했던 기존 기술들보다 이들의 방식이 더 뛰어난 성능을 보였음을 보여주었습니다. 더 스마트한 데이터 인코딩 방식과 계층적인 오류 수정 접근법을 결합함으로써, 연구진은 완벽한 하드웨어 없이도 기능할 수 있는 복잡하고 결함 허용적인(fault-tolerant) 시스템을 구축하는 것이 가능하다는 것을 입증했습니다. 이는 부품의 실패에도 불구하고 계속 작동할 수 있는 능력이 안전한 여정과 파멸적인 실패를 가르는 차이가 될 수 있는 자율 기술의 미래에 있어 중요한 진전입니다.