MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor

당신의 기기가 사진을 전혀 찍지 않고도 당신을 "볼" 수 있는 세상을 상상해 보십시오. 이것은 가장 작고 에너지를 많이 소비하는 기기들에 똑똑하고 학습하는 알고리즘을 구겨 넣는 데 전념하는 과학의 한 분야인 TinyML의 영역입니다. 보통 컴퓨터가 새로운 손동작을 인식하는 것과 같이 새로운 것을 배우려면 클라우드에 있는 거대하고 강력한 서버에 연결되어 있어야 합니다. 이는 새로운 단어를 배울 때마다 초지능적인 사서에게 편지를 보내는 것과 같습니다. 시간과 에너지가 들고 지속적인 연결이 필요합니다. 하지만 만약 당신의 기기가 아주 적은 양의 메모리와 전력만을 사용하여, 그 자리에 있는 그대로 스스로 학습할 수 있다면 어떨까요? 이것이 바로 **온디바이스 학습(on-device learning)**의 과제입니다. 목표는 인터넷에 연결되거나 과도한 계산으로 인해 방전되지 않고도 새로운 환경에 적응하거나 새로운 기술을 배울 수 있는 센서를 만드는 것입니다. 핵심 아이디어는 센서의 "두뇌"를 매우 효율적으로 만들어, 데이터를 외부로 보내지 않고도 즉각적으로 자신의 지식을 업데이트하여 프라이버시를 보호하는 것입니다.

여기, 정확히 이 일을 수행하는 영리하고 작은 스마트 센서인 MAUPITI가 있습니다. MAUPITI를 16x16 열 감지 픽셀(적외선 어레이)과 초효율적인 마이크로컨트롤러로 구성된 작고 프라이버시를 중시하는 보안 요정이라고 생각하십시오. 당신이 누구인지 드러낼 수 있는 고해도 사진을 찍는 대신, 이 센서는 그저 사람들의 따뜻하고 흐릿한 형체와 움직임을 포착합니다. 연구진이 해결하고자 했던 큰 문제는 이 센서가 제작된 후에 클에도 데이터를 보내거나 작은 메모리를 다 써버리지 않고도 새로운 자세나 손동작을 가르치는 방법이었습니다.

이 논문은 **프로토타입 기반 학습(prototype-based learning)**이라는 방법을 소개합니다. 로봇에게 다양한 종류의 과일을 인식하도록 가르치는 상황을 상상해 보십시오. 로봇에게 수천 장의 사과와 오렌지 사진을 보여주며 모든 세부 사항을 암기하게 강요하는 대신(이는 거대 AI에서 사용되는 무거운 "역전파" 방식과 같습니다), 단 하나의 완벽한 "프로토타입" 사과와 하나의 완벽한 "프로토타입" 오렌지를 보여주는 것입니다. 그러면 새로운 과일이 나타났을 때, 로봇은 단순히 "이것이 내 사과 프로토타입과 더 닮았나, 아니면 오렌지 프로토타입과 더 닮았나?"라고 묻습니다. 이것이 최근접 클래스 평균(Nearest Class Mean, NCM) 접근 방식입니다. MAUPITI 센서는 작은, 사전 훈련된 "인코더"(열의 형태를 단순한 숫자로 변환하는 번역기)를 사용한 다음, 각 자세나 손동작에 대한 이러한 단순한 "프로토타입"을 저장합니다.

여기에 마법이 있습니다. 센서가 새로운 자세를 배워야 할 때, 전체 두뇌를 다시 훈련할 필요가 없습니다. 센서는 단순히 새로운 자세의 평균 형태를 계산하고 이를 새로운 프로토타입으로 저장하기만 하면 됩니다. 논문은 이 방식이 MAUPITI 하드웨어에서 놀라울 정도로 잘 작동한다는 것을 보여줍니다. 두 가지 서로 다른 데이터셋(다섯 가지 인간의 자세(예: 서 있기 또는 팔 들기)를 인식하는 데이터셋과 아홉 가지 손동작(예: 주먹 쥐기 또는 '샤카' 사인)을 인식하는 데이터셋)을 이용한 테스트에서, 이 센서는 전통적인 고성능 방식과 거의 맞먹는 정확도를 달-성했습니다.

연구진은 이 방법이 믿기지 않을 정도로 효율적이라는 것을 발견했습니다. 이 센서는 총 32kB의 메모리(명령어용 16kB, 데이터용 16kB)만을 가지고 있는데, 이는 스마트폰과 비교하면 매우 미미한 수준입니다. 그럼에도 불구하고, 이 프로토타입 시스템을 사용함으로써 단 몇 개의 예시만으로(단 하나만으로도 가능하지만, 네 개가 가장 효과적이었습니다) 새로운 클래스를 학습할 수 있었으며, 의사 결정에 걸리는 전체 시간의 0.29% 미만의 시간 안에 메모리를 업데이트할 수 있었습니다. 이는 센서가 지연 시간 거의 없이 실시간으로 새로운 제스처를 학습할 수 있음을 의미합니다.

결정적으로, 이 논문은 효과적으로 학습하기 위해 데이터를 클라우드로 보내거나 복잡하고 메모리를 많이 사용하는 "리플레이 버퍼"(나중에 다시 배우기 위해 오래된 사진을 저장해 두는 곳)를 사용할 필요가 없다는 점을 입증했습니다. 그들은 "역전파"(AI를 훈련시키는 표준적이고 에너지를 많이 소비하는 방식)를 완전히 건너뛸 수 있다는 것을 보여주었습니다. 대신, 새로운 형태의 "평균"을 업데이트하는 것만으로도 센서는 빠르고, 프라이버시를 보호하며, 적응력을 유지할 수 있습니다. 이 연구는 이 "스마트 센서"가 스스로 지속적인 학습을 처리할 수 있음을 확인시켜 주며, 이는 당신의 주머니 속이나 벽면에 부착되어 진화할 수 있는 미래형 프라이버시 보호 장치의 강력한 도구가 될 수 있음을 시사합니다.