TinyNav: End-to-End TinyML for Real-Time Autonomous Navigation on Microcontrollers

이 논문은 ESP32 마이크로컨트롤러에서 실시간으로 자율 항해가 가능하도록 23k 파라미터의 경량화된 2D 합성곱 신경망을 개발하여, 외부 컴퓨팅 자원 없이도 저비용 로봇에 반응형 자율 제어를 구현하는 TinyNav 시스템을 제시합니다.

핵심

🤖 1. 문제 상황: "무거운 두뇌 vs 가벼운 몸"

지금까지 로봇이 스스로 길을 찾게 하려면, 보통 무겁고 비싼 고성능 컴퓨터 (예: 노트북이나 서버) 를 등에 지고 다녀야 했습니다. 마치 거대한 백팩을 멘 등산객처럼요. 이 백팩에는 '지도 (SLAM)'를 그리는 복잡한 계산이 들어있어 무겁고 비쌉니다.

하지만 연구자들은 **"왜 로봇이 무거운 백팩을 메고 다녀야 하지?"**라고 생각했습니다. 대신 ESP32라는 아주 작고 저렴한 칩 (마이크로컨트롤러) 하나만 달아서 로봇을 만들고 싶었습니다. 문제는 이 칩이 기억력 (메모리) 이 짧고 계산 능력이 약하다는 점입니다. 마치 초등학교 1 학년 학생에게 대학 수준의 미적분 문제를 풀게 하는 것과 비슷하죠.

🧠 2. TinyNav 의 해결책: "작지만 똑똑한 두뇌"

연구팀은 이 작은 칩에 들어갈 수 있는 **최소한의 두뇌 (AI 모델)**를 개발했습니다.

• 눈 (ToF 센서): 로봇은 카메라 대신 **'거리 측정 눈 (ToF 센서)'**을 달았습니다. 이 눈은 100x100 개의 작은 점으로 주변 벽까지의 거리를 봅니다. 마치 점묘화처럼 주변을 인식하는 거죠.
• 기억 (슬라이딩 윈도우): 로봇은 과거를 기억할 수 있는 긴 기억 (LSTM 같은 복잡한 기술) 이 없습니다. 대신 최근 20 초간의 점화 그림 (프레임) 을 한 장의 사진처럼 겹쳐서 봅니다. 마치 만화책의 여러 장을 겹쳐서 움직임을 보는 것처럼 말이죠.
• 학습 (TinyML): 이 작은 칩이 학습할 수 있도록, 복잡한 수식을 **간단한 정수 계산 (Quantization)**으로 바꿨습니다. 마치 복잡한 요리 레시피를 간단하고 빠른 '즉석 요리' 버전으로 바꾸는 것과 같습니다.

🏎️ 3. 로봇의 행동: "탱크처럼 달리는 지능"

이 로봇은 일반 차처럼 앞바퀴를 꺾는 방식이 아니라, 탱크처럼 양쪽 바퀴를 다르게 돌려서 움직입니다.

• 조향 (Steering): 벽이 가까워지면 반대쪽 바퀴를 더 빠르게 돌려서 피합니다.
• 속도 (Throttle): 길이 막히면 속도를 줄이고, 길이 넓으면 빠르게 달립니다.

이 모든 판단을 30 밀리초 (0.03 초) 만에 해냅니다. 사람이 눈을 깜빡이는 시간보다 훨씬 빠르죠!

🔍 4. 어떻게 알았을까요? (Grad-CAM)

연구팀은 "로봇이 정말로 벽을 보고 판단한 걸까, 아니면 그냥 운 좋게 지나간 걸까?"를 확인하기 위해 Grad-CAM이라는 기술을 썼습니다.

• 이는 **로봇의 시선 (Attention)**을 보여주는 열화상 카메라 같은 것입니다.
• 결과물을 보니, 로봇이 **벽이 있는 곳 (장애물)**을 정확히 바라보며 방향을 잡는 것을 확인할 수 있었습니다. 마치 사람이 길을 걸을 때 발 앞에 있는 돌을 보고 피하는 것처럼 로봇도 벽을 보고 피하는 것입니다.

⚠️ 5. 아직 부족한 점 (한계점)

물론 완벽한 것은 아닙니다.

• 기억의 한계: 로봇이 뒤로 걷거나 갑자기 방향을 틀 때는 헷갈려 할 수 있습니다. (뒤로 걷기는 역학적으로 훨씬 어렵기 때문이죠.)
• 데이터의 편향: 로봇이 훈련받은 길은 모두 비슷했습니다. 만약 갑자기 높이가 다른 장애물이나 완전히 다른 형태의 미로가 나오면 당황할 수 있습니다.
• 센서의 한계: 바퀴가 얼마나 돌아갔는지 (속도계) 를 모르고, 오직 '눈'만 믿고 달립니다. 바닥이 미끄러우면 길을 잃을 수도 있죠.

🌟 6. 결론: "작은 칩이 바꿀 미래"

이 연구는 **"고성능 컴퓨터가 없어도, 아주 작은 칩 하나로도 똑똑한 로봇을 만들 수 있다"**는 것을 증명했습니다.

이 기술이 발전하면:

• 저렴한 청소 로봇이 더 똑똑해질 수 있고,
• 작은 드론이 전선이나 나무 사이를 스스로 피하며 날 수 있으며,
• 의료용 초소형 로봇이 몸속을 안전하게 이동할 수 있게 됩니다.

마치 거대한 슈퍼컴퓨터 대신, 작은 스마트폰 칩 하나로도 세상을 이해하는 로봇을 만드는 첫걸음이라고 볼 수 있습니다.

---

한 줄 요약:

"무거운 백팩 (고성능 컴퓨터) 없이도, 작은 두뇌 (저가 칩) 만으로도 스스로 길을 찾아다니는 똑똑한 로봇을 만들 수 있다!"

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 기존 저비용 로봇의 자율 주행 (장애물 회피 및 경로 계획) 은 고가의 단일 보드 컴퓨터 (Single-Board Computers) 나 SLAM(동시적 위치 추정 및 지도 작성) 과 같은 계산 집약적 알고리즘에 의존하는 경우가 많습니다. 이는 비용과 전력 소모 측면에서 접근성을 제한합니다.
• 제약 사항: 마이크로컨트롤러 (MCU) 는 리소스 효율적이지만, 메모리 용량과 연산 능력의 심각한 제약으로 인해 복잡한 신경망 (3D 합성곱, LSTM, 어텐션 메커니즘 등) 을 실행하기 어렵습니다.
• 목표: 외부 컴퓨팅 자원에 의존하지 않고, ESP32 와 같은 제한된 에지 디바이스 (마이크로컨트롤러) 에서 실시간으로 자율 항해가 가능한 엔드 - 투 - 엔드 (End-to-End) TinyML 시스템을 구축하는 것.

2. 방법론 (Methodology)

A. 하드웨어 아키텍처

• 마이크로컨트롤러: ESP32-P4-WIFI6-M 사용. 듀얼 코어 아키텍처 (ESP32-P4 메인 프로세서 + ESP32-C6 무선 코프로세서) 로, 360MHz 에서 작동하며 32MB PSRAM 을 탑재했습니다. JPEG 코덱 및 이미지 신호 처리기 (ISP) 와 같은 전용 하드웨어 가속기를 포함합니다.
• 센서: Sipeed MaixSense A010 (ToF 깊이 카메라). 100x100 픽셀 해상도에서 20 FPS 로 작동하며, UART 를 통해 양자화된 깊이 데이터를 전송합니다.
  • 데이터 전처리: 메모리 절감을 위해 센서 내 4x4 빈닝 (binning) 을 적용하여 해상도를 25x25 로 축소하고, 이를 24x24 로 리사이즈하여 임베디드 최적화에 적합하게 조정했습니다.
• 로봇 설계: 제어 변수를 줄이고 공간 효율성을 높이기 위해 탱크 드라이브 (Tank Drive) 방식 (양쪽 트랙이 독립적으로 구동) 을 채택했습니다.

B. 데이터 수집 및 전처리

• 데이터셋: 로봇이 주행하는 동안 ToF 센서로 촬영한 깊이 프레임과 해당 시점의 조향 (Steering) 및 스로틀 (Throttle) 명령을 매칭하여 레이블이 지정된 데이터셋을 구축했습니다.
• 시계열 처리: ESP32 에서 LSTM 이나 GRU 와 같은 순환 신경망 (RNN) 을 실행하기 어렵기 때문에, 20 프레임의 슬라이딩 윈도우를 채널 차원으로 스택하여 20 채널의 입력 텐서를 생성했습니다. 이를 통해 2D CNN 으로 단기 패턴을 학습하도록 설계했습니다.
• 데이터 증강: 이미지 회전, 수평 반전, 다양한 트랙 레이아웃 (벽 간격 변경, 비평행 벽 등) 과 바닥 재료를 포함하여 모델의 일반화 능력을 높였습니다.

C. 모델 아키텍처 및 최적화

• 네트워크 구조: 3D 합성곱을 피하고 20 프레임의 스택된 채널을 입력으로 받는 경량화된 2D CNN을 사용했습니다.
  • 파라미터 수: 총 23,000 개 (23k) 의 파라미터만 사용.
  • 출력: 조향 (-11) 과 스로틀 (01) 을 예측하는 별도의 헤드를 가지며, 중간 밀집 층 (Dense Layers) 을 공유하여 속도 - 조향 간의 상관관계를 학습합니다.
• 양자화 (Quantization): TFLite Micro 의 제약을 준수하기 위해 INT8 정수 양자화를 적용했습니다. 전체 훈련 데이터셋을 사용하여 칼리브레이션을 수행하여 정확도 손실을 최소화했습니다.
• 실행 환경: TensorFlow Lite for Microcontrollers 와 ESP-NN 라이브러리를 활용하여 하드웨어 가속을 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. ESP32 기반 실시간 자율 항해 시스템: 고비용 프로세서 없이 마이크로컨트롤러에서 실시간 (30ms 추론 지연) 으로 작동하는 완전한 자율 주행 파이프라인을 구현했습니다.
2. 효율적인 시계열 모델링: RNN 이나 어텐션 메커니즘 없이, 2D CNN 에 시간적 정보를 스택된 채널로 주입하여 저지연 추론을 달성했습니다.
3. 엔드 - 투 - 엔드 TinyML 파이프라인: 데이터 수집, 전처리, 모델 학습, 양자화, 그리고 에지 디바이스 배포까지의 전체 과정을 공개하여 재현성을 확보했습니다.
4. 하드웨어 - 소프트웨어 통합: ToF 센서의 물리적 특성 (UART 프로토콜 역공학, 양자화 모드 등) 을 고려한 맞춤형 데이터 수집 및 처리 방식을 제시했습니다.

4. 결과 및 검증 (Results & Validation)

• 성능 지표:
  • 추론 지연: 30ms (실시간 제어 루프에 적합).
  • 정확도: 양자화 후에도 조향 정확도 99.84%, 스로틀 정확도 **99.79%**를 유지하여 정밀도 손실이 미미함을 확인했습니다.
  • 상관관계: 예측값과 실제 값 (Ground Truth) 간의 피어슨 상관계수는 약 0.6 수준으로, 모델이 기본적인 주행 패턴을 잘 학습했음을 보여줍니다.
• 시각화 (Grad-CAM):
  • 조향 (Steering): 트랙의 상단 영역 (경계선) 과 가장 가까운 벽에 집중하여 공간 인식 능력을 입증했습니다.
  • 스로틀 (Throttle): 막다른 길이나 코너와 같은 문맥적 단서에 집중하여 속도를 조절하는 것을 확인했습니다.
• 실제 주행 테스트:
  • 훈련과 유사한 단순한 트랙에서는 40 바퀴 연속 충돌 없이 주행 성공.
  • 복잡한 미지의 트랙에서도 외부 개입 없이 전진하며, 직선 구간에서는 최대 속도로, 장애물 근처에서는 속도를 부드럽게 줄이는 행동을 보였습니다.

5. 한계점 (Limitations)

• 모델 복잡도 제한: ESP32 의 메모리 제약으로 인해 파라미터 수가 50k~500k 수준으로 제한되어, 더 복잡한 아키텍처나 대규모 모델 배포가 어렵습니다.
• 데이터 다양성 부족: 훈련 데이터가 특정 벽 높이와 경로 폭에 국한되어 있어, 다양한 높이/크기의 장애물이나 복잡한 환경에서는 일반화 능력이 떨어질 수 있습니다.
• 센서 퓨전 부재: 오도메트리 (바퀴 엔코더) 나 관성 측정 장치 (IMU) 가 없어, 순수 깊이 데이터에만 의존하여 상태 추정 시 노이즈나 드리프트가 발생할 수 있습니다.
• 주행 제한: 현재는 전진 및 좌우 조향만 가능하며, 후진 주행은 역학적으로 불안정하여 별도의 학습이 필요합니다.

6. 의의 (Significance)

TinyNav 은 고성능 컴퓨팅 자원에 의존하지 않고도 저비용 마이크로컨트롤러에서 지능형 AI 시스템을 구현할 수 있음을 입증했습니다. 이는 드론, 의료 기기, 산업 자동화 등 에너지 효율과 프라이버시가 중요한 분야에서 에지 AI 의 접근성을 크게 높이며, 클라우드 의존도를 줄이고 실시간 응답성을 확보하는 중요한 이정표가 됩니다. 또한, 모든 코드와 하드웨어 설계도가 공개되어 있어 연구 및 교육 목적으로의 재현과 확장이 용이합니다.