Nano-U: Efficient Terrain Segmentation for Tiny Robot Navigation

기술 요약: Nano-U: 초소형 로봇 내비게이션을 위한 효율적인 지형 세그멘테이션

문제 정의
지형 세그멘테이션(Terrain segmentation)은 농경지나 자연 산책로와 같은 비정형 실외 환경에서 작동하는 자율 이동 로봇에게 필수적인 인지 능력입니다. 딥러딩 모델이 견고한 세그멘테이션을 위한 표준이 되었지만, 최신 아키텍처(예: U-Net, DeepLabV3)는 일반적으로 수억 개의 파라미터와 GPU 기반 추론을 요구합니다. 이러한 자원 요구 사항은 소형, 저가형 로봇 플랫폼에 사용되는 마이크로컨트롤러(MCU)의 엄격한 킬로바이트 단위 메모리 예산 및 밀리와트 단위 전력 제약 조건과 호환되지 않습니다. 기존의 TinyML 솔루션들은 대개 전용 ML 가속기에 의존하거나 더 단순한 분류 작업에 집중되어 있어, 범용 하드웨어에서 견고한 이진 주행 가능성(binary traversability) 추정을 수행하는 데 있어 공백을 남겨두고 있습니다.

방법론
저자들은 저가형 ESP32-S3 마이크로컨트롤러에 이진 지형 세그멘테이션을 배포하기 위한 완전한 프레임워크인 Nano-U를 제안합니다. 이 접근 방식은 세 가지 핵심 구성 요소를 통합합니다:

1. 네트워크 아키텍처 (Nano-U):

   • U-Net 아키텍처에서 영감을 받은 Nano-U는 ESP32-S3의 320 KB 내부 RAM에 적합하도록 설계된 매우 컴팩트한 인코더-디코더 네트워크입니다.
   • 이 모델은 60×80×3 컬러 이미지를 처리합니다.
   • 메모리 사용량을 최소화하기 위해, Nano-U는 디코더 단계까지 인코더 특징 맵을 RAM에 저장해야 하는 표준 스킵 연결(skip connections)을 생략합니다. 대신, 깊이별 분리 합성곱(depthwise separable convolutions)과 최근접 이웃 업샘플링(nearest-neighbor upsampling)을 사용하는 7단계 파이프라인에 의존합니다.
   • 최종 모델은 레이어 퓨전(layer fusion) 후 단 3,357개의 파라미터만을 포함하며, INT8 정밀도에서 약 33 KB를 차지합니다.

2. 학습 전략 (양자화 인식 증류 - QAD):

   • 네트워크의 최소한의 용량과 INT8 양자화와 관련된 일반적인 정확도 저하를 보완하기 위해, 저자들은 단일 패스 양자화 인식 증류(Quantization-Aware Distillation, QAD) 파이프라인을 채택했습니다.
   • 지식 증류(Knowledge Distillation): 대규모 "교사(teacher)" 네트워크(BU-Net, 약 1,285만 파라미터)가 학생(Nano-U)을 가이드합니다. 증류 손실은 시그모이드 공간에서의 온도 스케일링(temperature scaling)을 사용하여 출력 분포를 부드럽게 만듦으로써, 하드 라벨(hard labels)이 억제할 수 있는 모호한 경계 픽셀에서의 그래디언트 신호를 노출시킵니다.
   • 양자화 인식 학습(Quantization-Aware Training, QAT): 첫 번째 에포크부터 가짜 양자화(fake-quantization) 노드를 삽ener하여 순전파 과정 중 8비트 정수 산술을 시뮬레이션하는 동시에, 스트레이트스루 에스티메이터(straight-through estimator)를 통해 전체 정밀도 그래디언트를 보존합니다.
   • 전체 손실 함수는 바이너리 크로스 엔트로피(하드 라벨)와 평균 제곱 오차(소프트 증류)를 결합하며, 안전 중심 내비게이션을 위해 정밀도(precision)를 우선시하도록 가중치를 부여합니다.

3. 배포 프레임워크 (MicroFlow):

   • 양자화된 모델은 Rust로 작성된 컴파일러 기반 추론 엔진인 MicroFlow를 통해 배포됩니다.
   • 인터프리터 기반 솔루션(예: TensorFlow Lite Micro)과 달리, MicroFlow는 절차적 매크로를 사용하여 컴파일 타임에 네트워크 토폴로지를 해결합니다. 이를 통해 연산자 레지스트리, 동적 메모리 할당 및 인터프리터 오버헤드를 제거합니다.
   • 이 시스템은 베어 메탈(bare metal) 환경에서 no-std로 실행되며, 필요한 주변 장치만 활성화하고 운영 체제(예: FreeRTOS) 작업을 피함으로써 가용 RAM을 극대화하고 에너지 소비를 최소화합니다.

주요 기여

• Nano-U 설계: 범용 MCU의 타이트한 메모리 제약 내에 적합하면서도 조밀한 출력 능력을 유지하는 새로운 이진 세그멘테이션 네트워크(~3,000 파라미터)를 제시합니다.
• QAD 파이프라인: 지식 증류와 양자화 인식 학습을 결합한 통합 학습 체계를 통해, 아주 작은 INT8 모델이 도전적인 농업 데이터셋에서 높은 정확도를 달도록 합니다.
• 컴파일러 기반 실행: Nano-U에 필요한 특정 연산자(MaxPool2D, 최근접 이웃 업샘플링)를 지원하도록 MicroFlow 엔진을 확장하여, 전용 ML 가속기 없이도 에너지 효율적인 실행 경로를 입증했습니다.
• 데이터셋 및 공개: 소형 로버로부터 수집된 커스텀 데이터셋인 TinyAgri를 도입하고, Nano-U 모델과 데이터셋을 공개합니다.

실험 결과
본 프레임워크는 두 가지 데이터셋, 즉 Botanic Garden(구조화된 경로)과 TinyAgri(밀집된 식생, 까다로운 조명)에서 평가되었습니다.

• 정확도:

  • Botanic Garden에서 INT8 Nano-U는 87.0% mIoU를 달성하여 FP32 버전과 일치하는 성능을 보였으며, 교사 모델(95.1% mIoU)과 비교했을 때 무시할 만한 수준의 저하만을 보였습니다.
  • 더 까다로운 TinyAgri 데이터셋에서 INT8 모델은 70.0% mIoU(FP32의 88.3% 대비)를 달성했습니다. 경계 세부 사항은 일부 손실되었으나, 모델은 핵심 주행 가능 영역을 성공적으로 식별하여 0.82의 F1-score를 유지했습니다.
  • 모델은 중간 정도의 재현율(recall)과 함께 높은 정밀도(Botanic Garden 0.96, TinyAgri 0.81)를 보였으며, 이는 안전을 위해 보수적인 과소 세그멘테이션(under-segmentation) 전략이 유효함을 나타냅니다.

• 하드웨어 성능 (ESP32-S3-CAM):

  • 지연 시간(Latency): 추론 시간은 844 ms(약 1.2 FPS)였습니다.
  • 메모리: 피크 내부 데이터 RAM 사용량은 257 KB였으며, 약 60 KB의 여유 공간을 남겼습니다.
  • 전력: 활성 추론 전력 소비량은 470 mW(유휴 상태 기준치보다 333 mW 높음)였으며, 추론당 에너지 비용은 281 mJ였습니다.
  • 이러한 지표들은 컴파일러 기반 접근 방식이 표준 인터프리터 기반 배포에 비해 오버헤드를 크게 줄인다는 것을 보여줍니다.

의의 및 한계
본 논문은 이 연구가 전용 가속기 없이도 범용 마이크로컨트롤러에서 실시간 이진 지형 세그멘테이션의 실현 가능성을 입증한다고 주장합니다. QAD와 컴파일러 기반 추론의 결组合은 작은 로봇들이 기존에 더 큰 플랫폼에 국한되었던 인지 작업을 수행할 수 있게 합니다.

저자들은 다음과 같은 구체적인 한계를 인정합니다:

• 지연 시간: 약 1.2 FPS의 속도는 느리게 움직이는 지상 플랫폼에는 적합하지만, 더 빠른 차량이나 미세한 시간 해상도를 요구하는 작업에는 불충분합니다.
• 해상도: 60×80 출력 해상도는 작업 요구 사항보다는 메모리 제약에 의해 결정되었습니다. 더 높은 해상도는 경로 계획의 정밀도를 향상시킬 것입니다.
• 일반화: 모델은 특정 데이터셋에 대해 학습 및 테스트되었습니다. 다양한 식생 유형, 조명 조건 및 토양 질감에 대한 일반화는 추가적인 검증이 필요합니다.
• 파이프라인 통합: 현재 벤치마크는 PSRAM에서 이미지를 로드하는 방식으로 추론 지연 시간을 격리하여 측정했습니다. 라이브 카메라 캡처 및 로봇 제어를 포함하는 완전한 폐쇄 루프(closed-loop) 시스템은 향후 입증되어야 합니다.