⚡ electrical engineering

TinyDéjàVu: Smaller RAM and Faster Inference with Neural Networks on MCUs for Sensor Data Streams

본 논문은 리소스 제약이 있는 마이크로컨트롤러에서 신경망 추론을 위한 데이터 흐름을 최적화하는 오픈 소스 프레임워크이자 알고리즘 집합인 TinyDéjàVu 를 소개하며, 이는 기존 방법과 유사한 지연 시간을 유지하면서 센서 데이터 스트림 처리 시 RAM 사용량을 최대 90% 까지 줄이는 성과를 거둡니다.

원저자: Zhaolan Huang, Emmanuel Baccelli

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhaolan Huang, Emmanuel Baccelli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

작은 배터리를 탑재한 로봇(마이크로컨트롤러)이 숲속에 살고 있다고 상상해 보세요. 이 로봇의 임무는 새들이 노래하는 소리를 듣고 즉시 어떤 종류의 새인지 파악하는 것입니다. 문제는 이 로봇의 뇌가 매우 작아(메모리가 제한적) 배터리는 미미하다는 점입니다. 만약 이 로봇이 새로운 음표가 도착할 때마다 전체 노래를 외우며 긴 노래를 듣으려 한다면, 메모리가 부족해져서 배터리가 방전되고 결국 작동을 멈추게 될 것입니다.

이 논문은 이러한 작은 로봇들이 압도되지 않고 긴 데이터 스트림을 들을 수 있도록 돕는 새로운 소프트웨어 프레임워크인 TinyDéjàVu(이미 경험한 듯한 느낌이라는 데서 유래) 를 소개합니다.

다음은 간단한 비유를 통해 그 작동 원리를 설명한 것입니다:

1. 문제: "다시 읽기" 함정

일반적으로 이러한 로봇들은 소리를 분석할 때 "슬라이딩 윈도우"라고 불리는 데이터 조각들을 살펴봅니다. 마치 책 한 장을 한 단어씩 이동하는 작은 창을 통해 읽는다고 상상해 보세요.

기존 방식: 창이 한 단어씩 오른쪽으로 이동할 때마다 로봇은 멈추고, 이전 시야를 버린 뒤 새로운 창 전체를 처음부터 다시 읽습니다. 만약 창이 100 단어 길이이고 로봇이 이를 90 번 이동시킨다면, 결국 같은 90 단어를 반복해서 다시 읽게 됩니다. 이는 막대한 양의 에너지와 메모리를 낭비합니다.

2. 해결책: "상태 공간" 메모리 트릭

TinyDéjàVu 는 규칙을 바꿉니다. 전체 창을 다시 읽는 대신, **상태 공간 모델 **(SSM)이라는 수학적 트릭을 사용합니다.

비유: 영화를 보고 있다고 상상해 보세요. 새로운 장면이 시작될 때마다 영화 전체를 되감는 대신, 이야기의 현재 상태만 기억합니다. 새로운 프레임이 도착하면 그 하나의 새로운 정보만으로 기억을 업데이트합니다.
효과: TinyDéjàVu 는 합성곱과 같은 복잡한 수학 연산을 이러한 "업데이트 전용" 방식으로 변환합니다. 새로운 창에 있는 데이터의 90% 가 이전 것과 동일하다는 점을 인식합니다. 따라서 전체 창을 저장하는 대신, 결과를 업데이트하는 데 필요한 작은 "상태"만 저장합니다.

3. "데자뷰" 효과

이 이름은 시스템이 이 데이터의 대부분을 이미 "본" 적이 있음을 인식한다는 사실에서 유래했습니다.

은유: 상자를 운반하는 컨베이어 벨트를 생각해 보세요. 기존 방식은 작업자가 벨트를 멈추고 현재 시야에 있는 모든 상자를 unpack 한 뒤 시야를 앞으로 이동시켜야 했습니다. TinyDéjàVu 는 벨트에 막 도착한 새로운 상자만 집어 들고 정신적 목록을 업데이트하는 작업자와 같습니다. 변화하지 않은 상자들은 무시합니다.

4. 결과: 더 작은 뇌, 더 빠른 속도

저자들은 실제 마이크로컨트롤러 (스마트 센서에 탑재된 것과 같은) 에서 이를 테스트하고 이전 방법들과 비교했습니다.

메모리 절감: TinyDéjàVu 는 필요한 메모리를 최대 **90%**까지 줄일 수 있음을 발견했습니다. 새 노래 예시에서, 75kB 의 메모리가 필요했던 모델 (일부 작은 칩에는 너무 큼) 이 단 1kB 로 축소되었습니다.
속도: 같은 계산을 반복하지 않기 때문에, 중첩된 데이터 스트림을 처리할 때 최대 20 배 더 빨라졌습니다.
정확도: 더 적은 작업을 수행했음에도 불구하고 실수를 저지르지 않았습니다. 답변은 무겁던 기존 방법만큼 정확했습니다.

5. 현실 세계 증명

이 팀은 컴퓨터 시뮬레이션에서만 테스트한 것이 아니라, 실제로 영국에 설치된 센서에서 코른 번팅 새를 듣기 위해 이를 배포했습니다.

그들은 이전에 메모리 부족으로 이 작업을 처리하지 못했던 작고 배터리로 구동되는 장치에서 복잡한 AI 모델을 성공적으로 실행했습니다.
이로 인해 장치들은 배터리 교체가 필요 없이 더 오랫동안 야생에 머무를 수 있게 되었습니다.

요약

TinyDéjàVu 는 작고 저전력 로봇에게 놀라울 정도로 효율적인 "단기 기억"을 부여하는 것과 같습니다. 자신이 보는 모든 데이터 조각을 비축하는 대신, 이해를 업데이트하는 데 엄격히 필요한 것만 유지합니다. 이를 통해 작은 장치들은 배터리나 메모리가 고갈되지 않고 새 노래나 심장 박동과 같은 길고 연속적인 데이터 스트림을 들을 수 있게 됩니다.

기술 요약: TinyD´ej`aVu

문제 정의

사물인터넷 (IoT) 장치에서 센서 데이터 시계열에 대한 연속 추론을 위한 신경망 배포는 심각한 자원 제약에 직면해 있습니다. 이러한 장치들은 일반적으로 배터리로 구동되며 제한된 RAM(예: 128 kB) 을 가진 마이크로컨트롤러 (MCU) 에서 실행되므로, 데이터 스트림에 대한 실시간 처리를 수행해야 합니다. 시계열 모델링을 위한 일반적인 접근 방식은 시간적 맥락을 포착하기 위해 중첩되는 슬라이딩 윈도우를 사용하는 것입니다. 그러나 표준 추론 방법은 새로운 윈도우마다 전체 모델을 다시 계산하여 상당한 중복을 초래합니다. 이러한 중복은 중간 활성화 값을 버퍼링하기 위한 과도한 랜덤 액세스 메모리 (RAM) 사용과 높은 계산 지연을 야기하며, 종종 복잡한 모델이 자원 제약이 있는 하드웨어에 배포되는 것을 불가능하게 만듭니다.

방법론

본 논문은 센서 데이터 스트림에 대한 신경망 추론을 최적화하기 위해 시간 연산자를 **상태 - 공간 모델 (SSM)**로 변환하는 TinyD´ej`aVu라는 프레임워크를 소개합니다. 핵심 방법론은 세 가지 주요 구성 요소로 이루어집니다:

SSM 동등성 및 그래프 변환:
저자들은 1 차원 합성곱, 풀링, 시간적 혼합이 있는 밀집 층과 같은 일반적인 시간 연산자와 SSM 간의 동등성을 공식화합니다. 이러한 연산자를 재귀적 상태 업데이트 ( $h_t = A h_{t-1} + B x_t$ ) 로 표현함으로써, 프레임워크는 큰 입력 윈도우나 중간 특징 맵을 저장할 필요가 없게 됩니다. 대신, 작고 고정된 크기의 숨겨진 상태 벡터만 유지됩니다. 프레임워크는 신경망 연산 그래프를 두 영역으로 분할합니다:
- SSM 서그래프: 로컬 또는 인과적 시간 연산자를 포함하며, 이를 효율적인 SSM 동등체로 변환합니다.
- GTA 서그래프 (전역 시간 집계기): 시간 단계를 평탄화하는 밀집 층이나 어텐션 메커니즘과 같은 전역 수용 영역을 가진 첫 번째 연산자에서 시작합니다. 이 섹션은 처리된 스트림의 집계를 담당합니다.
딥 슬라이딩 윈도우 최적화:
중첩되는 슬라이딩 윈도우의 경우, TinyD´ej`aVu 는 중복 계산을 제거합니다. 전체 윈도우를 다시 처리하는 대신, 시스템은 스트라이드 (stride) 에 의해 도입된 새로운 데이터 포인트에 해당하는 숨겨진 상태만 업데이트합니다. 전역 시간 집계기 (GTA) 또한 이러한 업데이트된 숨겨진 상태를 받도록 변환되어, 계산이 필요한 새로운 특징이 사용 가능할 때만 트리거되도록 보장합니다.
구현 및 최적화:
- 순환 버퍼: SSM 은 숨겨진 상태를 관리하기 위해 순환 버퍼를 사용하여 구현되며, 동적 메모리 할당을 방지합니다.
- 전역 풀링: 전역 풀링 연산을 더 작은 SSM 의 캐스케이드로 변환하는 전용 알고리즘은 RAM 복잡도를 $O(N)$ 에서 $O(\lceil N/s \rceil)$ 로 줄입니다. 여기서 $N$ 은 윈도우 크기이고 $s$ 는 스트라이드입니다.
- 혼합 정밀도: 프레임워크는 숨겨진 상태 저장을 위해 BF16(Brain Floating Point) 정밀도를 지원하며, 많은 작업에서 정확도에 미치는 영향은 최소화하면서 FP32 대비 RAM 사용량을 2 배 줄여줍니다.
- 툴체인: 시스템은 분석을 위해 PyTorch 위에 구축되었으며, 그래프 재작성 및 C 코드 생성을 위해 microTVM을 사용하여 Arm Cortex-M 시리즈와 같은 MCU 를 대상으로 합니다.

주요 기여

새로운 프레임워크: 신경망의 시간 연산자를 스트리밍 추론을 위해 SSM 으로 자동 변환하는 TinyD´ej`aVu 의 도입.
알고리즘적 혁신: 중복 계산을 제거하여 중첩 슬라이딩 윈도우를 처리하는 알고리즘 개발 및 RAM 풋프린트를 극적으로 줄이기 위한 전역 풀링에 대한 특정 최적화.
오픈 소스 구현: 재현성을 보장하기 위해 그래프 변환 로직과 벤치마크를 포함한 전체 구현 공개.
종합 벤치마킹: Arm Cortex-M 과 같은 일반적인 32 비트 MCU 하드웨어에서 다양한 모델 아키텍처 (CNN, TCN, Transformer, WaveNet 변형) 에 대한 평가.

결과

저자들은 TinyD´ej`aVu 를 일반 모델 및 이전 작업 (StreamiNNC) 과 비교한 광범위한 실험 결과를 제시합니다:

RAM 감소: TinyD´ej`aVu 는 일반 모델 대비 최대 90% 의 피크 RAM 사용량 감소를 달성합니다. TinyWaveNet 과 같은 특정 사례에서는 약 180 MB 의 RAM 이 필요했던 이전 모델이 <350 kB RAM 을 가진 장치에서 실행될 수 있을 정도로 감소폭이 큽니다.
지연 시간 개선: 중첩 윈도우를 가진 스트리밍 입력에서 프레임워크는 상당한 지연 시간 감소를 보여줍니다. 호스트 PC 에서 변환되지 않은 모델 대비 스트리밍 단계에서 최대 6 배의 속도 향상을 달성합니다. STM32F7 MCU 에서는 중첩률이 증가함에 따라 지연 시간이 선형적으로 감소하며, 특정 구성에서 최대 20 배의 속도 향상이 관찰됩니다.
정확도: 프레임워크는 수치적 정확성을 유지하며, 원본 모델과 변환된 모델 간의 편차는 $10^{-8}$ 미만입니다. 작업 수준의 정확도는 FP32 의 일반 모델과 비교 가능하게 유지됩니다. BF16 을 사용할 경우 약간의 정확도 하락 (예: RMSE 1-3% 증가) 이 관찰되는데, 저자들은 BF16 정밀도 하에서 모델을 재학습함으로써 이를 완화할 수 있다고 제안합니다.
실제 검증: nRF52840 센서에서 조류 소리 감지 (생체 음향 모니터링) 를 수행한 사용 사례는 이전 최첨단 기술 (TinyChirp) 대비 RAM 사용량 75 배 감소(약 75 kB 에서 약 1 kB 로) 및 추론 지연 시간 60% 감소를 입증했습니다.

의의

본 논문은 TinyML 의 중요한 병목 현상인 극도로 자원이 제한된 장치에서 복잡하고 긴 시퀀스의 시계열 모델을 실행할 수 있는 능력에 대해 TinyD´ej`aVu 가 해결책을 제시한다고 주장합니다. SSM 기반 스트리밍을 통해 입력 시퀀스 길이와 RAM 사용량을 분리함으로써, 이 프레임워크는 특수 하드웨어 가속기 없이 배터리로 구동되는 센서에서 "상시 작동 (always-on)" 지능을 배포할 수 있게 합니다. 저자들은 그들의 접근 방식이 양자화나 가지치기와 같은 다른 최적화 기술과 직교 (orthogonal) 하므로, 더 큰 효율성을 위해 이들과 결합할 수 있음을 강조합니다. 이 연구는 표준 저비용 마이크로컨트롤러에서 긴 시퀀스 센서 데이터 처리를 실현 가능하게 만드는 실용적이고 오픈 소스인 경로를 제공합니다.