🤖 machine learning

NeuroEdge: Real-Time Hand Gesture Recognition with High-Density EMG Using Deep Learning at the Edge

본 논문은 제한된 자원을 가진 엣지 장치에서 90% 제스처 인식 정확도와 83ms 지연 시간을 달성하기 위해 맞춤형 무선 HD-EMG 스트리밍 인터페이스와 경량 1D CNN 추론 엔진을 통합한 실시간 마이크로컨트롤러 기반 시스템인 NeuroEdge 를 제시합니다.

원저자: Peter Chudinov, Zhenyu Lin, Jay Motamarry, Srihita Panati, Xiaorong Zhang, Zhuwei Qin

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peter Chudinov, Zhenyu Lin, Jay Motamarry, Srihita Panati, Xiaorong Zhang, Zhuwei Qin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 근육을 거대한 오케스트라라고 상상해 보세요. 여기서 각 근육 섬유는 고유한 음을 연주하는 악기입니다. 보통 우리가 로봇 손이나 컴퓨터를 제어하기 위해 이 음악을 읽어내려 할 때, 우리는 단지 몇몇 악기 (피부 위의 몇 개의 전선) 만 듣습니다. 하지만 이 논문인 NeuroEdge는 팔뚝에 배치된 192 개의 작은 마이크 (전극) 를 사용하여 오케스트라 전체를 한 번에 듣기로 결정합니다. 이를 **고밀도 근전도 (High-Density EMG)**라고 합니다.

저자들이 직면한 큰 도전은 192 개의 악기를 한 번에 듣는 것이 방대한 양의 데이터를 생성한다는 점입니다. 일반적으로 오케스트라가 무엇을 연주하는지 파악하려면 슈퍼컴퓨터 (무거운 노트북이나 강력한 서버와 같은) 가 필요합니다. 하지만 여기서의 목표는 작고 배터리로 작동하는 장치 (스마트워치 칩과 같은) 가 모든 사고를 즉시 수행하도록 하는 것이었습니다.

다음은 간단한 이야기를 통해 NeuroEdge가 어떻게 구축되었는지 설명한 것입니다:

1. "무선 배달원" (StreamBridge)

근육 센서를 분당 192 통의 편지를 보내는 바쁜 우체국이라고 생각해 보세요. 근육을 읽는 장치 (Quattrocento 앰프) 는 보통 긴 케이블을 통해 컴퓨터에 연결되어 있습니다.

혁신: 팀은 HD-EMG StreamBridge라는 맞춤형 "무선 배달원"을 구축했습니다. 이는 근육 센서에서 모든 편지를 받아 즉시 Wi-Fi 를 통해 작은 마이크로컨트롤러 (ESP32 칩) 로 날려 보내는 전문 우편 배달부와 같습니다.
비법: 속도를 유지하기 위해 이 배달원은 편지를 하나씩 분류할 때까지 기다리지 않습니다. 대신 "직접 메모리 액세스 (DMA)"라는 기술을 사용하는데, 이는 메인 프로세서가 손을 움직일 필요 없이 편지를 컨베이어 벨트를 통해 직접 보관함으로 이동시키는 것과 같습니다. 이로 인해 라인이 매끄럽게 유지됩니다.

2. "작은 뇌" (EdgeDL 추론 엔진)

편지가 ESP32 에 도착하면 어떤 제스처가 발생했는지 결정할 "뇌"로 전달되어야 합니다.

뇌: 이는 Sony Spresense 마이크로컨트롤러입니다. 거대한 컴퓨터가 아닌 매우 작고 저전력 칩입니다.
업무: 이 뇌는 1D CNN(딥러닝 모델의 일종) 을 사용합니다. 이 모델을 매우 효율적이고 전문적인 사서라고 상상해 보세요. 더미에 있는 모든 편지를 읽는 대신, 한 번에 근육 활동의 20 개 스냅샷을 포함하는 "슬라이딩 윈도우"를 봅니다.
비유: 근육 데이터를 긴 필름 스트립이라고 생각해 보세요. 사서는 작은 프레임을 필름 위로 미끄러뜨려 그 프레임 안의 사진을 보고 즉시 "주먹이다!" 또는 "손이 열려 있다!"라고 외칩니다.
속도: 사서가 매우 효율적이기 때문에 생각할 때 필름을 멈출 필요가 없습니다. 데이터 수집, 전달, 사고가 모두 동시에 (파이프라인으로) 발생합니다. 한 작업자가 편지를 잡는 동안 다음 작업자가 분류하는 조립 라인처럼 말입니다.

3. 결과: 실제로 작동할까요?

팀이 이 시스템을 테스트하기 위해 주먹을 쥐거나, 손을 펴거나, 손목을 돌리거나, 아무것도 하지 않는 등 일곱 가지 다른 손 움직임을 수행하는 인간 지원자를 대상으로 실험했습니다.

점수: 작은 뇌는 실시간으로 **90%**의 확률로 정답을 맞혔습니다.
속도: 근육이 움직인 순간부터 시스템이 제스처를 추측한 순간까지 단 83 밀리초가 걸렸습니다. 이는 눈이 깜빡이는 것보다 빠릅니다.
하드웨어: 전체 "뇌" (소프트웨어 모델) 는 놀라울 정도로 작습니다. 크기가 불과 15 KB에 불과합니다. 작은 스티커에 들어갈 정도로 작지만 192 채널의 데이터를 처리합니다.

이것이 왜 중요한가요?

이전에는 근전도 신호를 읽기 위해 딥러닝 (AI) 을 사용하려면 무겁고 전력을 많이 소모하는 컴퓨터나 비용이 많이 드는 특수 칩이 필요했습니다.
NeuroEdge는 복잡하고 고해상도의 신호 (오케스트라 전체) 를 가져와 작고 저렴하며 배터리로 작동하는 마이크로컨트롤러에서 완전히 스마트한 AI 결정을 실행할 수 있음을 증명합니다. 클라우드 서버나 노트북 없이 "고품질 데이터 수집"과 "현장에서 스마트한 결정 내리기" 사이의 간극을 메워줍니다.

요약하자면, 그들은 작은 칩이 192 개의 근육 센서를 듣고, 어떤 손 제스처가 만들어지고 있는지 이해하며, 표준 스마트폰 전력의 일부로 즉시 반응할 수 있는 시스템을 구축했습니다.

기술 요약: NeuroEdge

문제 제기

고밀도 근전도 (HD-EMG) 는 정교한 신경근육 활동을 해독하기 위한 강력한 모달리티를 제공하여, 의수 제어, 재활, 및 증강 상호작용을 위한 실시간 신경 - 기계 인터페이스 (NMI) 를 가능하게 합니다. 딥러닝 모델, 특히 합성곱 신경망 (CNN) 은 EMG 기반 제스처 인식에서 높은 정확도를 입증했으나, 리소스가 제한된 임베디드 하드웨어에서의 배포는 여전히 큰 과제로 남아 있습니다. 기존 솔루션은 종종 NVIDIA Jetson Nano, Coral TPU 와 같은 GPU, TPU, 또는 FPGA 와 같이 전력을 많이 소모하는 플랫폼에 의존하는데, 이는 휴대성과 저비용·저전력 실시간 응용 분야에 대한 적합성을 제한합니다. 또한 마이크로컨트롤러용 모델을 최적화하려는 이전 시도들 (예: Sony Spresense 에서 양자화 사용) 은 주로 모델 압축에 집중했을 뿐, 실시간 HD-EMG 데이터 획득의 통합이나 엔드 - 투 - 엔드 시스템 동기화를 다루지 못했습니다.

방법론

본 논문은 리소스가 제한된 마이크로컨트롤러에서 제스처 인식을 완전히 수행하도록 설계된 실시간 NMI 시스템인 NeuroEdge를 제시합니다. 시스템 아키텍처는 세 가지 핵심 구성 요소를 통합합니다:

HD-EMG StreamBridge: Quattrocento HD-EMG 앰프와 임베디드 하드웨어 간의 간극을 연결하도록 설계된 맞춤형 무선 통신 인터페이스입니다.
- Quattrocento 를 서버로, ESP32 마이크로컨트롤러를 클라이언트로 하는 Wi-Fi 기반 TCP 연결을 활용합니다.
- 시스템은 데이터 획득을 시작하기 위해 40 바이트 명령 시퀀스를 전송하는 C 기반 인터페이스 (HD-EMG StreamBridge-C) 를 사용하며, 초기 샘플을 폐기하고 192 채널 데이터 스트림을 관리함으로써 동기화를 처리합니다.
- 데이터는 슬라이딩 윈도우 (20 샘플 × 192 채널) 의 비차단적이고 효율적인 저장을 보장하기 위해 직접 메모리 액세스 (DMA) 를 사용하여 ESP32 의 온칩 메모리에 버퍼링됩니다.
EdgeDL 추론 엔진: Sony Spresense 마이크로컨트롤러 (ARM Cortex-M4F) 에서 실행되는 경량 딥러닝 프레임워크입니다.
- 데이터 파이프라인: ESP32 는 고속 직렬 주변 장치 인터페이스 (SPI) 버스트 통신을 통해 버퍼링된 HD-EMG 프레임을 Spresense 로 전송합니다. Spresense 는 SPI 컨트롤러 역할을 합니다.
- 모델 아키텍처: 시스템은 M5 음성 인식 모델에서 적응된 소형 1D CNN 을 사용합니다. 입력은 EMG 샘플의 $20 \times 192$ 행렬에서 파생된 $1 \times 3840$ 차원의 평탄화된 특징 벡터입니다.
- 네트워크 구조: CNN 은 각각 16, 16, 32 개의 필터를 가진 세 개의 합성곱 레이어로 구성되며, 최대 풀링과 전역 평균 풀링 레이어를 거친 후 7 클래스 분류를 위한 완전 연결 레이어로 끝납니다. 메모리 풋프린트를 최소화하기 위해 밀집 레이어는 생략되었습니다.
- 배포: 모델은 PyTorch 에서 훈련되어 ONNX 로 내보낸 후 TensorFlow Lite 로 변환되었으며, 마이크로컨트롤러용 C 헤더 파일로 컴파일되었습니다. 전용 텐서 아레나가 메모리 재사용을 관리합니다.
시스템 동기화: 아키텍처는 데이터 획득 (ESP32), SPI 전송, 및 추론 (Spresense) 이 동시에 발생하는 파이프라인 방식을 활용합니다. 이는 통신 및 계산 작업을 중첩함으로써 저지연 성능을 보장합니다.

주요 기여

마이크로컨트롤러에서의 첫 번째 풀스케일 HD-EMG 추론: 저자의 지식 범위 내에서 NeuroEdge 는 외부 컴퓨팅 리소스 (GPU 등) 가 필요 없는 실시간 기능을 갖춘 마이크로컨트롤러 하드웨어에서 풀스케일 HD-EMG 딥러닝 추론 (192 채널) 을 시연한 최초의 시스템입니다.
맞춤형 무선 인터페이스: 기존 EMG 획득 소프트웨어에 내장된 마이크로컨트롤러 호환성 부재를 극복하고, 상업용 Quattrocento 시스템에서 ESP32 로의 원시 HD-EMG 데이터의 무선 고처리량 스트리밍을 가능하게 하는 HD-EMG StreamBridge 의 개발.
엔드 - 투 - 엔드 임베디드 통합: DMA 와 SPI 버스트 통신을 활용하여 데이터 흐름을 동기화하고 지연을 최소화함으로써, 원시 신호 획득부터 엣지 장치에서의 딥러닝 추론까지의 완전한 파이프라인을 본 논문에서 시연합니다.

실험 결과

시스템은 192 채널로 512 Hz 샘플링 속도를 사용하여 한 명의 정상 체격 피험자가 일곱 가지 손/손목 제스처 (무동작, 손목 회외, 손목 회내, 손 오므리기, 손 펴기, 손목 굴곡, 손목 신전) 를 수행한 데이터를 사용하여 평가되었습니다.

오프라인 성능: 모델은 25 회 훈련 에포크 후 검증 분류 정확도 **95.33%**를 달성했습니다. 최종 배포된 모델은 약 15.24 KB 크기의 8 비트 정수 C 헤더 파일입니다.
실시간 성능:
- 정확도: 시스템은 일곱 가지 제스처 클래스 전반에 걸쳐 **90.00%**의 실시간 분류 정확도를 달성했습니다.
- 지연 시간: 총 평균 지연 시간은 83 ms였으며, 이는 평균 추론 지연 시간 70 ms와 SPI 통신 지연 시간 13 ms로 구성됩니다.
- 오류 분석: 대부분의 오분류는 제스처 전환 중에 발생했는데, 이는 훈련 데이터가 정적 제스처 샘플로만 구성되었다는 한계로 귀결됩니다.

중요성 및 주장

본 논문은 NeuroEdge 가 고해상도 생체신호 획득과 딥러닝 기반 임베디드 추론 간의 간극을 성공적으로 메웠다고 주장합니다. 저전력 마이크로컨트롤러 기반 엣지 장치에서 복잡한 HD-EMG 제스처 인식이 수행될 수 있음을 시연함으로써, 이 연구는 웨어러블 및 생물의학 응용 분야를 위한 차세대 NMI 의 실현 가능성을 확립합니다. 저자들은 이 접근 방식이 전력 소모가 큰 외부 하드웨어에 대한 의존성을 제거하여 휴대용 실시간 신경 인터페이스의 길을 연다고 주장합니다. 현재 범위는 소극적이어서, 향후 반복 작업에서는 견고성을 높이기 위해 다중 피험자 검증과 전환 데이터의 포함이 필요하다고 명시하고 있습니다.