🤖 machine learning

End-to-End Keyword Spotting on FPGA Using Graph Neural Networks with a Neuromorphic Auditory Sensor

본 논문은 뉴로모픽 청각 센서와 그래프 신경망을 통합하여 87.43%의 정확도와 35 마이크로초 미만의 지연 시간으로 원시 이벤트 기반 오디오 스트림의 실시간 저전력 처리를 달성한 키워드 스포팅 시스템의 최초의 엔드 투 엔드 FPGA 구현을 제시한다.

원저자: Wiktor Matykiewicz, Piotr Wzorek, Kamil Jeziorek, Tomás Muñoz, Antonio Rios-Navarro, Angel Jiménez-Fernández, Tomasz Kryjak

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wiktor Matykiewicz, Piotr Wzorek, Kamil Jeziorek, Tomás Muñoz, Antonio Rios-Navarro, Angel Jiménez-Fernández, Tomasz Kryjak

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

작은 배터리 구동 로봇이 "멈춰"나 "가"와 같은 특정 단어를 말할 때를 이해하도록 가르친다고 상상해 보세요. 보통 로봇은 이를 위해 전체 소리를 듣고, 녹음한 뒤, 작은 조각으로 잘게 나누고, 그 조각들을 분석해야 합니다. 이 과정은 특정 문장 하나를 찾기 위해 책 전체를 읽으려는 것과 같습니다. 시간, 에너지, 메모리가 많이 소요되지요.

이 논문은 단일 컴퓨터 칩 (FPGA) 에 직접 구축된 특수한 "로봇 귀"와 "뇌"를 사용하여 이를 수행하는 새롭고 매우 효율적인 방법을 제시합니다.

다음은 그들이 어떻게 했는지 간단한 비유로 설명한 것입니다:

1. "로봇 귀" (신경형 센서)

대부분의 마이크는 메트로놈처럼 작동합니다. 소음이 있든 침묵이 있든 1 초에 44,000 번씩 소리의 "스냅샷"을 찍습니다. 흥미로운 일이 일어나지 않을 때도 막대한 양의 데이터가 생성되는 것입니다.

연구진들은 **신경형 청각 센서 (NAS)**를 사용했습니다. 이 센서를 사진을 찍는 카메라가 아니라 매우 민감한 경비원으로 생각하세요.

작동 원리: 경비원은 방 안에서 무언가 변화가 있을 때만 손을 들어 (신호를 보냅니다). 방이 조용하면 경비원은 가만히 앉아 있습니다. 새가 지저귀면 경비원은 한 번만 손을 듭니다.
결과: 일정한 데이터 스트림 대신, 센서는 희소하고 "이벤트 기반"의 스트림을 보냅니다. 빈 방의 라이브 비디오 피드를 보내는 대신 중요한 일이 발생할 때만 문자 메시지를 보내는 것과 같습니다. 이는 엄청난 양의 에너지를 절약합니다.

2. "스마트 필터" (여과)

똑똑한 센서가 있더라도 때로는 그 "경비원"이 너무 흥분하여 같은 소리에 대해 너무 자주 손을 들기도 합니다. 이로 인해 불필요한 노이즈가 많이 발생합니다.

연구진들은 여과 (Filtration) 단계를 추가했습니다. 이를 클럽의 문지기로 상상해 보세요.

문지기는 다음과 같은 규칙을 가지고 있습니다: "최근에 손을 들었다면, 다시 들기 전에 잠시 기다리세요."
이 문지기는 중요한 신호를 잃지 않으면서 불필요한 신호의 약 **47%**를 잘라냅니다. 사실, 노이즈를 제거함으로써 로봇은 이전보다 단어를 더 잘 이해하게 되었습니다.

3. "뇌" (그래프 신경망)

신호가 필터링되면 이를 이해해야 합니다. 일반적으로 컴퓨터는 소리를 직선 (시간선과 같은) 으로 봅니다. 하지만 이러한 신호들은 흩어져 있고 불규칙하기 때문에, 연구진들은 **그래프 신경망 (GNN)**을 사용했습니다.

GNN 을 직선이 아니라 소셜 네트워크 지도로 생각하세요.

각 "이벤트"(경비원이 손을 드는 것) 는 네트워크 내의 한 사람입니다.
시스템은 누가 누구 옆에 서 있고, 시간과 공간상에서 어떻게 연결되어 있는지 살펴봅니다.
데이터를 경직된 격자에 강제로 맞추는 대신, 시스템은 어떤 단어가 말해졌는지 파악하기 위해 연결의 역동적인 웹을 구축합니다. 이는 이러한 유형의 데이터에 훨씬 더 유연하고 효율적입니다.

4. "올인원 칩" (FPGA 구현)

이 논문의 가장 큰 성과는 강력한 컴퓨터에서 시뮬레이션하는 것을 넘어 전체 시스템을 단일의 작은 칩 (FPGA) 위에 구축했다는 점입니다.

비유: 마이크, 문지기, 그리고 뇌를 모두 단일의 작은 레고 블록 안에 구축한다고 상상해 보세요.
이점: 모든 것이 하나의 칩에 있기 때문에 데이터는 컴퓨터의 다른 부분들 사이를 왕복할 필요가 없습니다. 로컬에 머무는 것입니다. 이로 인해 시스템은 놀라울 정도로 빠르고 저전력입니다.

결과: 속도와 효율성

팀원들은 유명한 단어 목록 (Google Speech Commands) 으로 이 시스템을 테스트했습니다. 그들이 발견한 바는 다음과 같습니다:

정확도: 작은 칩에서 실행되도록 단순화된 후에도 약 **87%**의 확률로 단어를 정확하게 식별했습니다.
속도: 번개처럼 빠릅니다. 소리가 센서에 도달하는 순간부터 칩이 결정을 내리는 순간까지 35 마이크로초 미만이 소요됩니다. 이를 비교하자면, 사람이 눈을 깜빡이는 데는 약 300,000 마이크로초가 걸립니다. 칩은 눈이 깜빡이기 시작하는 시간 안에 결정을 내립니다.
전력: 매우 적은 전기를 사용합니다 (약 1.12 와트). 이는 작은 LED 전구의 전력량과 비슷합니다. 이는 배터리 구동 로봇이나 IoT 기기에 이상적입니다.

왜 이것이 중요한가

이 논문은 신경형 센서와 그래프 신경망을 단일 칩에 통합하여 실시간으로 원시 오디오를 처리한 시스템이 처음이라고 주장합니다.

소리를 복잡한 이미지로 변환한 후 분석하는 등 무거운 전처리가 필요한 다른 시스템들과 달리, 이 시스템은 원시 "이벤트"를 직접 처리합니다. 이는 무거운 작업을 건너뛰어 시간과 배터리 수명을 절약한다는 것을 의미하며, 배터리를 소모하지 않고 즉시 듣고 반응해야 하는 모바일 로봇과 스마트 기기에 이상적입니다.

기술 요약: 그래프 신경망을 활용한 뉴로모픽 청각 센서를 이용한 FPGA 기반 엔드투엔드 키워드 스포팅

문제 제기
모바일 로봇 및 사물인터넷 (IoT) 을 포함한 현대 임베디드 시스템은 높은 예측 정확도와 낮은 에너지 소비, 최소한의 지연 시간을 균형 있게 유지하는 효율적인 온디바이스 데이터 처리를 요구합니다. 기존의 오디오 처리 파이프라인은 고정된 샘플링 속도와 계산 집약적인 디지털 신호 처리 (DSP) 에 의존하며, 이는 종종 중복 데이터를 생성하고 상당한 전력을 소모합니다. 반면, 뉴로모픽 센서는 환경 변화가 발생할 때만 희소하고 이벤트 기반의 데이터를 생성함으로써 생체 영감을 받은 대안을 제시하지만, 이러한 센서를 단일 엣지 장치 내의 효율적인 처리 아키텍처와 통합하는 것은 여전히 과제로 남아 있습니다. 이전 연구들은 종종 합성적으로 생성된 이벤트 스트림에 의존하거나 센서와 처리 유닛을 분리하여, 물리적 뉴로모픽 센서에서 직접 원시 오디오를 처리할 수 있는 완전히 통합된 엔드투엔드 시스템을 단일 FPGA 상에서 구현하지 못했습니다.

방법론
저자들은 뉴로모픽 청각 센서 (NAS) 와 그래프 신경망 (GNN) 을 통합한 단일 필드 프로그래머블 게이트 어레이 (FPGA) 상에 구현된 통합 엔드투엔드 시스템을 제안합니다. 이 아키텍처는 세 가지 주요 단계로 구성됩니다:

뉴로모픽 센싱 (NAS): 시스템은 I2S 인터페이스를 통해 원시 아날로그 오디오를 희소하고 비동기적인 주소 이벤트 표현 (AER) 스트림으로 변환하는 완전 디지털 FPGA 기반 NAS 를 활용합니다. 이 센서는 스파이크 신호 처리 (SSP) 원리를 사용하여 펄스 코드 변조 (PCM) 샘플을 펄스 주파수 변조 (PFM) 를 통해 고주파 스파이크 열로 변환합니다. 저자들은 두 가지 토폴로지 구성을 구현했습니다:
- 캐스케이드: 생물학적 달팽이관을 모방하지만 누적 지연을 유발하는 스파이크 저역 통과 필터를 체인 형태로 연결합니다.
- 병렬: 입력 스파이크 열을 독립적인 스파이크 대역 통과 필터로 공급하여 누적 지연을 제거하고 모든 채널에 걸쳐 균일한 지연을 제공합니다.
  센서는 타임스탬프, 주파수 채널, 극성을 나타내는 튜플 $(t, c, p)$ 로 이벤트를 출력합니다.
이벤트 필터링: 높은 이벤트율과 채널 간 불균등한 분포를 해결하기 위해 하드웨어 친화적인 필터링 단계를 도입했습니다. 이 모듈은 누출 적분 - 발화 (LIF) 뉴런 모델을 모방하여 각 채널마다 감쇠 전위를 유지합니다. 이벤트는 전위가 특정 임계값을 초과할 때만 수용되며, 이를 통해 이벤트 수를 약 47% 감소시키면서 동시에 예측 정확도를 향상시킵니다. 필터링 매개변수에는 시간 양자화 인자, 전위 통합 가중치, 채널별 임계값 (일정, 선형, 지수 구성으로 테스트됨) 이 포함됩니다.
그래프 생성 및 GNN 처리: 필터링된 이벤트는 동적이고 시간 지향적인 그래프의 노드로 간주됩니다. 가장자리 (Edges) 는 새로운 이벤트와 정의된 시간 ( $R_t$ ) 및 채널 ( $R_c$ ) 반경 내의 이전 이벤트 사이에 생성됩니다. 이 그래프는 PointNetConv 레이어를 기반으로 한 GNN 아키텍처에 의해 처리되며, 이어지는 MaxPool 레이어는 10ms 윈도우 내에서 특징을 집계합니다. 네트워크 헤드는 키워드 클래스 확률과 신뢰도 점수를 출력하기 위해 선형 레이어와 GRU 기반 메모리 유닛으로 구성됩니다. 하드웨어에서 실시간 성능을 보장하기 위해 저자들은 고정된 클록 사이클이 아닌 순간적인 작업 부하에 따라 동적 이벤트 수용을 가능하게 하는 백프레셔 스케줄링 메커니즘과 인터모듈 버퍼링을 구현했습니다.

주요 기여
본 논문은 네 가지 주요 기여를 합니다:

데이터셋 공개: 저자들은 구글 스피치 커맨드 v2 (GSCv2) 벤치마크에서 파생된 여러 NAS 구성 (캐스케이드 및 병렬 모드 모두에서 32, 64, 128 채널) 으로 기록된 이벤트 기반 오디오 데이터셋을 공개했습니다.
하드웨어 인식 필터링: 계산 부하를 거의 절반으로 줄이면서 동시에 예측 정확도를 향상시키는 새로운 이벤트 필터링 방법이 제안 및 분석되었습니다.
아키텍처 최적화: 광범위한 제거 실험 (ablation studies) 을 통해 최적화된 특징 추출 및 동적 스케줄링 메커니즘을 포함한 특정 GNN 수정이 이루어졌으며, 이를 통해 지연 시간이나 처리량 제약을 위반하지 않고 센서와 네트워크를 단일 FPGA 에 통합할 수 있게 되었습니다.
최초의 엔드투엔드 구현: 이 연구는 물리적 뉴로모픽 청각 센서와 GNN 을 단일 FPGA 장치에 통합하여 실시간 키워드 스포팅을 수행하고, 기존 전처리 없이 원시 오디오 스트림을 직접 처리하는 최초의 시스템을 제시합니다.

실험 결과
시스템은 물리적 NAS 를 통해 처리된 구글 스피치 커맨드 v2 데이터셋에서 평가되었습니다.

정확도: 8 비트 양자화 후, 시스템은 32 채널 병렬 구성에서 **87.43%**의 정확도를 달성했으며, 64 채널 병렬 구성에서는 **86.9%**의 정확도를 달성했습니다.
지연 시간: 시스템은 32 채널 구성에서 25–35 µs의 엔드투엔드 지연 시간을 보였으며, 64 채널 구성에서는 25–42 µs를 보였습니다. 예측은 10ms 간격으로 생성됩니다.
전력 소비: 평균 전력 소비는 32 채널 구성에서 1.12 W, 64 채널 구성에서 1.16 W로 측정되었습니다.
자원 효율성: 이전 SoC FPGA 의 GNN 구현과 비교하여 제안된 설계는 자원 사용률 (LUT, DSP, BRAM) 을 크게 줄여 전체 시스템이 타이밍 위반 없이 200MHz 클록 주파수로 작동할 수 있게 했습니다.
비교: 제안된 방법은 유사한 데이터셋에서 보고된 대부분의 이전 스파이킹 신경망 (SNN) 및 상태 공간 모델 (SSM) 접근법보다 우수한 성능을 보였으며, 더 적은 파라미터 수 (59.84k 개 파라미터) 로 더 높은 정확도를 달성했습니다.

의의 및 주장
저자들은 이 작업이 기존 신호 전처리의 필요성을 제거하고 단일 장치에서 원시 오디오를 직접 처리할 수 있게 함으로써 효율적인 엣지 지능을 향한 중요한 단계라고 주장합니다. 뉴로모픽 데이터의 희소성과 그래프 기반 처리의 효율성을 활용함으로써, 시스템은 모바일 로봇 및 상호작용형 IoT 애플리케이션에 필수적인 높은 시간 해상도 (10ms 예측 업데이트) 와 낮은 지연 시간을 달성합니다. 논문은 사전 계산된 특징에 의존하거나 초당 한 번만 예측을 생성하는 다른 FPGA 기반 키워드 스포팅 시스템과 달리, 이 아키텍처는 원시 오디오를 지속적으로 처리하고 순간적인 작업 부하 조건에 적응한다고 강조합니다. 저자들은 다른 연구들이 표준 데이터셋에서 더 높은 정확도를 보고하지만, 이러한 접근 방식은 종종 추가적인 전처리 오버헤드와 지연 시간을 수반하는 반면, 이 시스템은 엔드투엔드 효율성과 실시간 응답성을 우선시한다고 지적합니다. 향후 연구는 실제 로봇 인간 - 기계 상호작용 시나리오에서 이 접근 방식을 검증하고, 추가 최적화를 위한 ASIC 구현을 조사할 계획입니다.