기술 요약: 확장 가능하고 에너지 효율적인 아날로그 순환 연산을 위한 하드웨어-소프트웨어 공동 설계

문제 제기

환경 센서 및 생체 이식 장치와 같은 상시 작동형 인공지능 (AI) 응용 분야는 종종 마이크로와트 미만의 수준에서 초저전력 소비를 요구합니다. 아날로그 회로는 이러한 효율성을 달성할 수 있는 경로를 제공하지만, 기존 아날로그 구현은 대부분 순방향 (feedforward) 아키텍처로 제한되어 있습니다. 이러한 아날로그 회로를 순환 (recurrent) 동역학으로 확장하는 것은 역사적으로 시간적 피드백 루프를 통한 아날로그 잡음의 누적으로 인해 비현실적인 것으로 간주되어 왔습니다. 또한, 현재의 디지털 엣지 AI 솔루션 (예: 마이크로컨트롤러에서의 TinyML) 은 밀리와트 수준에서 작동하며, 서브스레숄드 아날로그 회로가 이론적으로 달성할 수 있는 수준보다 수 배에서 수 천 배 높은 전력 소모를 보입니다. 병렬화 가능한 학습, 다중 안정 메모리, 아날로그 연산, 그리고 마이크로와트 미만의 전력 소비를 동시에 지원하는 아키텍처는 부재합니다.

방법론

저자들은 **이중 안정 메모리 순환 단위 (Bistable Memory Recurrent Units, BMRUs)**를 중심으로 한 하드웨어-소프트웨어 공동 설계 접근법을 제안합니다. 이는 이산적 (discrete-valued) 출력과 히스테리시스 동역학을 특징으로 하는 순환 신경망 (RNN) 의 한 유형입니다. 방법론은 세 가지 주요 단계로 진행됩니다:

1. 알고리즘 재형성 (1 사분면 BMRU):
   양극성 출력과 입력 의존성 임계값에 의존하는 표준 BMRU 공식은 단순한 단극성 (unipolar) 전류 모드 아날로그 회로와 호환되지 않습니다. 저자들은 BMRU 를 1 사분면 (First-Quadrant, FQ) BMRU로 재형성합니다. 이 변형은 음이 아닌 값으로만 작동하며, 학습 중에는 결정되지만 추론 중에는 일정한 고정 임계값 ($\beta_{lo}, \beta_{hi}$) 을 활용합니다. 이 재형성은 차동 쌍이나 음전원 공급 없이 단일 엔드 전류 모드 회로에 직접 매핑할 수 있게 하면서도, 원래 모델의 표현력과 학습 가능성을 유지합니다.

2. 회로 구현:
   FQ BMRU 를 구현하기 위해 원리부터 설계된 맞춤형 초저전력 전류 모드 아날로그 회로가 개발되었습니다.

   • 전류 모드 동작: 모든 신호는 전류로 표현되며, 서브스레숄드 MOS 트랜지스터의 지수적 I-V 관계를 활용하여 자연스러운 동적 범위 압축과 피코암페어 수준의 동작을 가능하게 합니다.
   • 트랜지스터 전용 설계: 회로는 저항, 커패시터, 인덕터를 배제하여 진정한 모놀리식 통합을 달성합니다. BMRU 의 순간 수렴은 기존 RNN 이나 상태 공간 모델 (SSM) 이 필요로 하는 온칩 커패시터의 필요성을 제거합니다.
   • 1 대 1 매핑: 학습된 모든 파라미터는 특정 회로 소자에 직접 매핑됩니다. 가중치는 전류 미러의 트랜지스터 폭 비율에 해당하며, 임계값과 이득은 바이어스 전류에 해당합니다.
   • 이중 안정 셀: 핵심 셀은 히스테리시스를 구현하는 9 트랜지스터 전류 모드 슈미트 트리거입니다. 이는 고 스위칭 지점 ($I_{thresh}$), 출력 진폭 ($I_{gain}$), 그리고 히스테리시스 폭 ($I_{width}$) 의 독립적 프로그래밍 가능성을 제공합니다.

3. 검증 파이프라인:
   네트워크는 JAX/Flax 를 사용하여 소프트웨어 환경에서 완전히 학습됩니다. 학습된 파라미터는 이후 X-FAB 180 nm CMOS 기술을 사용한 Cadence Spectre 트랜지스터 레벨 시뮬레이션에서 추론을 위해 트랜지스터 치수와 바이어스 전류로 매핑됩니다. 이 고정밀 소프트웨어 모델은 물리적 하드웨어의 대리 모델 역할을 하여, 트랜지스터 레벨에서는 계산적으로 불가능한 대규모 잡음 및 전력 분석을 가능하게 합니다.

주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

• 1 대 1 하드웨어-소프트웨어 대응: FQ BMRU 공식은 각 학습된 파라미터가 단일 프로그래밍 가능한 회로 소자에 매핑되도록 보장합니다. 트랜지스터 레벨 시뮬레이션은 모든 중간 신호 단계에서 소프트웨어 예측과 회로 동역학 간의 거의 완벽한 일치를 확인합니다.
• 구조적 잡음 내성: BMRU 의 이산적 출력은 아날로그 잡음에 대한 구조적 장벽 역할을 합니다. 각 셀 경계에서 히스테리시스 임계값화는 누적된 아날로그 잡음을 최소 20 배 이상 억제하여, 역사적으로 아날로그 순환을 방해해 온 잡음 누적 장벽을 깨뜨립니다.
• 저비용 순환: 전력 확장성 분석에 따르면, 순방향 층 (완전 연결) 은 상태 차원에 따라 2 차적으로 확장되는 반면, BMRU 순환 층은 선형적으로 확장됩니다. 결과적으로 아날로그 순방향 백본에 시간적 처리 기능을 추가하는 것은 오직 작고 선형적으로 확장되는 순차적 전력 비용만 수반합니다.
• 마이크로와트 미만 동작: 최소한의 개념 증명 네트워크의 RNN 코어는 클럭이 없는 연속 시간 동역학으로 서브스레숄드 영역에서 완전히 작동하며, 연속 추론 중 약 100 nW 의 전력 소비를 달성합니다.

결과

저자들은 여러 벤치마크와 시뮬레이션을 통해 접근법을 검증합니다:

• 키워드 감지 (KWS): Google Speech Commands 데이터셋 (특히 "yes" 대 기타 작업) 에서, 아날로그 구현은 소프트웨어에서 98.08% 의 정확도를 달성했으며, 트랜지스터 레벨 시뮬레이션에서는 상태 차원 $d=16$에 대해 96.98% 의 정확도를 보였습니다. 하드웨어 검증을 위해 사용된 최소 $d=4$ 구성의 경우, 하드웨어 예측은 50 개 테스트 케이스 중 49 개에서 소프트웨어 예측과 일치했으며, 단일 불일치는 결정 경계 동점 (tie) 에서 발생했습니다.
• 잡음 강건성: sMNIST, pMNIST, dKWS 벤치마크에 걸친 대규모 잡음 분석은 FQ BMRU 가 측정된 아날로그 잡음 수준에서 완전한 정확도를 유지하는 반면, 선형 순환 단위 (LRU) 는 치명적으로 실패함을 보여줍니다. FQ BMRU 는 측정된 아날로그 잡음 크기의 약 2 배까지 강건성을 유지합니다.
• 전력 효율성: $d=4$에서 RNN 코어는 약 100 nW 를 소비합니다. 전력 분해 분석은 상태 차원이 증가함에 따라 순환 셀의 상대적 전력 기여도가 순방향 층에 비해 감소함을 보여주어, 순환의 선형적 순차 비용을 확인합니다.
• 일반화: 이 접근법은 11 개 클래스의 다중 클래스 숫자 인식으로 일반화되어 경쟁력 있는 정확도와 개선된 출력 마진 분리를 보이며, 마이크로와트 미만 추정치 내에 머무릅니다.

중요성과 주장

본 논문은 구조적 잡음 내성과 병렬화 가능한 학습을 결합한 최초의 완전 아날로그 RNN 구현을 제시한다고 주장합니다. 이산적, 히스테리시스 동역학이 초저전력 전류 모드 회로에 매핑될 수 있음을 입증함으로써, 저자들은 아날로그 순환의 장벽이 극복되었음을 주장합니다.

이 연구의 중요성은 순환 아키텍처에 대해 이전에는 달성 불가능했던 전력 수준에서 시간적 처리 기능을 갖춘 상시 작동형 엣지 AI를 가능하게 할 잠재력에 있습니다. 저자들은 기존 또는 미래의 아날로그 순방향 플랫폼이 원칙적으로 BMRU 셀을 최소한의 추가 전력 비용으로 통합함으로써 시간적 지능을 얻을 수 있다고 주장합니다. 이 공동 설계 접근법은 지속적 메모리에 대한 알고리즘적 요구 사항과 서브스레숄드 아날로그 하드웨어의 물리적 제약 사이의 간극을 메우며, 환경 모니터링 및 생체 이식 장치와 같은 응용 분야를 위한 에너지 효율적인 연속 시간 추론을 위한 경로를 제시합니다.

저자들은 한계에 대해 겸손하게 언급합니다: 현재 결과는 180 nm CMOS 에서 트랜지스터 레벨 시뮬레이션을 통해 검증되었으며, 물리적 제작을 기다리고 있습니다. 또한, 다중 클래스 및 복잡한 벤치마크는 현실적인 잡음 모델로 소프트웨어에서 평가되었으나, 하드웨어 검증은 현재 이진 키워드 감지에 초점을 맞추고 있습니다.