⚡ 전기공학

Variability-Aware Memristor Circuit for Hierarchical Bayesian Temporal Sampling

본 논문은 제어된 시간적 확률성과 계층적 훈련을 활용하여 베이지안 신경망을 효율적으로 구현함으로써, MIT-BIH 부정맥 분류 작업에서 추론 정확도를 유지하면서도 집단 부호화 방식 대비 메모리 점유율을 2.7배 감소시킨 변동성 인지형 멤리스터 회로를 제시한다.

원저자: Tarcisius Januel, Tifenn Hirtzlin, Olivier Billoint, Djohan Bonnet, Louis Hutin, Damien Querlioz, Jean-Michel Portal, Elisa Vianello

게시일 2026-09-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tarcisius Januel, Tifenn Hirtzlin, Olivier Billoint, Djohan Bonnet, Louis Hutin, Damien Querlioz, Jean-Michel Portal, Elisa Vianello

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능 시스템은 단순히 예측을 하는 것을 넘어, 그 예측에 대해 자신이 얼마나 확신하는지를 이해하도록 점점 더 많은 요구를 받고 있습니다. 이러한 "불확실성 인지(uncertainty-aware)" 컴퓨팅으로의 전환은 베이즈 추론(Bayesian inference)이라는 수학적 접근 방식에 의존하며, 여기서 시스템은 모든 지식을 단일한 고정된 사실이 아닌 가능성의 범위로 취급합니다. 이를 수행하기 위해 시스템은 이러한 범위를 바탕으로 다양한 결과를 테스트하기 위해 끊임없이 무작위 샘플을 생성해야 합니다. 표준 컴퓨터 칩에서 이를 효율적으로 수행하는 것은 방대한 양의 메모리와 에너지를 필요로 하기 때문에 어렵습니다. 연구자들은 이 계산에 필요한 무작위성을 자연스럽게 모방할 수 있는 방식으로 정보를 저장할 수 있는 멤리스터(memristor)라는 미세한 전자 부품을 사용하여 이를 해결하기를 오랫동안 희망해 왔습니다. 그러나 이 부품들의 물리적 실체는 걸림돌이 되어 왔습니다. 이들이 가진 바로 그 무작위성이 정밀한 과학적 작업에 사용하기에는 너무 혼란스럽고 예측 불가능한 경우가 많았기 때문입니다.

한 연구팀은 이제 이러한 부품들을 특정 과업을 위해 활용하는 새로운 방법을 입증하여, 오류의 원인을 신뢰할 수 있는 도구로 효과적으로 탈바꿈시켰습니다. 그들은 하프늄 산화물로 만들어진 유형의 멤리스터를 표준 실리콘 칩에 통합하여 맞춤형 회로를 구축했습니다. 연구팀은 이 작은 장치들이 스스로 완벽한 무작위성을 생성하도록 강요하는 대신, 정보의 저장과 무작위성의 생성을 분리하도록 설계했습니다. 이 설정에서 세 개의 미세한 장치가 하나의 지식을 나타내기 위해 함께 그룹화됩니다. 두 개는 해당 지식의 평균값을 저장하고, 세 번째는 그 값이 얼마나 변동될지를 결정하는 제어 노브(control knob) 역할을 합니다. 결정적으로, 실제 무작위 변동은 장치 자체에서 발생하는 것이 아닙니다. 대신, 회로는 외부로부터 유입되는 일정하고 통제된 백색 잡음(white noise)의 흐름을 시스템에 주입합니다. 세 번째 멤리스터는 단순히 이 외부 잡음이 얼마나 통과할지를 조절하며, 결과적으로 불확실성의 수준을 튜닝하는 역할을 합니다.

연구진은 먼저 멤리스터가 스스로 필요한 무작위성을 생성할 수 있는지 테스트했습니다. 그들은 장치 내부의 자연적인 변동이 일관되지 않고 시간에 따라 변하는 패턴을 따르기 때문에, 시스템에 필요한 정밀한 샘플링에는 부적합하다는 것을 발견했습니다. 노이즈는 장치의 특정 이력에 너무 의존적이었으며 구성 요소마다 판이하게 달랐습니다. 외부 잡음원을 도입함으로써 그들은 이러한 한계들을 완전히 우회했습니다. 외부 잡음은 매번 동일한 깨끗하고 일정한 무작위 흐름을 제공한 반면, 멤리스터는 오직 정밀한 볼륨 조절기 역할만을 수행했습니다. 이러한 분리를 통해 연구팀은 평균값과 불확실성의 양을 독립적으로 프로그래밍할 수 있었으며, 이는 이처럼 소형화된 하드웨어로는 이전에 달성하기 어려웠던 일이었습니다.

이 하드웨어를 실제 작업에 유용하게 만들기 위해, 연구팀은 칩의 물리적 특성을 고려한 특별한 훈련 방법을 개발했습니다. 그들은 개별 멤리스터 사이의 피할 수 없는 미세한 차이를 수정해야 할 오류가 아니라, 시스템 행동의 알려진 부분으로 취급했습니다. 이러한 물리적 변동을 포함하는 모델을 구축함으로써, 실제 하드웨어의 제약 조건 내에서 완벽하게 작동하도록 신경망을 훈련할 수 있었습니다. 연구팀이 표준 의료 데이터베이스의 심장 리듬 분류 작업을 통해 이 시스템을 테스트했을 때, 결과는 유망했습니다. 이 새로운 접근 방식은 불확실성을 표현하기 위해 대규모 장치 집단에 의존했던 이전 방법들보다 훨씬 적은 메모리를 사용했습니다. 또한 예측의 정확도와 그 예측에 대한 시스템의 확신도를 추정하는 능력을 성공적으로 유지했습니다. 이 연구는 복잡하고 불확실성을 인지하는 추론을 수행할 수 있는 소형 에너지 효율적 칩을 구축하는 명확한 경로를 보여주며, 인간의 뇌와 같은 미묘함을 가지고 생각할 수 있는 하드웨어에 한 걸음 더 다가서고 있습니다.

기술 요약: 계층적 베이지안 시간적 샘플링을 위한 가변성 인지형 멤리스터 회로

문제 정의
베이지안 신경망(BNNs)은 불확실성을 정량화하기 위해 확률적 시냅스 가중치를 저장하고 샘플링할 수 있는 하드웨어를 필요로 한다. 팝퓰레이션 코딩(population coding)은 소자 간(D2D) 가변성을 활용하여 동일한 명목상의 장치 배열을 사용하는 방식이지만, 각 시냅스 가중치마다 샘사플의 개수만큼의 소자가 필요하므로 상당한 메모리 오버헤드를 초래한다. 시간적 샘플링(temporal sampling)은 단일 비트 셀을 반복적으로 사용하여 고유한 사이클 간(C2C) 또는 읽기 간(R2R) 가변성으로부터 샘플을 생성하는 더 압축적인 대안을 제공한다. 그러나 하드웨어에서 시간적 샘플링을 구현하는 것은 도전적인 과제인데, 이는 고유한 멤리스터의 변동성이 견고한 베이지안 추론에 필요한 제어 가능성, 재현성 및 스펙트럼 특성(구체적으로, 화이트 노이즈 형태가 아닌 플리커 노이즈 형태인 경우가 많음)을 결여하는 경우가 많기 때문이다. 또한, 기존의 접근 방식들은 반복적인 쓰기 사이클로 인한 소자 내구성 저하 없이 평균과 표준편차를 독립적으로 제어하는 데 어려움을 겪는다.

방법론
저자들은 분포 파라미터의 비휘발성 저장과 시간적 무작위성 생성을 분리하는 멤리스터 기반의 시간적 코딩 회로를 제안한다. 방법론은 세 가지 주요 구성 요소로 이루어진다:

회로 아키텍처:
- 시스템은 130 nm CMOS 공정의 BEOL(back-end-of-line)에 TiN/Ti/HfOx/TiN 스택을 사용하여 제작된 2048-멤리스터 데모스트레이터(64×32 어레이)를 사용한다.
- 각 시냅스 가중치는 세 개의 멤리스터 소자를 사용하여 인코딩된다: 하나는 확률적 성분( $G_\sigma$ )을 제어하기 위함이고, 나머지 두 개의 차동 소자는 양(+)과 음(-)의 평균 기여( $G_{\mu+}$ 및 $G_{\mu-}$ )를 인코딩한다.
- 고유한 소자 노이즈에 의존하는 대신, 회로는 $\sigma$ 브랜치에 외부에서 생성된 화이트 노이즈 소스를 주입한다. 멤리스터 컨덕턴스 $G_\sigma$ 는 프로그래밍 가능한 이득(gain) 역할을 하여, 유효 RC 차단 주파수를 제어함으로써 출력에 도달하는 변동의 진폭을 조절한다.
- 평균( $\mu$ )은 두 차동 브랜치의 전류 차이로부터 유도되며, 표준편차( $\sigma$ )는 노이즈가 주입된 브랜치의 변동으로부터 유도된다. 출력은 전하 트랜스 임피던스 증폭기(CTIA)에 의해 처리되어 가우시안 분포 $N(\mu, \sigma^2)$ 를 따르는 시간적 샘플을 생성한다.
고유 가변성 특성 분석:
- 저자들은 고유한 멤리스터 가변성(D2D, C2C, R2R)이 시간적 샘플링에 불충분하다는 것을 실험적으로 입증했다. R2R 가변성은 너무 작고, 소자 전체에 걸쳐 분산되어 있으며, 프로그래밍된 컨덕턴스 상태와 무관한 것으로 나타났다.
- 스펙트럼 분석 결과, 고유한 R2R 변동은 요구되는 화이트 노이즈 스펙트럼( $\beta = 0$ )이 아니라 플리커 노이즈의 특징인 $1/f^\beta$ 의존성( $\beta \approx 1$ )을 따르는 것으로 밝혀졌다.
하드웨어 인지 학습 (계층적 변분 모델):
- $\mu$ 와 $\sigma$ 를 인코딩하는 멤리스터의 잔여 D2D 가변성을 해결하기 위해, 저자들은 계층적 확률 모델을 개발했다. 이들은 실험적으로 구현된 가중치를 평균 벡터 $M$ 과 공분산 행렬 $\Sigma$ 를 갖는 이변량 가우시안 분포으로 정의되는 "확률적 타원 상태(stochastic elliptical states)"로 취급한다.
- 학습은 **계층적 변분 모델(HVM)**을 사용하여 수행된다. 연속적인 은닉 타원 분포( $\epsilon_H$ )가 최적화 변수로 사용된다. 각 학습 단계에서, 이 연속적 상태는 칩 측정에서 유도된 이산 코드북으로부터 얻은 가장 가까운 실험적 실현 가능 상태( $\epsilon_Q$ )로 투영된다.
- 베이지안 손실과 그래디언트는 양자화된 상태 $\epsilon_Q$ 에서 평가되며, 이를 통해 네트워크가 사후 학습으로 오류를 보정하는 대신 하드웨어의 물리적 제약 조건 및 불확실성 통계에 직접 맞추어 학습하도록 보장한다.

주요 결과

제어된 확률성: 제안된 아키텍처는 외부 화이트 노이즈가 주입될 때 멤리스터 컨덕턴스 $G_\sigma$ 와 출력 표준편차 $\sigma(V_{out})$ 사이에 선형적이고 프로그래밍 가능한 관계를 성공적으로 구축했다. 노이즈 주입이 없을 경우, 그 관계는 비단조적이며 신뢰할 수 없다.
스펙트럼 순도: 외부 주입 시 출력 노이즈 스펙트럼은 약 평탄한 형태( $\beta = 0$ )를 보이며, 이는 화이트 노이즈 생성을 확인시켜 준다. 반면, 평균 브랜치의 고유 노이즈는 무시할 수 있는 수준으로 유지된다.
성능: MIT-BIH 부정맥 분류 작업에서, 제안된 방식은 동등한 팝퓰레이션 코딩 구현에 비해 2.7배 감소된 메모리 풋프린트를 달s성했다.
정확도 및 불확실성: 하드웨어 인지 학습은 베이지안 추론의 정확도와 불확실성 추정치를 보존한다. 시스템은 유한한 수의 시간적 샘플만으로도 분류 및 분포 외(OOD) 탐지 성능의 대부분을 복구할 수 있음을 보여주며, 이는 샘플링 비용과 정확도 사이의 제어 가능한 트레이드오프를 제공한다.

의의 및 주장
본 논문은 분포 파라미터의 저장과 시간적 무작위성 생성을 분리함으로써 멤리스터 소자를 이용한 압축된 베이지안 추론의 경로를 구축했다고 주장한다. 본 연구의 의의는 다음과 같다:

확장성: 단일 셀(파라미터 제어를 위해 세 개의 소자 사용)과 시간적 샘플링을 사용함으로써, 팝퓰레이션 코딩의 메모리 오버헤드를 피할 수 있다.
강건성: 외부 노이즈 소스의 명시적 모델링과 하드웨어 비이상성을 고려한 설계는 분포를 형성하기 위한 반복적인 쓰기 사이클의 필요성을 없애며, 시스템이 하드웨어의 비이상적 특성 하에서도 강건하게 유지되도록 한다.
하드웨어-소프트웨어 공동 설계: 실험적으로 측정된 소자 통계치를 학습 루프(HVM을 통해)에 통합함으로써, 네트워크가 오류를 사후에 보정하는 대신 특정 제조된 하드웨어의 확률적 특성에 직접 적응할 수 있게 한다.

저자들은 이 아키텍처가 비휘발성 메모리 풋프린트를 늘리지 않고도 시간 경과에 따라 확률적 샘플의 수를 증가시킬 수 있게 함으로써, 확장 가능한 베이지안 하드웨어의 핵심 병목 현상을 해결한다고 결론짓는다.

유사한 논문