Time Domain Near Memory Computing Engine

기술 요약: 시간 영역 근접 메모리 컴퓨팅 엔진

문제 제기
AI 워크로드의 급속한 성장은 에너지 효율적인 컴퓨팅 아키텍처에 대한 필요성을 고조시켰는데, 이는 데이터 이동이 종종 계산 자체보다 훨씬 더 많은 에너지를 소비하기 때문입니다. 완전히 디지털 아키텍처는 고해상도 계산을 위한 강력한 확장성을 제공하지만, 8 비트 미만 정밀도에서는 에너지 효율성 측면에서 어려움을 겪습니다. 반면, 아날로그 인메모리 컴퓨팅 (IMC) 은 저정밀도 워크로드에서 뛰어난 에너지 효율성을 입증하지만, 주변 디지털 - 아날로그 변환기 (DAC) 와 아날로그 - 디지털 변환기 (ADC) 와 관련된 전력, 면적 및 설계 오버헤드로 인해 고통받습니다. 더 나아가, 전압 영역 데이터 변환기는 근본적인 전력 확장 한계에 직면해 있습니다. 열 잡음 제약 ($kT/C$) 과 축소된 기술에서의 전압 헤드룸 감소로 인해, 1 비트의 해상도를 개선하는 것은 일반적으로 4 배의 전력 증가를 요구합니다.

방법론
이러한 과제를 해결하기 위해, 본 연구는 저정밀도 곱셈 - 누적 (MAC) 연산을 위해 설계된 시간 영역 근접 메모리 컴퓨팅 아키텍처를 제안합니다. 이 시스템은 시간 영역에서 곱셈을 수행하면서도 디지털 친화적인 인터페이스를 유지합니다. 핵심 방법론은 다음과 같습니다:

1. 입력 인코딩: 디지털 입력 벡터는 N-펄스 발생기(RTL 합성을 통해 구현됨) 를 사용하여 시간 영역 신호로 변환됩니다. 생성된 펄스의 수는 입력 코드에 비례합니다 (예: 1111의 4 비트 입력은 16 개의 펄스를 생성함).
2. 가중치 변환: SRAM 에 저장된 디지털 가중치는 **4 비트 전류 스티어링 DAC(CSDAC)**를 사용하여 아날로그 전류로 변환됩니다.
3. 곱셈: 곱셈 연산은 N-펄스 발생기가 생성한 펄스 지속 시간 ($T_{pulse}$) 동안 DAC 출력 전류 ($I_{DAC}$) 를 커패시터에 적분함으로써 실현됩니다. 결과 전압은 $V_{MAC} = (I_{DAC} \cdot T_{pulse}) / C$입니다.
4. 누적 방식: 이러한 시간 영역 곱을 누적하기 위한 두 가지 명확한 아키텍처가 조사 및 비교됩니다:
   • 아키텍처 I(지연 셀 기반): 전류 제한 인버터의 캐스케이드 체인을 사용합니다. 각 MAC 연산의 전압은 후속 단계의 지연을 제어합니다. 체인의 총 지연은 누적된 합을 나타냅니다.
   • 아키텍처 II(카운터 기반): 각 곱셈 셀의 지연을 카운터를 사용하여 독립적으로 측정합니다. 그런 다음 개별 지연 카운트가 디지털 방식으로 합산됩니다. 이 접근 방식은 비선형 지연 단계를 캐스케이드하는 것을 방지합니다.

주요 기여

• 하이브리드 시간 영역 접근법: 이 논문은 전압 영역 변환기의 오버헤드를 완화하면서 시간 영역에서 작동함으로써 아날로그 컴퓨팅의 에너지 효율성을 활용하는 새로운 아키텍처를 제시합니다.
• 이중 누적 분석: 고처리량 캐스케이드 지연선 방식과 고선형성 카운터 기반 방식에 대한 두 가지 누적 전략에 대한 상세한 비교 분석을 제공합니다.
• RTL-아날로그 공동 설계: 기술 이식성을 보장하기 위해 N-펄스 발생기와 카운터는 RTL 합성을 통해 구현되는 반면, 전류 스티어링 DAC 는 아날로그 도메인에 남아 있습니다.
• 프로토타입 구현: 1 V 전원 공급을 가진 65 nm 공정에서 4×4 MAC 프로토타입이 구현되었습니다.

결과
제안된 4×4 MAC 프로토타입은 40 MHz에서 작동하며, 전력 소비는 42 µW로, 에너지 효율성은 7.62 TOPS/W를 달성했습니다.

• 선형성 vs. 처리량 트레이드오프:
  • 카운터 기반 아키텍처는 지연 오류가 한 단계에서 다음 단계로 전파되는 것을 방지하기 때문에 이상적인 응답을 거의 따르는 뛰어난 선형성을 보여줍니다. 그러나 시간 양자화 잡음에 시달리며 순차적 측정이 필요하여 처리량이 낮고 디지털 제어 오버헤드가 높습니다.
  • 지연 셀 기반 아키텍처는 단일 전파 이벤트에서 누적을 수행함으로써 더 높은 처리량과 더 낮은 제어 오버헤드를 제공합니다. 그러나 시뮬레이션 결과에 따르면 행렬 차원이 증가함에 따라 캐스케이드된 지연 셀의 비선형 특성이 누적되어 이상적인 선형 응답에서 상당한 편차를 초래합니다.
• 설계 제약: 시스템은 PMOS 전류 제한 장치의 선형 작동 범위 (약 300 mV) 에 의해 제한됩니다. 결과적으로 현재 구현은 4 비트 정밀도로 제한됩니다.

의의 및 주장
이 논문은 시간 영역 근접 메모리 컴퓨팅이 전압 영역 데이터 변환기의 전력 확장 한계를 우회함으로써 저정밀도 AI 워크로드에 대한 유망한 대안을 제공한다고 주장합니다. 저자들은 현재 4 비트 해상도가 고정밀도 작업에 대한 즉각적인 적용을 제한하지만, 이 아키텍처가 향후 확장의 기초를 제공한다는 점을 지적하며 에너지 효율적인 엣지 AI 로 나아가는 한 걸음으로 자신의 작업을 위치시킵니다.

저자들은 현재 설계가 지연 셀 방식의 선형성 문제와 카운터 기반 방식의 해상도 한계로 제한됨을 겸손하게 인정합니다. 그들은 모든 최첨단 작업에 대한 즉각적인 우월성을 주장하지는 않지만, 보고된 성능 지표에 사용된 지연 셀 기반 아키텍처가 작동 주파수와 제어 오버헤드의 유리한 균형을 제공한다고 강조합니다. 향후 작업은 편향 최적화, RC 기반 지연 셀, 및 보정 기술을 통해 선형성을 개선하고 아키텍처를 8 비트 작동으로 확장할 가능성을 모색하는 데 초점을 맞출 것으로 확인되었습니다.