💻 computer science

Trilinear Compute-in-Memory Architecture for Energy-Efficient Transformer Acceleration

이 논문은 동적 연산자를 가진 트랜스포머 어텐션 계산을 비휘발성 메모리 재프로그래밍 없이 수행하여 에너지 효율과 처리 속도를 획기적으로 개선한 새로운 'TrilinearCIM' 아키텍처를 제안합니다.

원저자: Md Zesun Ahmed Mia, Jiahui Duan, Kai Ni, Abhronil Sengupta

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

원저자: Md Zesun Ahmed Mia, Jiahui Duan, Kai Ni, Abhronil Sengupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: "매번 집을 다시 짓는 비효율적인 공사"

지금까지의 AI 가속기 (전산 장치) 는 마치 매번 새로운 집을 짓는 건축 현장과 같았습니다.

상황: AI 가 글을 쓰거나 사진을 볼 때, 매번 새로운 정보 (질문, 키, 값) 를 처리해야 합니다.
기존 방식 (비효율적): 기존의 기술은 이 새로운 정보를 처리하기 위해, **매번 메모리 칩에 정보를 다시 기록 (재프로그래밍)**해야 했습니다.
- 비유: 요리사가 매번 새로운 재료를 손질할 때마다, 주방을 완전히 해체하고 다시 짓는 것과 같습니다. 재료를 다듬는 데 걸리는 시간보다 주방을 다시 짓는 데 걸리는 시간이 훨씬 더 길고, 에너지도 많이 소모하며, 주방 시설 (장비) 이 금방 닳아버립니다.
결과: AI 가 느려지고, 전기를 많이 먹으며, 장치가 금방 고장 납니다.

2. 해결책: "세 번째 손잡이가 달린 마법 문"

이 논문은 **'트릴리니얼 CIM (TrilinearCIM)'**이라는 새로운 기술을 제안합니다. 이는 **'이중 게이트 FeFET (DG-FeFET)'**이라는 특수한 소자를 사용합니다.

핵심 아이디어: 기존 소자는 '저장된 정보 (무게)'와 '들어오는 정보 (입력)' 두 가지만 처리할 수 있었습니다. 하지만 이 새로운 소자는 **세 번째 손잡이 (백 게이트)**가 있습니다.
비유:
- 기존 문: 문에 걸쇠 (저장된 정보) 가 있고, 사람이 (입력) 지나가면 문이 열립니다. 하지만 새로운 사람이 오면 걸쇠를 다시 바꿔야 합니다.
- 새로운 문 (TrilinearCIM): 문에 영구적으로 고정된 걸쇠가 있습니다. 여기에 세 번째 손잡이가 달려있는데, 이 손잡이를 돌리면 문이 열리거나 닫히는 정도가 실시간으로 바뀝니다.
- 효과: 새로운 사람 (데이터) 이 올 때마다 걸쇠를 다시 교체할 필요 없이, 세 번째 손잡이만 살짝 돌려주면 모든 계산이 끝납니다.

3. 결과: "에너지 절약과 속도 향상"

이 기술을 적용하면 어떤 일이 일어날까요?

에너지 절감 (약 46% 감소): 주방을 다시 짓는 (메모리 재기록) 일을 없앴으니, 전기세가 확 줄어듭니다.
속도 향상 (약 20% 빨라짐): 재건축 시간을 아꼈으니, 요리 (계산) 가 훨씬 빨리 끝납니다.
내구성 증가: 장비를 계속 해체하고 다시 짓지 않으므로, 장비의 수명이 훨씬 길어집니다.

4. 한계와 미래: "모든 상황에 완벽한 것은 아님"

이 기술은 텍스트 (BERT) 처리에는 매우 훌륭하지만, 이미지 (ViT) 처리에서는 아직 완벽하지 않습니다.

비유: 이 기술은 글자를 다룰 때는 아주 정교하지만, 사진의 미세한 색감 차이를 다룰 때는 조금 둔탁할 수 있습니다. (이미지는 아주 미세한 차이를 구별해야 하는데, 이 방식이 그 미세함을 약간 흐리게 만들 수 있음)
대신: 텍스트 처리나 긴 문서를 분석할 때는 이 방식이 압도적으로 유리합니다.

요약

이 논문은 **"AI 가 매번 메모리를 다시 기록해야 하는 비효율적인 습관을 버리고, '세 번째 손잡이'를 이용해 실시간으로 계산하는 새로운 방식을 개발했다"**고 말합니다.

이는 AI 가 더 적은 전기로, 더 빠르게, 그리고 더 오래 작동할 수 있는 길을 열어주며, 특히 긴 문서를 처리하거나 실시간 대화를 할 때 혁신적인 성능 향상을 가져올 것으로 기대됩니다.

1. 문제 정의 (Problem Statement)

Transformer 의 계산적 비용: Transformer 아키텍처 (BERT, ViT 등) 는 자기 주의 (Self-Attention) 메커니즘을 기반으로 하며, 이는 입력 시퀀스 길이에 대해 $O(N^2)$ 의 이차 복잡도를 가집니다. 이는 막대한 연산량과 에너지 소비를 유발합니다.
기존 CIM 의 한계 (Write Bottleneck): 메모리 내 연산 (Compute-in-Memory, CIM) 은 가중치 데이터 이동을 제거하여 CNN 과 같은 정적 가중치 작업에 효율적입니다. 그러나 Transformer 의 자기 주의 메커니즘은 매 입력마다 동적으로 생성되는 쿼리 (Q), 키 (K), 값 (V) 행렬을 필요로 합니다.
- 기존 CIM 가속기는 비휘발성 메모리 (NVM, 예: FeFET) 에 동적인 K, V 행렬을 매번 다시 프로그래밍 (Write) 해야 합니다.
- NVM 의 쓰기 (Write) 연산은 읽기 (Read) 에 비해 지연 시간이 길고, 에너지 소비가 크며, 내구성이 낮습니다.
- 이로 인해 "계산 - 쓰기 - 계산" 사이클이 반복되어 처리량 (Throughput) 이 저하되고 장치 수명이 단축되는 병목 현상이 발생합니다.
기존 해결책의 부족:
- 행렬 분해나 희소성 (Sparsity) 을 이용한 방법들은 쓰기를 줄일 수는 있지만 완전히 제거하지는 못합니다.
- 하이브리드 방식 (X-Former 등) 은 NVM 에 정적 가중치를 저장하고 동적인 주의 계산은 디지털 CMOS 로 처리합니다. 이는 내구성 문제를 해결하지만, NVM 의 높은 밀도와 효율성을 포기하고 CMOS 영역으로 회피하는 것이므로 'All-in-Memory'의 이점을 상실합니다.

2. 방법론 (Methodology)

저자들은 TrilinearCIM이라는 새로운 아키텍처를 제안하여 NVM 내에서의 동적 연산을 재프로그래밍 없이 수행합니다.

핵심 소자: 이중 게이트 FeFET (DG-FeFET)
- 기존 단일 게이트 FeFET 는 저장된 전도도 (가중치) 와 인가된 입력 전압 (2 개의 피연산자) 만을 처리합니다.
- DG-FeFET는 비휘발성 전도도를 저장하는 Top-Gate와, 채널 전도도를 동적으로 변조하는 Back-Gate를 갖습니다.
- Back-Gate 전압 ( $V_{BG}$ ) 은 Top-Gate 의 임계 전압을 변조하여 채널 전도도 ( $G_{DS}$ ) 를 선형적으로 조절합니다. 이를 통해 3 개의 피연산자 (Trilinear) 연산이 가능해집니다.
- 수식: $I_{DS} = V_{DS} \cdot G_0 \cdot (1 + \eta_{BG} \cdot V_{BG})$ $I_{D S} = V_{D S} \cdot G_{0} \cdot (1 + η_{B G} \cdot V_{B G})$
  - $G_0$ : Top-Gate 에 저장된 정적 가중치 (Static Weight)
  - $V_{DS}$ : 입력 활성화 (Input Activation)
  - $V_{BG}$ : 동적 변조 신호 (Dynamic Modulation)
Trilinear 연산 및 데이터 흐름:
- 정적 가중치: $W_Q, W_K, W_V$ 는 Top-Gate 에 한 번만 프로그래밍되고 고정됩니다.
- 동적 피연산자: 입력 시퀀스 $X$ 와 그 전치 행렬 $X^T$ , 그리고 계산된 점수 (Score) 는 Back-Gate 전압을 통해 동적으로 인가됩니다.
- 3 단계 데이터 흐름:
  1. Scaled Query 생성: $X \cdot W_Q^T / \sqrt{d_k}$ 를 단일 Trilinear MAC 으로 수행 (Back-Gate 에 상수 스케일 인자 적용).
  2. Score 합성: $R_1 \cdot W_K \cdot X^T$ 를 수행하여 중간 행렬 $K$ 를 생성하지 않고 직접 점수를 계산.
  3. Value 집계: $Score \cdot X \cdot W_V^T$ 를 수행.
- 이 과정을 통해 중간 텐서 ( $Q, K, V$ ) 를 DRAM 에 저장하거나 NVM 에 다시 쓰는 과정이 완전히 제거됩니다.
아키텍처 구성:
- Hierarchical 구조 (Chip $\to$ Tile $\to$ PE $\to$ SubArray) 를 가지며, 아날로그 CIM 어레이와 디지털 SFU(Softmax, LayerNorm 등) 가 결합되어 있습니다.
- TransCIM 시뮬레이션 프레임워크를 사용하여 엔드 - 투 - 엔드 평가를 수행했습니다.

3. 주요 기여 (Key Contributions)

새로운 Trilinear CIM 원시 연산: DG-FeFET 의 전기적 특성을 활용하여 $Y = A \cdot B \cdot C$ 형태의 3 피연산자 연산을 메모리 내에서 구현했습니다.
동적 NVM 쓰기 제거: 정적 가중치는 Top-Gate 에, 동적 입력은 Back-Gate 에 매핑하여 ferroelectric 상태의 런타임 재프로그래밍 없이 전체 Attention 연산을 수행합니다. 이는 내구성 (Endurance) 과 지연 시간 (Latency) 문제를 근본적으로 해결합니다.
간소화된 데이터 흐름 및 버퍼 압력 감소: 중간 동적 행렬을 전역 버퍼에 저장할 필요가 없어져 버퍼 용량 요구사항이 약 3 배 감소합니다.
계산 효율성 회복: 동적 쓰기 오버헤드를 제거함으로써 기존 CIM 대비 에너지와 지연 시간을 획기적으로 개선하여, Transformer 워크로드에 대한 'All-in-Memory' 컴퓨팅의 경쟁력을 복원했습니다.

4. 실험 결과 (Results)

BERT-base (GLUE 벤치마크) 와 ViT-base (ImageNet, CIFAR) 에서 평가되었습니다.

성능 및 에너지 효율:
- 지연 시간: 기존 FeFET CIM 대비 최대 20.4% 개선 (Sequence Length 64 기준).
- 에너지 소비: 기존 FeFET CIM 대비 최대 46.6% 감소.
- 처리량 (Throughput): 25.5% 향상.
- 면적 오버헤드: Back-Gate 드라이버 회로로 인해 약 37.3% 증가했으나, 에너지 효율성 향상과 상쇄됩니다.
정확도 (Accuracy):
- NLP (GLUE): 9 개 태스크 중 7 개에서 기존 Bilinear CIM(동적 쓰기 방식) 보다 높은 정확도를 기록했습니다. 특히 QNLI(+3.74%), MNLI(+3.14%) 에서 큰 향상을 보였습니다. 이는 반복적인 아날로그 - 디지털 변환 및 재매핑으로 인한 오차가 제거되었기 때문입니다.
- Computer Vision (ViT): CIFAR 및 ImageNet 에서 Trilinear 방식이 Bilinear 방식보다 정확도가 다소 낮았습니다. 이는 ViT 의 Attention 맵이 희소하고 극단적인 아웃라이어 값을 갖는 특성상, Back-Gate DAC 의 양자화 오차가 민감하게 작용하기 때문입니다.
내구성: 런타임 동안 NVM 쓰기 횟수가 0으로, 장치 수명 문제를 완전히 해결했습니다.

5. 의의 및 결론 (Significance & Conclusion)

아키텍처적 혁신: Transformer 의 동적 데이터 흐름을 NVM 내부에서 완전히 처리할 수 있는 첫 번째 아키텍처로서, 메모리 - 계산 분리 (Von Neumann bottleneck) 와 NVM 쓰기 병목 현상을 동시에 해결했습니다.
트레이드오프 관리: 면적 오버헤드 (약 37%) 와 Vision 작업에서의 정확도 하락이라는 단점이 있지만, NLP 작업에서의 뛰어난 에너지 효율성과 내구성 이점을 통해 Transformer 가속기의 새로운 방향성을 제시합니다.
미래 전망: 이 연구는 동적 연산이 필요한 AI 워크로드를 위한 CIM 기술의 한계를 극복하고, 차세대 저전력 AI 가속기 설계에 중요한 통찰을 제공합니다. 특히 긴 시퀀스 처리가 필요한 문서 분석이나 대화형 AI 에 있어 동적 쓰기 제거의 이점은 더욱 커질 것으로 예상됩니다.

이 논문은 DG-FeFET 소자의 물리적 특성을 창의적으로 활용하여, Transformer 의 핵심 병목인 동적 Attention 연산을 메모리 내에서 효율적으로 수행하는 길을 열었다는 점에서 큰 의의가 있습니다.