Precision-Scalable Microscaling Datapaths with Optimized Reduction Tree for Efficient NPU Integration

이 논문은 기존 마이크로스케일링 (MX) MAC 설계의 한계를 극복하기 위해 하이브리드 정밀도 확장 가능 축소 트리를 제안하고 SNAX 플랫폼에 통합하여, 다양한 MX 포맷에서 높은 에너지 효율과 처리량을 달성한 NPU 통합 시스템을 제시합니다.

핵심

이 논문은 **"지능형 칩 (NPU) 이 더 똑똑하고, 더 빠르며, 더 적은 전기를 먹도록 만든 새로운 설계"**에 대한 이야기입니다.

비유하자면, 이 연구는 **"모든 일을 할 수 있는 만능 요리사 (AI 칩) 를 위해, 부엌 (반도체) 을 더 효율적으로 재단장한 것"**이라고 할 수 있습니다.

다음은 이 복잡한 기술 내용을 일상적인 언어와 비유로 풀어낸 설명입니다.

---

1. 문제 상황: "요리사"의 딜레마

최근 로봇이나 자율주행차 같은 기기들은 배터리를 쓰면서도 계속 배우고 (학습), 판단해야 합니다 (추론). 이를 위해선 AI 칩이 두 가지 일을 동시에 잘해야 합니다.

• 학습 (Training): 새로운 것을 배울 때는 정밀한 계산이 필요합니다. 마치 미슐랭 셰프가 레시피를 정교하게 다듬는 것처럼, 아주 작은 오차도 허용하지 않아야 합니다. (기존에는 FP32 라는 무거운 도구를 썼는데, 전기를 많이 먹고 부피가 큽니다.)
• 추론 (Inference): 배운 것을 실제로 적용할 때는 빠르고 가벼운 계산이 필요합니다. 마치 패스트푸드점처럼 빠르게 대량으로 처리해야 합니다. (기존에는 INT8 같은 가벼운 도구를 썼습니다.)

기존의 문제점:
기존 칩들은 이 두 가지 일을 한 번에 처리하려다 보니 "중간 단계"에서 병목 현상이 생겼습니다.

• 가벼운 도구를 쓰다가 무거운 도구로 바꾸려면, 데이터를 변환하는 과정에서 시간과 전기를 낭비했습니다.
• 특히, 여러 숫자를 더할 때 (누적) 정밀도를 맞추기 위해 너무 많은 공간과 전력을 소모했습니다. (논문에 따르면 칩의 80% 이상 자원이 이 '더하기' 과정에 쓰였습니다.)

2. 해결책: "하이브리드" 요리법 개발

연구팀은 이 문제를 해결하기 위해 **두 가지 방식의 장점을 섞은 새로운 '더하기' 방식 (Hybrid Reduction Tree)**을 개발했습니다.

비유: "현명한 재고 관리"

기존 방식은 모든 재료를 무거운 금고 (FP32) 에 넣어두거나, 모든 재료를 작은 상자에 넣어두는 식이었습니다. 하지만 연구팀은 "상황에 따라 상자를 바꿔 쓰는" 방식을 고안했습니다.

• 아이디어: 계산 중간에 너무 정밀하게 재지 않아도 되는 부분은 과감하게 줄이고, 중요한 부분만 정밀하게 처리합니다.
• 효과: 마치 요리할 때 "소금 양은 대략적으로 재고, 고기 무게만 정밀하게 재는" 것처럼, 불필요한 계산 과정을 생략하면서도 최종 결과물의 맛 (정확도) 은 유지합니다.
• 결과: 칩이 더 작아지고, 전기를 훨씬 덜 먹게 되었습니다.

3. 시스템 통합: "효율적인 물류 시스템"

칩 자체만 잘 만든다고 해서 다 좋은 게 아닙니다. 칩으로 데이터를 실어 나르는 **물류 시스템 (데이터 스트리머)**도 중요합니다.

• 기존 시스템: 어떤 일을 하든 항상 최대 용량의 트럭 4 대를 대기시켰습니다. 하지만 가벼운 일을 할 때는 트럭이 비어있어 전기를 낭비하고, 물류 창고 (메모리) 가 혼잡해졌습니다.
• 새로운 시스템 (SNAX 플랫폼): 작업의 무게 (정밀도) 에 따라 트럭 대수를 자동으로 조절합니다.
  • 가벼운 작업 (INT8): 트럭 1 대만 보냄.
  • 무거운 작업 (FP4): 트럭 4 대를 보냄.
• 효과: 전기를 아끼고, 물류 창고의 혼잡을 막아 칩이 멈추지 않고 계속 일하게 합니다.

4. 성과: 얼마나 좋아졌나요?

연구팀은 이 새로운 칩을 실제 시스템에 적용해 보았습니다. 결과는 놀라웠습니다.

• 에너지 효율: 같은 일을 할 때, 기존 최고의 기술 (State-of-the-Art) 보다 최대 3 배 이상 전기를 아꼈습니다.
  • 비유: 같은 거리를 가는 차인데, 기존 차는 휘발유 3 리터를 썼는데, 이 새 차는 1 리터로 충분하다는 뜻입니다.
• 처리 속도: 초당 처리할 수 있는 작업량 (Throughput) 이 크게 늘어났습니다.
• 적용 가능성: 학습과 추론을 하나의 칩에서 모두 처리할 수 있어, 작은 기기 (웨어러블, 로봇) 에서도 AI 가 계속 학습하며 진화할 수 있는 길이 열렸습니다.

요약

이 논문은 **"AI 칩이 학습과 추론을 할 때, 불필요한 정밀도 계산과 데이터 낭비를 줄여주는 똑똑한 설계"**를 제안했습니다.

마치 **"부엌을 재단장해서 요리사 (AI) 가 더 적은 연료로 더 맛있는 요리를 빠르게 만들어내게 만든 것"**과 같습니다. 이 기술이 상용화되면, 배터리가 오래 가는 더 똑똑한 로봇과 헬스 기기들을 만날 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 로봇, 웨어러블 헬스케어, 자율주행 등 엣지 디바이스에서의 '지속 학습 (Continual Learning)' 수요가 증가함에 따라, 추론 (Inference) 과 학습 (Training) 을 모두 효율적으로 수행할 수 있는 차세대 신경망 처리 장치 (NPU) 가 필요합니다.
• 현황: Microscaling (MX) 표준은 추론을 위한 좁은 비트 폭 (INT8, FP4 등) 과 학습을 위한 넓은 동적 범위를 동시에 지원하여 에너지 효율성을 높이는 유망한 기술입니다.
• 핵심 과제: 기존 MX 곱셈 - 누적 (MAC) 설계는 두 가지 주요 트레이드오프에 직면해 있습니다.
  1. 정수 (Integer) 누적 방식: 좁은 부동소수점 곱셈 결과를 정수로 변환하는 과정이 비용이 많이 듭니다.
  2. 부동소수점 (FP32) 누적 방식: 정밀한 FP32 누적을 수행하면 양자화 손실 (Quantization loss) 이 발생하고, 정규화 (Normalization) 로직이 비싸게 작용하여 하드웨어 비용이 급증합니다.
• 시스템적 한계: 기존 SotA(최첨단) NPU 통합 플랫폼 (SNAX) 은 데이터 스트리밍 시 고정된 최대 대역폭을 가정하여 설계되었습니다. 이로 인해 낮은 정밀도 연산 시 메모리 채널이 부분적으로만 사용되면서 불필요한 동적 전력 소모와 메모리 뱅크 경합 (Contention) 이 발생합니다.

2. 방법론 (Methodology)

저자들은 MX MAC 의 에너지 효율성을 극대화하기 위해 **하이브리드 정밀도 확장 가능 (Precision-Scalable) 축소 트리 (Reduction Tree)**와 SNAX NPU 플랫폼과의 최적화된 통합을 제안했습니다.

A. 하이브리드 축소 트리 설계 (Hybrid Reduction Tree)

• 개념: 기존 FP32 덧셈 방식과 긴 정수 덧셈 (Long Integer Addition) 방식의 장점을 결합했습니다.
  • FP32 방식의 장점 활용: 정규화 (Normalization) 로직을 생략하여 정수 누적을 수행합니다.
  • 정수 방식의 장점 활용: 부동소수점 누적의 좁은adder 폭을 활용하여 하드웨어 비용을 절감합니다.
• 최적화 기법:
  • 조기 누적 (Early-Accumulation) 통합: [24] 의 조기 누적 방식을 [15] 의 FP32 축소 트리에 통합하여 L2adder 의 신호 폭을 28 비트로 줄이고, L2adder 와 누적 단계 간의 정렬/정규화 오버헤드를 감소시켰습니다.
  • 적응형 정규화: 저장된 FP32 부분 결과와 곱셈 합 (Product-sum) 의 크기에 따라 시프트 방향을 동적으로 결정하는 멀티플렉서 (MUX) 를 도입하여, 정규화 입력 폭을 77 비트에서 53 비트로 줄였습니다.

B. 누적 정밀도 최적화 (Accumulation Precision Optimization)

• 정밀도 완화 전략: 최종 결과의 양자화 오차 (Quantization error) 가 덧셈 오차 (Addition error) 보다 크다면, 중간 결과의 정밀도를 낮추어도 전체 정확도에 큰 영향을 미치지 않는다는 가정을 기반으로 합니다.
• 분석: 다양한 행렬 크기 (64x64, 256x256) 와 분포 (균일, 가우시안) 에 대한 시뮬레이션을 통해, **16 비트 부동소수점 (Mantissa)**으로 저장된 부분 결과를 유지할 때 덧셈 오차와 양자화 오차가 균형을 이룬다는 것을 확인했습니다. 이를 통해 하드웨어 복잡도를 추가로 줄였습니다.

C. SNAX NPU 플랫폼 통합

• MX 텐서 코어: 제안된 MAC 을 8x8 공간 배열로 구성하여 GeMM(일반 행렬 곱셈) 작업을 병렬 처리합니다.
• 동적 데이터 스트리머: SNAX 의 데이터 스트리머를 개선하여, 현재 연산 모드 (MXINT8, MXFP8, MXFP6, MXFP4) 에 따라 필요한 메모리 액세스 채널 수를 동적으로 활성화합니다.
  • 예: MXINT8 은 1 개 채널, MXFP8 은 4 개 채널 등을 필요에 따라만 사용함으로써 불필요한 전력 소모와 뱅크 경합을 방지합니다.
• 제어 인터페이스: RISC-V Snitch 코어가 CSR(Configuration and Status Register) 을 통해 정밀도 모드, 누적 깊이, 행렬 크기를 런타임에 유연하게 제어합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 축소 트리 제안: 기존 두 가지 접근 방식의 장점을 결합하여 정규화 오버헤드를 줄이고 하드웨어 비용을 절감한 새로운 MAC 아키텍처를 설계했습니다.
2. 정밀도 기반 최적화: 양자화 오차와 덧셈 오차의 관계를 분석하여, 하드웨어 비용을 줄이면서도 허용 가능한 정확도를 유지하는 16 비트 누적 정밀도를 도출했습니다.
3. 시스템 레벨 통합 및 최적화: SNAX NPU 플랫폼에 8x8 MAC 어레이를 통합하고, 가변 대역폭을 지원하는 동적 데이터 스트리머를 도입하여 시스템 전체의 에너지 효율성을 극대화했습니다.

4. 실험 결과 (Results)

저자들은 GlobalFoundries 22FDX 공정에서 RTL 수준으로 설계 및 합성하여 평가했습니다.

• MAC 레벨 성능:
  • 기존 SotA 설계 [15] 대비 **1.59 배 (MXINT8), 3.05~3.21 배 (MXFP8/6), 1.13 배 (MXFP4)**의 에너지 효율성 향상을 달성했습니다.
  • 동작 주파수는 최대 1800 MHz 까지 지원 가능합니다.
• 시스템 레벨 성능 (SNAX 통합):
  • 에너지 효율 (GOPS/W):
    • MXINT8: 657 GOPS/W
    • MXFP8/6: 1,438 ~ 1,675 GOPS/W
    • MXFP4: 4,065 GOPS/W
  • 처리량 (Throughput):
    • MXINT8: 64 GOPS
    • MXFP8/6: 256 GOPS
    • MXFP4: 512 GOPS
  • 활용도: ResNet-18 및 ViT-B/32 추론/학습 워크로드에서 **94.41% ~ 99.51%**의 높은 계산 활용도를 보였습니다.
• 면적 및 전력: 전체 시스템 면적은 0.60mm²이며, MX 텐서 코어는 전체 면적의 약 29.5% 를 차지합니다.

5. 의의 (Significance)

이 연구는 엣지 디바이스에서의 지속 학습을 가능하게 하는 단일 NPU 플랫폼의 실현 가능성을 입증했습니다.

• 효율성 극대화: 학습 (높은 동적 범위 필요) 과 추론 (낮은 비트 폭 필요) 을 하나의 하드웨어에서 효율적으로 처리할 수 있도록 하여, SoC 면적과 비용을 절감하면서도 높은 에너지 효율을 제공합니다.
• 시스템 최적화: 단순히 MAC 유닛을 개선하는 것을 넘어, 메모리 대역폭 관리와 데이터 스트리밍까지 최적화하여 시스템 전체의 병목 현상을 해결했습니다.
• 실용성: 다양한 MX 데이터 타입을 유연하게 지원하며, 실제 애플리케이션 (ResNet, ViT 등) 에서 높은 활용도를 보여 향후 엣지 AI 하드웨어 설계의 새로운 표준을 제시합니다.