VMXDOTP: A RISC-V Vector ISA Extension for Efficient Microscaling (MX) Format Acceleration

이 논문은 현대 트랜스포머 모델의 효율적인 가속을 위해 블록 부동소수점 (BFP) 기반의 마이크로스케일링 (MX) 포맷 연산에 최적화된 RISC-V 벡터 ISA 확장인 VMXDOTP 를 제안하며, 이를 통해 기존 소프트웨어 에뮬레이션 대비 최대 7 배의 속도 향상과 4.9 배의 에너지 효율 개선을 달성함을 보여줍니다.

핵심

이 논문은 **"AI(인공지능) 가 더 똑똑해지려면, 어떻게 하면 더 빠르고 전기를 덜 쓰면서 계산할 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 AI 칩들은 거대한 숫자 (정밀한 데이터) 로 계산을 해서 정확도는 높지만, 전기를 많이 먹고 속도가 느립니다. 그래서 연구자들은 숫자를 작게 줄여서 (압축해서) 계산하는 방법을 고안했는데, 이를 **'마이크로스케일링 (MX)'**이라고 부릅니다.

하지만 여기서 문제가 생겼습니다. 데이터는 작아졌는데, 계산하는 기계 (프로세서) 는 그 작은 데이터를 제대로 처리할 수 없었던 것입니다. 마치 레고 블록을 잘게 부수어 넣었는데, 그걸 다시 조립해서 쓰는 데 너무 많은 시간이 걸리는 상황과 비슷합니다.

이 논문은 이 문제를 해결하기 위해 **RISC-V(리스크 5)**라는 오픈소스 컴퓨터 언어에 새로운 명령어인 VMXDOTP를 추가하는 방법을 제안합니다.

---

🧩 핵심 비유: "레고 조립소"와 "새로운 조립 도구"

이 논문의 내용을 이해하기 위해 거대한 레고 성을 만드는 공장을 상상해 보세요.

1. 기존 상황 (소프트웨어 시뮬레이션)

• 상황: 공장에는 **작은 레고 조각 (MX 데이터)**이 많이 들어왔습니다. 이 조각들은 부피가 작아 저장 공간과 운반 비용이 적게 듭니다.
• 문제: 하지만 공장 기계 (기존 프로세서) 는 이 작은 조각을 바로 조립할 수 없습니다.
  • 기계는 먼저 작은 조각을 큰 레고 블록으로 변환해야 합니다.
  • 그 다음에 **조립 지시서 (스케일)**를 따로 읽어서 계산해야 합니다.
  • 이 과정에서 기계는 빈손으로 서성거리거나 (대기 시간), 불필요한 작업을 반복하게 되어 속도가 느려지고 전기를 많이 씁니다.
• 결과: 작은 조각을 쓰면 저장 공간은 아끼는데, 조립 속도는 오히려 더 느려집니다.

2. 이 논문의 해결책 (VMXDOTP)

• 해결책: 연구자들은 공장 기계에 **새로운 조립 도구 (VMXDOTP 명령어)**를 설치했습니다.
• 어떻게 작동하나요?
  • 이 새로운 도구는 **작은 레고 조각 (MXFP8, MXFP4)**을 직접 받아들일 수 있습니다.
  • 변환 과정이 없습니다. 작은 조각을 큰 블록으로 바꾸는 수고를 없앴습니다.
  • 스케일 (지시서) 도 자동으로 처리합니다. 기계가 "이 조각들은 이 비율로 조립해"라고 말하면, 기계가 알아서 그 비율을 적용해서 한 번에 조립해 줍니다.
  • 유연성: 레고 블록의 크기 (블록 사이즈) 를 소프트웨어가 마음대로 정할 수 있게 했습니다. 마치 "오늘은 8 개씩 조립하고, 내일은 16 개씩 조립하자"라고 공장장이 지시할 수 있는 것처럼요.

3. 결과 (성능 향상)

• 속도: 기존 방식보다 최대 7 배 더 빠릅니다. (레고 성을 7 배 빨리 완성)
• 전기: 같은 작업을 하는 데 드는 전기가 최대 5 배 더 적게 듭니다. (전기세 폭탄을 피함)
• 공간: 칩의 크기는 거의 그대로인데 (약 7% 만 커짐), 성능은 비약적으로 좋아졌습니다.

---

💡 왜 이것이 중요한가요?

1. AI 의 미래: 요즘 AI(예: 챗봇, 이미지 생성) 는 데이터 양이 너무 커서 일반 컴퓨터로는 감당하기 어렵습니다. 이 기술은 AI 가 더 작고, 저렴하며, 전기를 적게 쓰는 기기 (휴대폰, 자동차, 로봇) 에서도 잘 작동하게 해줍니다.
2. 유연함: 기존의 특수한 칩들은 딱 정해진 크기만 처리했지만, 이 기술은 소프트웨어가 필요에 따라 블록 크기를 바꿀 수 있어 미래의 AI 모델 변화에도 유연하게 대응할 수 있습니다.
3. 오픈소스 (RISC-V): 이 기술은 특정 회사 (엔비디아, 인텔 등) 에 종속되지 않는 오픈소스 표준에 기반하므로, 누구나 저렴하게 이 기술을 활용해 AI 칩을 만들 수 있습니다.

📝 한 줄 요약

"AI 가 더 똑똑해지려면 데이터를 작게 줄여야 하는데, 기존 기계는 그 작은 데이터를 처리하느라 너무 느렸습니다. 이 논문은 '작은 데이터'를 바로 처리할 수 있는 '새로운 조립 도구 (VMXDOTP)'를 만들어, AI 를 7 배 더 빠르게, 5 배 더 절약되게 작동하게 했습니다."

이 기술이 상용화되면, 우리가 사용하는 스마트폰이나 로봇이 더 똑똑해지면서 배터리도 훨씬 오래 가는 날이 곧 올 것입니다!

기술 요약

1. 문제 정의 (Problem Statement)

• 현대 AI 워크로드의 변화: 1 세대 딥러닝 모델이 행렬 곱셈 (MatMul) 과 같은 규칙적인 연산에 의존했다면, 최신 디코더 기반 트랜스포머 (Transformer) 는 어텐션, 정규화, 데이터 의존적 제어 흐름이 복잡하게 얽혀 있어 유연한 가속기가 필요합니다.
• 메모리 및 대역폭 병목: 모델 크기가 커짐에 따라 메모리 사용량과 대역폭 요구사항이 급증하여, 저정밀도 (Reduced-Precision) 포맷 사용이 필수적입니다.
• 마이크로스케일링 (MX) 포맷의 한계:
  • MX 포맷은 블록 단위 부동소수점 (Block Floating Point, BFP) 을 기반으로 하여 데이터 크기를 줄이면서도 정확도를 유지하는 유망한 솔루션입니다.
  • 그러나 기존 벡터 프로세서 (RVV 등) 에서는 MX 연산이 소프트웨어로 에뮬레이션되어야 합니다.
  • 소프트웨어 에뮬레이션의 비효율성:
    1. 비정규성: 블록 스케일링 (Block Scaling) 과 다단계 혼합 정밀도 연산이 벡터 파이프라인의 규칙성을 깨뜨립니다.
    2. 과도한 오버헤드: MX 데이터를 더 넓은 포맷 (FP16/FP32) 으로 변환 (Decompression) 하고, 블록 스케일을 소프트웨어로 계산하는 과정에서 연산 자원이 낭비되고 성능이 저하됩니다.
    3. 자원 활용도 저하: 실제 연산 (FMA) 에 할당되는 사이클 대비 변환 및 스케일링 오버헤드가 커서 계산 유닛의 활용도가 낮아집니다.

2. 방법론 (Methodology)

저자들은 소프트웨어 에뮬레이션의 한계를 극복하기 위해 VMXDOTP라는 RISC-V 벡터 확장 (RVV 1.0) 을 제안했습니다.

• VMXDOTP ISA 확장:

  • 네이티브 MX-DPA 연산: 소프트웨어 변환 없이 하드웨어에서 직접 MXFP8 및 MXFP4 입력에 대한 도트 프로덕트 (Dot Product) 와 누산 (Accumulation) 을 수행하는 단일 명령어를 제공합니다.
  • 누산 포맷 지원: FP32 및 BF16 누산을 모두 지원합니다.
  • 유연한 블록 크기: 하드웨어는 고정된 작은 블록 크기 (예: FP8 의 경우 8 개 요소) 를 처리하지만, 소프트웨어가 이를 조합하여 임의의 블록 크기 (예: 표준 32 개) 를 정의할 수 있게 합니다. 이는 다양한 AI 모델의 양자화 요구사항에 대응합니다.
  • 명령어 구조: 5 개의 소스 레지스터 (2 개의 벡터 요소, 2 개의 스케일, 1 개의 누산 벡터) 를 처리할 수 있도록 설계되었으며, 벡터 - 벡터 및 벡터 - 스칼라 변형을 지원합니다.

• 하드웨어 구현 (Spatz VPE 통합):

  • 오픈 소스 벡터 처리 요소 (VPE) 인 Spatz에 VMXDOTP 를 통합했습니다.
  • 데이터 경로: 기존 FPU 를 확장하여 8 개 폭의 MXFP8 및 16 개 폭의 MXFP4 도트 프로덕트 연산을 처리하도록 변경했습니다.
  • 레지스터 파일 (VRF) 최적화: 5 개의 입력 레지스터를 위한 추가 읽기 포트의 면적 비용을 줄이기 위해, 스케일 데이터를 배치로 프리페치 (Prefetch) 하고 VAU 내부 버퍼에 저장하여 점진적으로 소비하는 방식을 채택했습니다.
  • 기술: 12nm FinFET 공정에서 구현되었습니다.

3. 주요 기여 (Key Contributions)

1. 소프트웨어 에뮬레이션의 한계 분석: 기존 RVV 커널을 사용하여 MX-MatMul 을 에뮬레이션했을 때, FP 변환 및 소프트웨어 관리 스케일링으로 인해 계산 유닛 활용도가 크게 떨어지고 성능이 저하됨을 정량적으로 증명했습니다.
2. VMXDOTP ISA 제안: MXFP8/FP4 입력과 FP32/BF16 누산을 지원하는 네이티브 벡터 명령어 세트를 설계하여, 블록 스케일링 오버헤드를 하드웨어로 이전했습니다.
3. 하드웨어 구현 및 통합: Spatz VPE 에 VMXDOTP 를 통합하고 12nm 공정에서 물리적 설계를 완료했습니다. 코어 레벨에서 12.6%, 클러스터 레벨에서 7.2% 의 면적 오버헤드만 발생시켰습니다.
4. 성능 및 효율성 입증: 소프트웨어 에뮬레이션 대비 7.0 배의 속도 향상과 4.9 배의 에너지 효율 향상을 달성했습니다.

4. 실험 결과 (Results)

• 성능 (Throughput):
  • MXFP8: 최대 125 GFLOPS (FP32 누산), 125.4 GFLOPS (BF16 누산).
  • MXFP4: 최대 249.1 GFLOPS (FP32 누산), 250.1 GFLOPS (BF16 누산).
  • 이는 FPU 활용도가 97% 이상으로 매우 높음을 의미합니다.
• 에너지 효율 (Energy Efficiency):
  • MXFP8: 843 GFLOPS/W (BF16 누산 기준).
  • MXFP4: 1,632 GFLOPS/W (BF16 누산 기준).
• 비교 분석:
  • 소프트웨어 에뮬레이션 대비: FP32 누산 시 7.0 배 속도 향상, 4.9 배 에너지 효율 향상.
  • 기존 MX 엔진 (VEGETA, Cuyckens 등) 대비: 고정된 블록 크기를 사용하는 전용 가속기와 비교할 때, VMXDOTP 는 가변 블록 크기를 지원하며, 면적 효율성은 1.4 배, 에너지 효율성은 2.1 배 더 우수합니다.
  • 기존 RISC-V 확장 (MXDOTP) 대비: 스칼라 기반의 이전 제안보다 벡터 아키텍처를 활용하여 2.1 배 높은 에너지 효율을 달성했습니다.

5. 의의 및 결론 (Significance)

• MX 포맷의 진정한 가치 실현: MX 포맷이 단순히 메모리 압축을 위한 저장 포맷이 아니라, 전용 하드웨어 지원 하에 계산 효율성까지 극대화할 수 있음을 입증했습니다.
• RISC-V 생태계 확장: 개방형 RISC-V 벡터 확장 (RVV) 에 MX 포맷을 효율적으로 통합하는 표준적인 접근 방식을 제시하여, 범용 벡터 프로세서가 차세대 AI 워크로드를 처리하는 데 적합한 플랫폼임을 보여줍니다.
• 유연성과 효율성의 균형: 고정된 하드웨어 블록 크기의 제약 없이 소프트웨어가 블록 크기를 정의할 수 있게 함으로써, 빠르게 진화하는 AI 모델 양자화 요구사항에 유연하게 대응하면서도 높은 에너지 효율을 유지합니다.

요약하자면, 이 논문은 VMXDOTP를 통해 RISC-V 벡터 프로세서가 마이크로스케일링 (MX) 포맷을 소프트웨어 에뮬레이션 없이 네이티브로 처리할 수 있게 하여, AI 추론의 성능과 에너지 효율성을 획기적으로 개선할 수 있음을 증명했습니다.