Bhasha-Rupantarika: Algorithm-Hardware Co-design approach for Multilingual Neural Machine Translation

기술 요약: Bhasha-Rupantarika – 다국어 신경망 기계 번역을 위한 알고리즘-하드웨어 공동 설계

문제 정의
본 논문은 자원이 제한된 환경, 특히 인도의 농촌 지역 및 IoT 기기를 대상으로 하는 다국어 신경망 기계 번역(MNMT) 시스템 배포의 과제를 다룹다. 전통적인 MNMT 방식은 서로 다른 언어 쌍을 위해 별도의 모델에 의존하거나 고정밀도(FP32) 연산에 의존하는 경우가 많으며, 이는 상당한 계산 능력과 메모리를 요구한다. 이는 제한된 자원을 가진 엣지 디바이스에서 실시간 번역을 구현하는 데 장벽이 된다. 또한, 기존의 하드웨어 가속기들은 비전이나 일반적인 딥러닝 작업에 집중되어 있어, 트랜스포머 기반 번역 모델을 처리할 때 면적, 전력 및 지연 시간 측면에서 비효율성을 초래하며 NLP 엔진의 특정 요구사항을 간과하는 경향이 있다.

방법론
저자들은 엣지 플랫폼에서 효율적인 다국어 번역을 가능하게 하기 위해 긴밀한 알고리즘-하드웨어 공동 설계 접근 방식으로 설계된 "Bhasha-Rupantarika"를 제안한다.

• 알고리즘 전략:

  • 통합 모델: 별도의 모델들을 체이닝하는 방식(예: 인도 언어 $\to$ 영어 $\to$ 외국어) 대신, 본 시스템은 NLLB-200(No Language Left Behind)을 기반으로 한 단일 통합 양방향 모델을 활용한다. 이 모델은 저자원 인도 언어를 포함하여 200개의 언어를 지원한다.
  • 양자화: 핵심적인 알고리즘 혁신은 공격적인 서브 옥텟 정밀도(sub-octet precision) 양자화를 포함한다. 본 연구는 FP8, INT8, INT4, FP4 단계에서의 배포를 조사한다. NLLB-200의 파라미터 효율성을 높이기 위해 Mixture-of-Experts(MoE) 레이어를 사용하는 증류된 600M 파라미터 규모의 INT4 버전을 채택하였으며, 이를 통해 토큰당 연산 비용을 증가시키지 않고 관리한다.
  • 파이프라인: 시스템은 외국어 음성-텍스트 변환을 위한 OpenAI Whisper Large-v3, 인도 언어 음성-텍스트 변환을 위한 AI4Bharat IndicConformer, 그리고 텍스트-음성 합성(TTS)을 위한 Coqui XTTS v3/IndicParler TTS를 통합하며, 이 모든 과정은 양자화된 NLLB 번역 코어를 중심으로 조율된다.

• 하드웨어 아키텍처:

  • 신경 처리 엔진(NPE): 제어 유닛(CU), 메모리 읽기/쓰기 유닛, SIMD 행렬 곱셈 엔진(MME), 그리고 **비선형 MIMD 벡터 어레이(NMV)**를 특징으로 하는 SystemVerilog 기반의 커스텀 하드웨어 가속기를 설계하였다.
  • 커스텀 연산 유닛:
    • MME: SIMD MAC(Multiply-Accumulate) 연산에 기반한 파라미터화된 시스톨릭 어레이를 구현한다. 이는 새로운 RMMEC(Reconfigurable Multi-Mode Exponent and Mantissa Computation) 블록을 사용하여 단일 클록 사이클 내에서 다양한 정밀도(1$\times$BF16, 3$\times$FP8, 6$\times$FP4, 6$\times$INT4)를 지원한다.
    • NMV: CORDIC 기반의 FASST 유닛을 사용하여 Sigmoid, Tanh, ReLU, SoftMax와 같은 비선형 활성화 함수(NAF)를 처리한다. 이 유닛은 재구성이 가능하도록 설계되었으며 FP8 및 BF16 정밀도를 지원하여, 상용 TPU에서 발생하는 NAF 하드웨어의 높은 면적 비용 문제를 해결한다.
  • 데이터 흐름: 아키텍처는 데이터 재사용을 극대화하고 오프칩 메모리 액세스 지연을 최소화하기 위해 출력 스테이셔너리(output-stationary) 데이터 흐름을 활용한다.

주요 기여

1. 통합 양자화 모델: 단일 증류된 INT4 NLLB-200 모델이 복잡한 다중 모델 파이프라인을 대체하여 인도 언어와 국제 언어 간의 양방향 번역을 효과적으로 처리할 수 있음을 입증하였다.
2. 커스텀 하드웨어 가속기: 트랜스포머 워크로드에 최적화되어 초저정밀도(4비트까지) 연산을 지원하는 RMMEC 및 FASST 유닛을 갖춘 특화된 NPE 아키텍처를 개발하였다.
3. 공동 설계 검증: 알고리즘 양자화(FP4/INT4)가 커스텀 하드웨어 설계와 결려될 때 기존 FPGA 및 ASIC 솔루션에 비해 자원 활용도와 처리량 측면에서 상당한 이득을 얻을 수 있음을 보여주는 종합적인 평가를 수행하였다.

결과
시스템은 ZCU104 FPGA를 사용하여 평가되었으며, ASIC 지표를 위해 Cadence Innovus(28nm CMOS)를 통해 시뮬레이션되었다.

• 모델 효율성: FP4 양자화 모델은 FP32 대비 4.1$\times$의 모델 크기 감소(0.56 GB까지)를 달성하였다.
• 추론 성능: 시스템은 66 tokens/second의 처리량을 달성하였으며, 이는 추론 속도에서 4.2$\times$의 가속과 기대치 대비 4.8$\times$의 처리량 개선을 나타낸다.
• 하드웨어 자원 활용도 (FPGA):
  • LUTs: 최첨단(SoTA) NLP 가속기인 OPU와 비교하여 1.96$\times$ 감소하였다.
  • Flip-Flops (FFs): 1.65$\times$ 감소하였다.
  • 처리량: OPU 대비 2.2$\times$, HPTA 대비 4.6$\times$ 향상된 성능을 달성하였다.
• ASIC 지표: 커스텀 MAC 및 NAF 유닛은 SoTA 설계와 비교하여 면적 및 전력 소비의 상당한 감소를 입증하였으며, 특히 MAC 유닛은 이전 연구들과 비교하여 90%의 LUT 사용량 감소를 보였다.
• 정확도: 공격적인 양자화에도 불구하고, 양방향 쌍(인도 언어 $\leftrightarrow$ 국제 언어) 전반에 걸쳐 만족스러운 번역 품질을 유지함을 정성적 출력(예: "모델 검증 및 타당성 확인")을 통해 확인하였다.

의의 및 주장
본 논문은 Bhasha-Rupantarika가 저자원 환경에서 다국어 AI를 위한 실행 가능한 배포 솔루션을 제공한다고 주장한다. 초저정밀도 양자화(FP4/INT4)가 특화된 하드웨어와 결합될 때 번역 능력을 저해하지 않는다는 것을 증명함으로써, 본 연구는 IoT 디바이스 및 엣지 플랫폼에서의 실시간 번역을 가능하게 한다. 저자들은 이러한 접근 방식이 관광이나 비즈니스를 위해 외국어를 접해야 하는 교육 수준이 낮은 인구층에게 특히 중요하다는 점을 강조한다. 연구는 알고리즘-하드웨어 공동 설계가 엣지 NLP에서 성능, 정확도 및 자원 제약 사이의 균형을 맞추는 데 필수적이며, 에너지 효율적이고 지속 가능한 AI 배포를 위한 경로를 제시한다고 결론짓는다. 저자들은 현재의 작업이 엣지 배포에 집중하고 있지만, 이 접근 방식의 확장성이 향후 고성능 클라우드 구현에도 이익을 줄 수 있다고 언급하였다.