Bhasha-Rupantarika: Algorithm-Hardware Co-design approach for Multilingual Neural Machine Translation

技術要約：Bhasha-Rupantarika – 多言語ニューラル機械翻訳のためのアルゴリズム・ハードウェア協調設計

問題提起
本論文は、リソース制約のある環境、特にインドの農村地域やIoTデバイスを対象とした、多言語ニューラル機械翻訳（MNMT）システムのデプロイにおける課題に取り組んでいる。従来のMNMTのアプローチは、異なる言語ペアごとに個別のモデルに依存したり、高精度（FP32）の演算に依存したりすることが多く、これらは膨大な計算能力とメモリを必要とする。これは、リソースが限られたエッジデバイス上でのリアルタイム翻訳の障壁となっている。さらに、既存のハードウェアアクセラレータは、ビジョンや一般的なディープラーニングタスクに焦点を当てることが多く、NLPエンジン特有のニーズを見落としがちであり、トランスフォーマーベースの翻訳モデルを扱う際の面積、電力、レイテンシにおいて非効率性を招いている。

手法
著者らは、エッジプラットフォーム上で効率的な多言語翻訳を可能にするために、タイトなアルゴリズム・ハードウェア協調設計アプローチを通じて設計されたシステム「Bhasha-Rupantarika」を提案している。

• アルゴリズム戦略:

  • 統合モデル: 個別のモデルを連鎖させる（例：インド言語 $\to$ 英語 $\to$ 外国語）代わりに、本システムはNLLB-200（No Language Left Behind）に基づく単一の統合双方向モデルを利用する。このモデルは、低リソースのインド言語を含む200の言語をサポートしている。
  • 量子化: アルゴリズムの中核となる革新は、積極的なサブオクテット精度の量子化である。研究では、FP8、INT8、INT4、およびFP4のレベルでのデプロイを調査している。NLLB-200の蒸留された600MパラメータのINT4バージョンが採用されており、パラメータ効率を管理しつつ、1トークンあたりの計算コストを増加させないためのMixture-of-Experts（MoE）層を備えたTransformerエンコーダ・デコーダアーキテクチャを利用している。
  • パイプライン: システムは、外国語の音声からテキストへの変換にOpenAI Whisper Large-v3を、インド言語の音声からテキストへの変換にAI4Bharat IndicConformerを、そしてテキストから音声への合成にCoqui XTTS v3/IndicParler TTSを統合し、これらを量子化されたNLLB翻訳コアを中心にオーケストレーションしている。

• ハードウェアアーキテクチャ:

  • ニューラル・プロセッシング・エンジン（NPE）: SystemVerilogを用いて設計されたカスタムハードウェアアクセラレータであり、制御ユニット（CU）、メモリ読み取り/書き込みユニット、SIMD行列乗算エンジン（MME）、および**非線形MIMDベクトルアレイ（NMV）**を備えている。
  • カスタム計算ユニット:
    • MME: パラメトリックなシストリックアレイを実装し、SIMD MAC（積和演算）操作に基づいている。これは、斬新なRMMEC（再構成可能なマルチモード指数および仮数計算）ブロックを使用することで、単一のクロックサイクル内で複数の精度（1$\times$BF16、3$\times$FP8、6$\times$FP4、6$\times$INT4）をサポートする。
    • NMV: CORDICベースのFASSTユニットを使用して、Sigmoid、Tanh、ReLU、SoftMaxなどの非線形活性化関数（NAF）を処理する。このユニットは再構成可能であり、FP8およびBF16の精度をサポートしており、商用TPUにおけるNAFハードウェアの高コストな面積問題を解決するように設計されている。
  • データフロー: アーキテクチャは、データの再利用を最大化し、オフチップメモリへのアクセスレイテンシを最小限に抑えるために、アウトプット・ステイショナリ（出力固定型）データフローを利用している。

主な貢献

1. 統合量子化モデル: 単一の蒸留されたINT4 NLLB-200モデルが、複雑なマルチモデル・パイプラインに代わって、インド系言語と国際言語間の双方向翻訳を効果的に処理できることを実証した。
2. カスタムハードウェアアクセラレータ: トランスフォーマーのワークロードに最適化された、超低精度（4ビットまで）演算をサポートするRMMECおよびFASSTユニットを備えた、特殊なNPEアーキテクチャの開発。
3. 協調設計の検証: アルゴリズムによる量子化（FP4/INT4）をカスタムハードウェア設計と組み合わせることで、既存のFPGAおよびASICソリューションと比較して、リソース利用率とスループットにおいて大きな利得が得られることを示す包括的な評価。

結果
システムはZCU104 FPGAを用いて評価され、ASICのメトリクスについてはCadence Innovus（28nm CMOS）を介してシミュレーションされた。

• モデル効率: FP4量子化モデルは、FP32と比較して4.1倍のモデルサイズ削減（0.56 GBまで）を達成した。
• 推論パフォーマンス: システムは66トークン/秒のスループットを達成し、これは推論速度において4.2倍の高速化、および期待値に対して4.8倍のスループット向上を表している。
• ハードウェアリソース利用率（FPGA）:
  • LUT: 最良のSoTA（State-of-the-Art）NLPアクセラレータ（OPU）と比較して1.96倍削減。
  • フリップフロップ（FF）: 1.65倍削減。
  • スループット: OPUに対して2.2倍、HPTAに対して4.6倍の向上を達成。
• ASICメトリクス: カスタムMACおよびNAFユニットは、SoTA設計と比較して面積および消費電力を大幅に削減しており、特にMACユニットは特定の先行研究と比較して90%のLUT使用量削減を示した。
• 精度: 積極的な量子化にもかかわらず、双方向のペア（インド系言語 $\leftrightarrow$ 国際言語）において満足のいく翻訳品質を維持していることが、定性的な出力（例：「モデルの検証と妥当性確認」）によって確認された。

意義および主張
本論文は、Bhasha-Rupantarikaが、低リソース環境における多言語AIの実現可能なデプロイ・ソリューションを提供すると主張している。超低精度量子化（FP4/INT4）が、専用ハードウェアと組み合わせることで翻訳能力を損なわないことを証明することにより、本研究はIoTデバイスやエッジプラットフォーム上でのリアルタイム翻訳を可能にする。著者らは、このアプローチが、観光やビジネスのために外国語に触れる必要がある、正規教育を受ける機会が限られている人々にとって特に重要であると強調している。本研究は、エッジNLPにおけるパフォーマンス、精度、およびリソース制約のバランスを取るためには、アルゴリズムとハードウェアの協調設計が不可欠であることを結論付けており、エネルギー効率が高く持続可能なAIデプロイメントへの道筋を提示している。著者らは、現在の研究はエッジデプロイメントに焦点を当てているが、このアプローチの拡張性は将来的に高性能なクラウド実装にも利益をもたらす可能性があると述べている。