Bhasha-Rupantarika: Algorithm-Hardware Co-design approach for Multilingual Neural Machine Translation

技术摘要：Bhasha-Rupantarika —— 用于多语言神经机器翻译的算法-硬件协同设计

问题陈述
本文探讨了在资源受限环境下部署多语言神经机器翻译（MNMT）系统的挑战，特别针对印度的农村地区和物联网（IoT）设备。传统的 MNMT 方法通常依赖于针对不同语言对的独立模型，或依赖高精度（FP32）计算，这需要极高的计算能力和内存。这为在资源有限的边缘设备上实现实时翻译制造了障碍。此外，现有的硬件加速器往往忽视了自然语言处理（NLP）引擎的特定需求，而是侧重于计算机视觉或通用深度学习任务，导致在处理基于 Transformer 的翻译模型时，在面积、功耗和延迟方面效率低下。

方法论
作者提出了“Bhasha-Rupantarika”，这是一个通过紧密的算法-硬件协同设计方法构建的系统，旨在实现边缘平台上的高效多语言翻译。

• 算法策略：

  • 统一模型： 该系统并未采用级联多个独立模型（例如：印度语言 $\to$ 英语 $\to$ 外语）的方式，而是利用了一个基于 NLLB-200（No Language Left Behind）的单一统一双向模型。该模型支持 200 种语言，包括低资源的印度语言。
  • 量化： 核心算法创新在于激进的亚字节（sub-octet）精度量化。研究调查了在 FP8、INT8、INT4 和 FP4 级别的部署情况。系统采用了经过蒸馏的 6 亿参数 INT4 版本 NLLB-200，利用带有混合专家（MoE）层的 Transformer 编码器-解码器架构，在不增加单 Token 计算成本的情况下管理参数效率。
  • 流水线： 系统集成了用于外语语音转文本的 OpenAI Whisper Large-v3、用于印度语言语音转文本的 AI4Bharat IndicConformer，以及用于文本转语音合成的 Coqui XTTS v3/IndicParler TTS，并围绕量化的 NLLB 翻译核心进行编排。

• 硬件架构：

  • 神经处理引擎（NPE）： 使用 SystemVerilog 设计了一个定制的硬件加速器，其特征包括控制单元（CU）、内存读/写单元、SIMD 矩阵乘法引擎（MME） 以及 非线性 MIMD 向量阵列（NMV）。
  • 定制计算单元：
    • MME： 实现了一个基于 SIMD MAC（乘加）操作的参数化脉动阵列。它通过一种新颖的 RMMEC（可重构多模式指数与尾数计算）模块，在单个时钟周期内支持多种精度（1$\times$BF16, 3$\times$FP8, 6$\times$FP4, 6$\times$INT4）。
    • NMV： 处理非线性激活函数（NAFs），如 Sigmoid、Tanh、ReLU 和 SoftMax，使用的是基于 CORDIC 的 FASST 单元。该单元设计为可重构，支持 FP8 和 BF16 精度，解决了商业 TPU 中 NAF 硬件面积成本高昂的问题。
  • 数据流： 架构采用输出驻留（output-stationary）数据流，以最大化数据复用并最小化片外内存访问延迟。

核心贡献

1. 统一量化模型： 证明了单个经蒸馏的 INT4 NLLB-200 模型可以有效地处理印度语言与国际语言之间的双向翻译，取代了复杂的多模型流水线。
2. 定制硬件加速器： 开发了一种专门的 NPE 架构，具有新颖的 RMMEC 和 FASST 单元，支持超低精度（低至 4 位）运算，并针对 Transformer 工作负载进行了优化。
3. 协同设计验证： 通过综合评估表明，算法量化（FP4/INT4）结合定制硬件设计，与现有的 FPGA 和 ASIC 解决方案相比，在资源利用率和吞吐量方面取得了显著收益。

结果
系统在 ZCU104 FPGA 上进行了评估，并通过 Cadence Innovus（28nm CMOS）进行了 ASIC 指标模拟。

• 模型效率： 与 FP32 相比，FP4 量化模型实现了 4.1$\times$ 的模型体积缩减（降至 0.56 GB）。
• 推理性能： 系统实现了 66 tokens/秒 的吞吐量，代表了相对于基准预期的 4.2$\times$ 的推理速度提升 以及 4.8$\times$ 的吞吐量提升。
• 硬件资源利用率（FPGA）：
  • LUTs： 与最先进的（SoTA）NLP 加速器（OPU）相比，减少了 1.96$\times$。
  • 触发器（FFs）： 减少了 1.65$\times$。
  • 吞效： 比 OPU 高出 2.2$\times$，比 HPTA 高出 4.6$\times$。
• ASIC 指标： 定制 MAC 和 NAF 单元与 SoTA 设计相比，在面积和功耗方面表现出显著降低，其中 MAC 单元与特定的前人工作相比，减少了 90% 的 LUT 使用量。
• 准确性： 尽管进行了激进的量化，系统仍能在双向语言对（印度语言 $\leftrightarrow$ 国际语言）之间保持令人满意的翻译质量，这一点已通过定性输出（例如“模型验证与确认”）得到证实。

意义与主张
论文声称，Bhasha-Rupantarika 为低资源环境下的多语言 AI 提供了一个可行的、可部署的解决方案。通过证明超低精度量化（FP4/INT4）在与专用硬件结合时不会损害翻译能力，这项工作使得在 IoT 设备和边缘平台上进行实时翻译成为可能。作者强调，这种方法对于那些需要通过旅游或商务接触外语的受教育程度有限的人群尤为重要。研究结论指出，算法-硬件协同设计对于平衡边缘 NLP 中的性能、准确性和资源约束至关重要，为开发中地区实现节能、可持续的 AI 部署提供了一条路径。作者指出，虽然目前的工作侧重于边缘部署，但这种方法的扩展性未来也有望造福高性能云端实现。