Bhasha-Rupantarika: Algorithm-Hardware Co-design approach for Multilingual Neural Machine Translation

Resumo Técnico: Bhasha-Rupantarika – Co-design de Algoritmo-Hardware para Tradução Neural Multilíngue

Definição do Problema
O artigo aborda o desafio de implementar sistemas de Tradução Neural Multilíngue (MNMT) em ambientes de recursos limitados, visando especificamente áreas rurais na Índia e dispositivos IoT. As abordagens tradicionais de MNMT dependem frequentemente de modelos separados para diferentes pares de idiomas ou de computações de alta precisão (FP32), que exigem grande poder computacional e memória. Isso cria uma barreira para a tradução em tempo real em dispositivos de borda (edge) com recursos limitados. Além disso, os aceleradores de hardware existentes frequentemente negligenciam as necessidades específicas dos motores de PLN (Processamento de Linguagem Natural), focando em vez disso em visão computacional ou aprendizado profundo geral, o que leva a ineficiências em área, potência e latência ao lidar com modelos de tradução baseados em Transformers.

Metodologia
Os autores propõem o "Bhasha-Rupantarika", um sistema projetado através de uma abordagem de co-design estreito entre algoritmo e hardware para permitir a tradução multilíngue eficiente em plataformas de borda.

• Estratégia Algorítmica:

  • Modelo Unificado: Em vez de encadear modelos separados (ex: Língua Indiana $\to$ Inglês $\to$ Língua Estrangeira), o sistema utiliza um modelo bidirecional unificado baseado no NLLB-200 (No Language Left Behind). Este modelo suporta 200 idiomas, incluindo línguas indianas de baixos recursos.
  • Quantização: A inovação algorítmica central envolve a quantização agressiva de precisão sub-octeto. O estudo investiga a implementação nos níveis FP8, INT8, INT4 e FP4. Um modelo destilado de 600 milhões de parâmetros em INT4 do NLLB-200 é empregado, utilizando uma arquitetura Transformer de codificador-decodificador com camadas de Mistura de Especialistas (MoE) para gerenciar a eficiência de parâmetros sem aumentar o custo computacional por token.
  • Pipeline: O sistema integra o OpenAI Whisper Large-v3 para speech-to-text de línguas estrangeiras, AI4Bharat IndicConformer para speech-to-text de línguas indianas, e Coqui XTTS v3/IndicParler TTS para síntese de text-to-speech, todos orquestrados em torno do núcleo de tradução quantizado NLLB.

• Arquitetura de Hardware:

  • Motor de Processamento Neural (NPE): Um acelerador de hardware customizado foi projetado usando SystemVerilog, apresentando uma Unidade de Controle (CU), Unidades de Leitura/Escrita de Memória, um Motor de Multiplicação de Matrizes SIMD (MME) e um Array de Vetores MIMD Não-Linear (NMV).
  • Unidades de Computação Customizadas:
    • MME: Implementa um array sistólico parametrizado baseado em operações de MAC (Multiply-Accumulate) SIMD. Suporta múltiplas precisões (1$\times$BF16, 3$\times$FP8, 6$\times$FP4, 6$\times$INT4) em um único ciclo de clock usando um bloco RMMEC (Reconfigurable Multi-Mode Exponent and Mantissa Computation) inovador.
    • NMV: Lida com funções de ativação não lineares (NAFs) como Sigmoid, Tanh, ReLU e SoftMax usando uma unidade FASST baseada em CORDIC. Esta unidade é projetada para ser reconfigurável e suporta precisões FP8 e BF16, abordando o alto custo de área de hardware NAF em TPUs comerciais.
  • Fluxo de Dados: A arquitetura utiliza um fluxo de dados estacionário de saída (output-stationary) para maximizar o reuso de dados e minimizar a latência de acesso à memória off-chip.

Principais Contribuições

1. Modelo Quantizado Unificado: Demonstração de que um único modelo NLLB-200 destilado em INT4 pode lidar efetivamente com a tradução bidirecional entre línguas indianas e internacionais, substituindo pipelines complexos de múltiplos modelos.
2. Acelerador de Hardware Customizado: Desenvolvimento de uma arquitetia NPE especializada com unidades RMMEC e FASST inovadoras que suportam operações de ultra-baixa precisão (até 4 bits), especificamente otimizadas para cargas de trabalho de Transformers.
3. Validação de Co-design: Uma avaliação abrangente mostrando que a quantização algorítmica (FP4/INT4) combinada com o design de hardware customizado gera ganhos significativos em utilização de recursos e throughput em comparação com soluções existentes de FPGA e ASIC.

Resultados
O sistema foi avaliado usando um FPGA ZCU104 e simulado via Cadence Innovus (28nm CMOS) para métricas de ASIC.

• Eficiência do Modelo: O modelo quantizado em FP4 alcançou uma redução de 4,1$\times$ no tamanho do modelo (caindo para 0,56 GB) em comparação com FP32.
• Desempenho de Inferência: O sistema alcançou um throughput de 66 tokens/segundo, representando um aceleração de 4,2$\times$ na velocidade de inferência e uma melhoria de 4,8$\times$ no throughput em relação às expectativas de base.
• Utilização de Recursos de Hardware (FPGA):
  • LUTs: Reduzidos em 1,96$\times$ em comparação com o melhor acelerador de PLN de Estado da Arte (SoTA) (OPU).
  • Flip-Flops (FFs): Reduzidos em 1,65$\times$.
  • Throughput: Alcançou um aumento de 2,2$\times$ sobre o OPU e 4,6$\times$ sobre o HPTA.
• Métricas de ASIC: As unidades customizadas de MAC e NAF demonstraram reduções significativas de área e consumo de energia em comparação com designs SoTA, com a unidade MAC mostrando uma redução de 90% no uso de LUTs em relação a trabalhos anteriores específicos.
• Precisão: O sistema manteve uma qualidade de tradução satisfatória em pares bidirecionais (línguas Indianas $\leftrightarrow$ Línguas Internacionais), apesar da quantização agressiva, conforme verificado por saídas qualitativas (ex: "Verificação e Validação de Modelo").

Significância e Alegações
O artigo afirma que o Bhasha-Rupantarika fornece uma solução viável e implantável para IA multilíngue em cenários de baixos recursos. Ao provar que a quantização de ultra-baixa precisão (FP4/INT4) não compromete a capacidade de tradução quando pareada com hardware especializado, o trabalho possibilita a tradução em tempo real em dispositivos IoT e plataformas de borda. Os autores enfatizam que esta abordagem é particularmente significativa para populações com educação formal limitada que precisam interagir com línguas estrangeiras para turismo ou negócios. O estudo conclui que o co-design de algoritmo-hardware é essencial para equilibrar desempenho, precisão e restrições de recursos no PLN de borda, oferecendo um caminho para a implantação de IA energeticamente eficiente e sustentável em regiões em desenvolvimento. Os autores observam que, embora o trabalho atual foque na implantação de borda, a escalabilidade desta abordagem poderia potencialmente beneficiar implementações de nuvem de alto desempenho no futuro.