Bhasha-Rupantarika: Algorithm-Hardware Co-design approach for Multilingual Neural Machine Translation

Resumen Técnico: Bhasha-Rupantarika – Co-diseño de Algoritmo-Hardware para la Traducción Automática Neuronal Multilingüe

Planteamiento del Problema
El artículo aborda el desafío de desplegar sistemas de Traducción Automática Neuronal Multilingüe (MNMT, por sus siglas en inglés) en entornos con recursos limitados, dirigiéndose específicamente a zonas rurales de la India y dispositivos IoT. Los enfoques tradicionales de MNMT suelen depender de modelos separados para diferentes pares de lenguas o de computaciones de alta precisión (FP32), lo que demanda una potencia de cómputo y memoria significativas. Esto crea una barrera para la traducción en tiempo real en dispositivos periféricos (edge) con recursos limitados. Además, los aceleradores de hardware existentes suelen ignorar las necesidades específicas de los motores de PLN, centrándose en cambio en tareas de visión o aprendizaje profundo general, lo que genera ineficiencias en área, potencia y latencia al manejar modelos de traducción basados en Transformers.

Metodología
Los autores proponen "Bhasha-Rupantarika", un sistema diseñado mediante un enfoque estrecho de co-diseño de algoritmo-hardware para permitir una traducción multilingüe eficiente en plataformas periféricas.

• Estrategia Algorítmica:

  • Modelo Unificado: En lugar de encadenar modelos separados (por ejemplo, Lengua India $\to$ Inglés $\to$ Lengua Extranjera), el sistema utiliza un único modelo bidireccional unificado basado en NLLB-200 (No Language Left Behind). Este modelo soporta 200 lenguas, incluyendo lenguas indias de bajos recursos.
  • Cuantización: La innovación algorítmica central involucra una cuantización agresiva de precisión sub-octeto. El estudio investiga el despliegue en niveles FP8, INT8, INT4 y FP4. Se emplea una versión destilada de 600 millones de parámetros en INT4 de NLLB-200, utilizando una arquitectura Transformer de codificador-decodificador con capas de Mezcla de Expertos (MoE) para gestionar la eficiencia de los parámetros sin aumentar el costo computacional por token.
  • Pipeline: El sistema integra OpenAI Whisper Large-v3 para la conversión de habla a texto de lenguas extranjeras, AI4Bharat IndicConformer para la conversión de habla a texto de lenguas indias, y Coqui XTTS v3/IndicParler TTS para la síntesis de texto a habla, todo ello orquestado alrededor del núcleo de traducción cuantizado NLLB.

• Arquitectura de Hardware:

  • Motor de Procesamiento Neuronal (NPE): Se diseñó un acelerador de hardware personalizado utilizando SystemVerilog, que cuenta con una Unidad de Control (CU), Unidades de Lectura/Escritura de Memoria, un Motor de Multiplicación de Matrices SIMD (MME) y un Arreglo de Vectores MIMD No Lineal (NMV).
  • Unidades de Cómputo Personalizadas:
    • MME: Implementa un arreglo sistólico parametrizado basado en operaciones SIMD MAC (Multiplicación-Acumulación) . Soporta múltiples precisiones (1$\times$BF16, 3$\times$FP8, 6$\times$FP4, 6$\times$INT4) en un solo ciclo de reloj utilizando un bloque novedoso de RMMEC (Cómputo Reconfigurable de Exponente y Mantisa Múltiple).
    • NMV: Gestiona funciones de activación no lineales (NAF) como Sigmoide, Tanh, ReLU y SoftMax utilizando una unidad FASST basada en CORDIC. Esta unidad está diseñada para ser reconfigurable y soporta precisiones FP8 y BF16, abordando el alto costo de área del hardware de NAF en las TPUs comerciales.
  • Flujo de Datos: La arquitectura utiliza un flujo de datos de estación de salida (output-stationary) para maximizar la reutilización de datos y minimizar la latencia de acceso a la memoria fuera del chip.

Contribuciones Clave

1. Modelo Cuantizado Unificado: Demostración de que un único modelo NLLB-200 destilado en INT4 puede manejar eficazmente la traducción bidireccional entre lenguas indias e internacionales, reemplazando complejos pipelines de múltiples modelos.
2. Acelerador de Hardware Personalizado: Desarrollo de una arquitectura de NPE especializada con unidades RMMEC y FASST novedosas que soportan operaciones de ultra baja precisión (hasta 4 bits), optimizadas específicamente para cargas de trabajo de Transformers.
3. Validación de Co-diseño: Una evaluación exhaustiva que muestra que la cuantización algorítmica (FP4/INT4) combinada con el diseño de hardware personalizado produce ganancias significativas en la utilización de recursos y el rendimiento en comparación con las soluciones existentes de FPGA y ASIC.

Resultos
El sistema fue evaluado utilizando una FPGA ZCU104 y simulado mediante Cadence Innovus (CMOS de 28 nm) para métricas de ASIC.

• Eficiencia del Modelo: El modelo cuantizado en FP4 logró una reducción de 4.1$\times$ en el tamaño del modelo (bajando a 0.56 GB) en comparación con FP32.
• Rendimiento de Inferencia: El sistema alcanzó un rendimiento de 66 tokens/segundo, lo que representa una aceleración de 4.2$\times$ en la velocidad de inferencia y una mejora de 4.8$\times$ en el rendimiento (throughput) respecto a las expectativas base.
• Utilización de Recursos de Hardware (FPGA):
  • LUTs: Reducidos en 1.96$\times$ en comparación con el mejor acelerador de PLN del Estado del Arte (SoTA) (OPU).
  • Flip-Flops (FFs): Reducidos en 1.65$\times$.
  • Rendimiento (Throughput): Logró una mejora de 2.2$\times$ sobre OPU y de 4.6$\times$ sobre HPTA.
• Métricas de ASIC: Las unidades personalizadas de MAC y NAF demostraron reducciones significativas en el área y el consumo de energía en comparación con los diseños SoTA; la unidad MAC mostró una reducción del 90% en el uso de LUT en comparación con trabajos previos específicos.
• Precisión: El sistema mantuvo una calidad de traducción satisfactoria en pares bidireccionales (lenguas Indias $\leftrightarrow$ Internacionales) a pesar de la cuantización agresiva, según lo verificado por los resultados cualitativos (por ejemplo, "Verificación y Validación del Modelo").

Significancia y Reivindicaciones
El artículo afirma que Bhasha-Rupantarika proporciona una solución viable y desplegable para la IA multilingüe en entornos de bajos recursos. Al demostrar que la cuantización de ultra baja precisión (FP4/INT4) no compromete la capacidad de traducción cuando se combina con hardware especializado, este trabajo permite la traducción en tiempo real en dispositivos IoT y plataformas periféricas. Los autores enfatizan que este enfoque es particularmente significativo para poblaciones con educación formal limitada que necesitan interactuar con lenguas extranjeras para el turismo o los negocios. El estudio concluye que el co-diseño de algoritmo-hardware es esencial para equilibrar el rendimiento, la precisión y las restricciones de recursos en el PLN periférico, ofreciendo un camino hacia un despliegue de IA energético y sostenible en regiones en desarrollo. Los autores señalan que, si bien el trabajo actual se centra en el despliegue periférico, la escalabilidad de este enfoque podría beneficiar potencialmente las implementaciones de alto rendimiento en la nube en el futuro.