Bhasha-Rupantarika: Algorithm-Hardware Co-design approach for Multilingual Neural Machine Translation

Technische Samenvatting: Bhasha-Rupantarika – Algoritme-Hardware Co-design voor Meertalige Neurale Machinevertaling

Probleemstelling
Het artikel behandelt de uitdaging van het implementeren van meertalige neurale machinevertalingssystemen (MNMT) in omgevingen met beperkte middelen, specifiek gericht op landelijke gebieden in India en IoT-apparaten. Traditionele MNMT-benaderingen vertrouwen vaak op afzonderlijke modellen voor verschillende taalparen of op hoogprecisie (FP32) berekeningen, wat een aanzienlijke rekenkracht en geheugen vereist. Dit vormt een barrière voor realtime vertaling op edge-apparaten met beperkte middelen. Bovendien negeren bestaande hardware-accelerators vaak de specifieke behoeften van NLP-engines, door de focus te leggen op computer vision of algemene deep learning-taken, wat leidt tot inefficiënties in oppervlakte, vermogen en latentie bij het verwerken van transformer-gebaseerde vertaalmodellen.

Methodologie
De auteurs stellen "Bhasha-Rupantarika" voor, een systeem dat is ontworpen via een nauwe algoritme-hardware co-design benadering om efficiënte meertalige vertaling op edge-platforms mogelijk te maken.

• Algoritmische Strategie:

  • Unified Model: In plaats van het ketenen van afzonderlijke modellen (bijv. Indiase taal $\to$ Engels $\to$ Buitenlandse taal), maakt het systeem gebruik van een enkel verenigd bidirectioneel model gebaseerd op NLLB-200 (No Language Left Behind). Dit model ondersteunt 200 talen, inclusief minderheidstalen uit India.
  • Quantization: De kern van de algoritmische innovatie betreft agressieve sub-octet precisie kwantisatie. De studie onderzoekt implementatie op FP8, INT8, INT4 en FP4 niveaus. Een gedestilleerde 600M-parameter INT4 versie van NLLB-200 wordt ingezet, gebruikmakend van een Transformer encoder-decoder architectuur met Mixture-of-Experts (MoE) lagen om de parameterefficiëntie te beheren zonder de per-token rekenkosten te verhogen.
  • Pipeline: Het systeem integreert OpenAI Whisper Large-v3 voor buitenlandse taal spraak-naar-tekst, AI4Bharat IndicConformer voor Indiase taal spraak-naar-tekst, en Coqui XTTS v3/IndicParler TTS voor tekst-naar-spraak synthese, die allemaal rond de gekwantiseerde NLLB-vertalingskern worden georkestreerd.

• Hardware Architectuur:

  • Neural Processing Engine (NPE): Een aangepaste hardware-accelerator werd ontworpen met behulp van SystemVerilog, bestaande uit een Control Unit (CU), Memory Read/Write Units, een SIMD Matrix Multiply Engine (MME), en een Non-linear MIMD Vector Array (NMV).
  • Custom Compute Units:
    • MME: Implementeert een geparametriseerde systolische array gebaseerd op SIMD MAC (Multiply-Accumulate) operaties. Het ondersteunt meerdere precisies (1$\times$BF16, 3$\times$FP8, 6$\times$FP4, 6$\times$INT4) in een enkele klokcyclus met behulp van een nieuwe RMMEC (Reconfigurable Multi-Mode Exponent and Mantissa Computation) blok.
    • NMV: Verwerkt niet-lineaire activatiefuncties (NAFs) zoals Sigmoid, Tanh, ReLU en SoftMax met behulp van een CORDIC-gebaseerde FASST unit. Deze unit is ontworpen om herconfigureerbaar te zijn en ondersteunt FP8 en BF16 precisies, waarmee de hoge oppervlaktekosten van NAF-hardware in commerciële TPU's wordt aangepakt.
  • Dataflow: De architectuur maakt gebruik van een output-stationary dataflow om gegevenshergebruik te maximaliseren en de latentie van off-chip geheugentoegang te minimaliseren.

Belangrijkste Bijdragen

1. Unified Quantized Model: Demonstratie dat een enkel gedestilleerd INT4 NLLB-200 model effectief bidirectionele vertaling tussen Indiase en internationale talen kan afhandelen, ter vervanging van complexe multi-model pipelines.
2. Custom Hardware Accelerator: Ontwikkeling van een gespecialiseerde NPE-architectuur met innovatieve RMMEC en FASST units die ultra-lage precisie (tot 4-bit) operaties ondersteunen, specifiek geoptimaliseerd voor transformer-workloads.
3. Co-design Validatie: Een uitgebreide evaluatie die aantoont dat algoritmische kwantisatie (FP4/INT4) in combinatie met een custom hardwareontwerp significante winsten oplevert in resource-benutting en throughput vergeleken met bestaande FPGA en ASIC oplossingen.

Resultaten
Het systeem werd geëvalueerd met een ZCU104 FPGA en gesimuleerd via Cadence Innovus (28nm CMOS) voor ASIC-metrieken.

• Model Efficiëntie: Het FP4 gekwantiseerde model bereikte een 4.1$\times$ reductie in modelgrootte (tot 0,56 GB) vergeleken met FP32.
• Inference Prestaties: Het systeem bereikte een throughput van 66 tokens/seconde, wat een 4.2$\times$ versnelling in inferentiesnelheid en een 4.8$\times$ verbetering in throughput vertegenwoordigt ten opzichte van de baseline verwachtingen.
• Hardware Resource Benutting (FPGA):
  • LUTs: Verminderd met 1.96$\times$ vergeleken met de beste State-of-the-Art (SoTA) NLP-accelerator (OPU).
  • Flip-Flops (FFs): Verminderd met 1.65$\times$.
  • Throughput: Bereikte een 2.2$\times$ verbetering ten opzien van OPU en 4.6$\times$ ten opzien van HPTA.
• ASIC Metrieken: De custom MAC en NAF units vertoonden significante reducties in oppervlakte en stroomverbruik vergeleken met SoTA-ontwerpen, waarbij de MAC-unit een 90% reductie in LUT-gebruik liet zien ten opzien van specifieke eerdere werken.
• Nauwkeurigheid: Het systeem behield een bevredigende vertaalkwaliteit over bidirectionele paren (Indiase $\leftrightarrow$ Internationale talen) ondanks de agressieve kwantisatie, zoals geverifieerd door kwalitatieve outputs (bijv. "Model Verification and Validation").

Betekenis en Claims
Het artikel claimt dat Bhasha-Rupantarika een levensvatbare, inzetbare oplossing biedt voor meertalige AI in omgevingen met beperkte middelen. Door te bewijzen dat ultra-lage precisie kwantisatie (FP4/INT4) de vertalingscapaciteit niet in gevaar brengt wanneer dit wordt gekoppeld aan gespecialiseerde hardware, maakt het werk real-time vertaling op IoT-apparaten en edge-platforms mogelijk. De auteurs benadrukken dat deze aanpak bijzonder significant is voor populaties met beperkte formele educatie die een vreemde taal nodig hebben voor toerisme of zaken. De studie concludeert dat algoritme-hardware co-design essentieel is voor het balanceren van prestaties, nauwkeurigheid en resource-beperkingen in edge NLP, wat een pad biedt naar energie-efficiënte, duurzame AI-implementatie in ontwikkelingsregio's. De auteurs merken op dat hoewel het huidige werk zich richt op edge-implementatie, de schaalbaarheid van deze aanpak in de toekomst potentieel voordeel kan bieden aan high-performance cloud-implementaties.