Bhasha-Rupantarika: Algorithm-Hardware Co-design approach for Multilingual Neural Machine Translation

Sintesi Tecnica: Bhasha-Rupantarika – Co-design Algoritmo-Hardware per la Traduzione Neurale Multilingue

Problematica
Il documento affronta la sfida del dispiegamento di sistemi di Traduzione Neurale Multilingue (MNMT) in ambienti con risorse limitate, mirando specificamente alle aree rurali dell'India e ai dispositivi IoT. Gli approcci MNMT tradizionali si affidano spesso a modelli separati per diverse coppie linguistiche o a calcoli ad alta precisione (FP32), che richiedono una potenza computazionale e una memoria significative. Ciò crea una barriera per la traduzione in tempo reale su dispositivi edge con risorse limitate. Inoltre, gli acceleratori hardware esistenti spesso trascurano le esigenze specifiche dei motori NLP, concentrandosi invece sulla computer vision o sul deep learning generale, portando a inefficienze in termini di area, potenza e latenza nella gestione di modelli di traduzione basati su Transformer.

Metodologia
Gli autori propongono "Bhasha-Rupantarika", un sistema progettato attraverso un approccio di co-design stretto tra algoritmo e hardware per consentire una traduzione multilingue efficiente su piattaforme edge.

• Strategia Algoritmica:

  • Modello Unificato: Invece di concatenare modelli separati (ad es., Lingua Indiana $\to$ Inglese $\to$ Lingua Straniera), il sistema utilizza un unico modello bidirezionale unificato basato su NLLB-200 (No Language Left Behind). Questo modello supporta 200 lingue, incluse le lingue indiane a basse risorse.
  • Quantizzazione: L'innovazione algoritmica principale riguarda la quantizzazione aggressiva a precisione sub-ottettrale. Lo studio investiga il dispiegamento a livelli FP8, INT8, INT4 e FP4. Viene impiegata una versione distillata da 600 milioni di parametri in INT4 di NLLB-200, che utilizza un'architettura Transformer encoder-decoder con strati Mixture-of-Experts (MoE) per gestire l'efficienza dei parametri senza aumentare i costi computazionali per token.
  • Pipeline: Il sistema integra OpenAI Whisper Large-v3 per lo speech-to-text in lingua straniera, AI4Bharat IndicConformer per lo speech-to-text in lingua indiana e Coqui XTTS v3/IndicParler per la sintesi text-to-speech, il tutto orchestrato attorno al nucleo di traduzione quantizzato NLLB.

• Architettura Hardware:

  • Neural Processing Engine (NPE): È stato progettato un acceleratore hardware personalizzato utilizzando SystemVerilog, caratterizzato da una Unità di Controllo (CU), Unità di Lettura/Scrittura della Memoria, un Motore di Moltiplicazione di Matrici SIMD (MME) e un Array Vettoriale MIMD Non Lineare (NMV).
  • Unità di Calcolo Personalizzate:
    • MME: Implementa un array sistolico parametrizzato basato su operazioni SIMD MAC (Multiply-Accumulate). Supporta molteplici precisioni (1$\times$BF16, 3$\times$FP8, 6$\times$FP4, 6$\times$INT4) in un singolo ciclo di clock utilizzando un nuovo blocco RMMEC (Reconfigurable Multi-Mode Exponent and Mantissa Computation).
    • NMV: Gestisce le funzioni di attivazione non lineari (NAF) come Sigmoid, Tanh, ReLU e SoftMax tramite un'unità FASST basata su CORDIC. Questa unità è progettata per essere riconfigurabile e supporta le precisioni FP8 e BF16, affrontando l'alto costo di area dell'hardware NAF nei TPU commerciali.
  • Dataflow: L'architettura utilizza un dataflow output-stationary per massimizzare il riutilizzo dei dati e minimizzare la latenza di accesso alla memoria off-chip.

Contributi Chiave

1. Modello Quantizzato Unificato: Dimostrazione che un singolo modello NLLB-200 distillato in INT4 può gestire efficacemente la traduzione bidirezionale tra lingue indiane e internazionali, sostituendo complesse pipeline multi-modello.
2. Acceleratore Hardware Personalizzato: Sviluppo di un'architettura NPE specializzata con nuove unità RMMEC e FASST che supportano operazioni a ultra-bassa precisione (fino a 4 bit), specificamente ottimizzate per carichi di lavoro Transformer.
3. Validazione del Co-design: Una valutazione completa che mostra come la quantizzazione algoritmica (FP4/INT4), combinata con il design hardware personalizzato, produca guadagni significativi in termini di utilizzo delle risorse e throughput rispetto alle soluzioni esistenti su FPGA e ASIC.

Risultati
Il sistema è stato valutato utilizzando una ZCU104 FPGA ed è stato simulato tramite Cadence Innovus (CMOS a 28 nm) per le metriche ASIC.

• Efficienza del Modello: Il modello quantizzato FP4 ha ottenuto una riduzione delle dimensioni del modello di 4,1$\times$ (scendendo a 0,56 GB) rispetto a FP32.
• Prestazioni di Inferenza: Il sistema ha raggiunto un throughput di 66 token/secondo, rappresentando un'accelerazione dell'inferenza di 4,2$\times$ e un miglioramento del throughput di 4,8$\times$ rispetto alle aspettative di base.
• Utilizzo delle Risorse Hardware (FPGA):
  • LUT: Ridotte di 1,96$\times$ rispetto al miglior acceleratore NLP allo stato dell'arte (SoTA) (OPU).
  • Flip-Flops (FFs): Ridotti di 1,65$\times$.
  • Throughput: Ha ottenuto un potenziamento di 2,2$\times$ rispetto a OPU e di 4,6$\times$ rispetto a HPTA.
• Metriche ASIC: Le unità MAC e NAF personalizzate hanno dimostrato riduzioni significative nell'area e nel consumo di potenza rispetto ai design SoTA, con l'unità MAC che mostra una riduzione del 90% nell'uso di LUT rispetto a specifici lavori precedenti.
• Accuratezza: Il sistema ha mantenuto una qualità di traduzione soddisfacente attraverso le coppie bidirezionali (lingue indiane $\leftrightarrow$ lingue internazionali) nonostante l'aggressiva quantizzazione, come verificato dagli output qualitativi (ad es., "Verifica e Validazione del Modello").

Significatività e Rivendicazioni
L'articolo sostiene che Bhasha-Rupantarika fornisca una soluzione implementabile per l'IA multilingue in contesti con scarse risorse. Dimostrando che la quantizzazione a precisione ultra-bassa (FP4/INT4) non compromette la capacità di traduzione quando accoppiata con hardware specializzato, il lavoro abilita la traduzione in tempo reale su dispositivi IoT e piattaforme edge. Gli autori sottolineano che questo approccio è particolarmente significativo per le popolazioni con limitata istruzione formale che necessitano di interagire con lingue straniere per il turismo o il business. Lo studio conclude che il co-design algoritmo-hardware è essenziale per bilanciare prestazioni, accuratezza e vincoli di risorse nell'NLP edge, offrendo una via verso un dispiegamento dell'IA sostenibile ed efficiente dal punto di vista energetico nelle regioni in via di sviluppo. Gli autori osservano che, sebbene l'attuale lavoro si concentri sul dispiegamento edge, la scalabilità di questo approccio potrebbe potenzialmente beneficiare anche le implementazioni cloud ad alte prestazioni in futuro.