NE-BERT: A Multilingual Language Model for Nine Northeast Indian Languages

Riepilogo Tecnico: NE-BERT

Definizione del Problema

I moderni sistemi di Elaborazione del Linguaggio Naturale (NLP) mostrano una significativa disparità di prestazioni tra le lingue ad alta risorsa e quelle a basse risorse, rinforzando le disuguaglianze digitali. Mentre i modelli multilingue generali come mBERT e i modelli regionali come IndicBERT-V2 offrono una copertura ampia, essi non riescono ad assistere adeguatamente le lingue indigene del Nordest dell'India. Questa regione, che ospita oltre 200 lingue distinte, affronta sfide uniche che includono l'estrema scarsità di risorse (alcune lingue hanno meno di 1.000 frasi digitalizzate), strutture morfologiche agglutinanti e diversità di script (Latino e Bengalese-Assamese). I modelli esistenti spesso soffrono di "frammentazione del vocabolario" in questi contesti, dove parole rare vengono scomposte in unità di sottoparole subottimali, degradando gravemente l'efficienza dell'inferenza e la coerenza semantica.

Metodologia

L'autore introduce NE-BERT, un modello encoder multilingue specifico per il dominio basato sull'architettura ModernBERT, progettato specificamente per nove lingue del Nordest dell'India e due lingue ancora (Hindi e Inglese).

1. Costruzione del Dataset

Il corpus di addestramento comprende circa 8,3 milioni di frasi che coprono:

• 9 Lingue del Nordest dell'India: Assamese, Garo, Khasi, Meitei, Mizo, Naga, Nyishi, Pnar e Kokborok.
• 2 Lingue Ancora: Hindi e Inglese.
• Fonti: I dati sono stati curati da documenti governativi, archivi di notizie, materiali educativi e testi culturali. Corpus paralleli specifici per Nyishi e Kokborok sono stati estratti dal WMT 2025 Shared Task.

2. Strategia di Campionamento Pesato

Per affrontare l'estremo squilibrio dei dati (che varia da 1.002 frasi per il Pnar a 3,4 milioni per l'Hindi), l'autore ha impiegato un campionamento pesato aggressivo durante l'addestramento del tokenizer:

• Le lingue a bassissima risorsa (es. Pnar, Kokborok) hanno ricevuto un peso di upsampling di 100× per garantire un'adeguata rappresentazione del vocabolario e prevenire la frammentazione a livello di carattere.
• Le lingue ancora sono state declassate (Hindi 0,05×, Inglese 0,2×) per dare priorità al vocabolario delle lingue del Nordest pur mantenendo le capacità di trasferimento cross-lingue.
• Nota: Questi conteggi virtuali si applicavano solo all'addestramento del tokenizer; l'effettivo addestramento al Masked Language Modeling (MLM) ha utilizzato i conteggi reali delle frasi per evitare l'overfitting.

3. Tokenizzazione

Il documento utilizza un tokenizer SentencePiece Unigram personalizzato (50.368 token) anziché il più comune Byte-Pair Encoding (BPE).

• Razionale: L'approccio probabilistico di Unigram preserva meglio le strutture linguistiche delle lingue agglutinanti rispetto alla strategia di fusione greedy di BPE.
• Configurazione: Il tokenizer è stato addestrato sui conteggi virtuali pesati per garantire che le parole comuni nelle lingue a bassa risorsa formino singoli token, riducendo la lunghezza della sequenza e migliorando la coerenza semantica.

4. Architettura del Modello e Addestramento

• Base: ModernBERT-base (Warner et al., 2025) con 149 milioni di parametri (22 livelli, dimensione nascosta 768, 12 teste di attenzione).
• Caratteristiche: Rotary Position Embeddings (RoPE), Flash Attention 2 e unpadding per il miglioramento del throughput.
• Addestramento: Addestrato utilizzando MLM con una probabilità di masking del 15% e masking dinamico su 10 epoche.
• Efficienza: Il modello è stato addestrato su una singola GPU NVIDIA A40 (48GB VRAM) per circa 17 ore al costo di $7,31.

Risultati Chiave

Prestazioni di Perplessità

NE-BERT è stato valutato su set di test tenuti separati (500 frasi per lingua) contro IndicBERT-V2, MuRIL e mBERT.

• Prestazioni Complessive: NE-BERT ha raggiunto una perplessità media di 2,21 attraverso le 9 lingue del Nordest, superando significativamente IndicBERT-V2 (35,29) e MuRIL (16,88), e superando mBERT (2,76).
• Miglioramento Medio: NE-BERT ha ottenuto una perplessità media rispettivamente 15,97× e 7,64× inferiore rispetto a IndicBERT-V2 e MuRIL attraverso le 9 lingue del Nordest dell'India.
• Guadagni per le Ultra-Basse Risorse: I miglioramenti più drammatici sono stati osservati nelle lingue con dati minimi. Per il Pnar (1.002 frasi) e lo Nyishi (55.870 frasi), NE-BERT ha ridotto la perplessità a 2,92 e 4,33 rispettivamente, mentre IndicBERT-V2 ha mostrato un fallimento catastrofico con punteggi di perplessità di 66,92 e 187,20.
• Prestazioni per Alte Risorse: Sulle lingue con ampia copertura Wikipedia (Assamese, Meitei), mBERT rimane competitivo, ma NE-BERT ottiene comunque risultati superiori o comparabili.

Efficienza di Tokenizzazione

• Fertilità: NE-BERT ha raggiunto una fertilità di tokenizzazione media di 1,68 token/parola per le lingue del Nordest, rispetto a 2,08 per IndicBERT-V2, 2,14 per MuRIL e 2,51 per mBERT. Ciò rappresenta un miglioramento di 1,50× rispetto a mBERT.
• Bits Per Character (BPC): NE-BERT ha raggiunto un BPC medio di 0,347, dimostrando una superiore efficienza di compressione rispetto a IndicBERT-V2 (1,497) e MuRIL (1,271).

Valutazione Downstream

Nei compiti di Part-of-Speech (POS) tagging su Khasi, Mizo e Nagamese:

• NE-BERT ha raggiunto un'accuratezza media dell'82,4%, superando mBERT (73,3%) di 9,1 punti percentuali e IndicBERT-V2 (59,2%) di 23,2 punti percentuali.

Significato e Rivendicazioni

Il documento sostiene che NE-BERT dimostra che i modelli specifici per dominio con una tokenizzazione appropriata possono servire efficacemente le lingue a bassissima risorsa con appena 1.000 frasi di addestramento.

• Ottimizzazione del Vocabolario rispetto alla Scala: I risultati sfidano la nozione che la scalabilità della dimensione del modello sia sufficiente per le prestazioni a basse risorse. L'autore sostiene che l'attenta ottimizzazione del vocabolario (tramite la tokenizzazione Unigram pesata) e i dati di addestramento mirati siano più critici rispetto al numero puro di parametri per questi specifici contesti linguistici.
• Efficacia dei Costi: Il successo dell'addestramento di un modello competitivo su una singola GPU per meno di $10 fornisce un piano pratico per lo sviluppo di modelli linguistici per le lingue sottorappresentate in tutto il mondo.
• Inclusione Digitale: Affrontando la "maledizione della multilinguità" e la frammentazione del vocabolario, NE-BERT mira a sostenere la ricerca NLP e l'inclusione digitale per le comunità del Nordest dell'India, che sono state ampiamente assenti dalla ricerca NLP mainstream.

L'autore rilascia esplicitamente il modello, il tokenizer, il corpus di addestramento e i set di test sotto una licenza CC-BY-4.0 per facilitare la riproducibilità e le applicazioni guidate dalla comunità. Riconosce i limiti, inclusa l'architettura solo encoder (non adatta per compiti di generazione) e la necessità di ulteriori valutazioni downstream su compiti diversi e su tutte le nove lingue.