Surpassing Scale by Efficiency: A Compact 135M Parameter Foundational LLM Natively Adapted for the Bangla Language

Sintesi Tecnica: Superare la Scala attraverso l'Efficienza con bangla-smollm-135m

Enunciato del Problema
L'attuale panorama del Natural Language Processing (NLP) è dominato da architetture con miliardi di parametri. Sebbene efficaci per le lingue ad alte risorse, questi modelli sono computazionalmente proibitivi per l'implementazione su dispositivi edge, sistemi mobili e hardware decentralizzati locali. Questa limitazione è particolarmente acuta per le lingue a basse risorse che utilizzano script non latini, come il Bangla (Bengalese). Nonostante abbia oltre 300 milioni di parlanti nativi, il Bangla rimane strutturalmente svantaggiato nei grandi modelli fondazionali multilingue. I modelli standard mostrano alti tassi di "token-to-word" (fertilità) sullo script Abugida del Bangla perché i token in Bangla costituiscono una frazione trascurabile nei dataset di pre-addestramento ad alta densità. Questa inefficienza strutturale crea una "tassa sui token" inflazionata, che risulta in cache di memoria gonfie, alta latenza di inferenza e un precoce degrado della finestra di contesto, bloccando efficacemente l'implementazione locale efficiente dell'IA per questa lingua.

Metodologia
Per affrontare tali vincoli, gli autori introducono bangla-smollm-135m, un modello fondazionale decoder-only con soli 135 milioni di parametri attivi, progettato esplicitamente per lo script Bangla. La metodologia si concentra su tre piloli fondamentali:

1. Intersezione Deterministica del Tokenizer:
   Invece di addestrare un vocabolario da zero (il che destabilizzerebbe i parametri pre-addestrati) o fare affidamento su una base non adattata (il che comporterebbe elevati tassi di penalità sulla fertilità), gli autori impiegano una strategia di "intersezione e appendice deterministica". Questa pipeline fonde il vocabolario localizzato di TituLLMs (che funge da base) con l'architettura compatta di SmolLM2-135M.

   • Raccolta di Token Speciali: I token di controllo e le configurazioni strutturali dalla sorgente vengono isolati e aggiunti alla base se mancanti.
   • Intersezione Lessicale: I subword presenti nella sorgente ma assenti nella base vengono identificati, ordinati alfabeticamente per garantire la riproducibilità e aggiunti.
   • Vincoli di Confine: L'espansione del vocabolario è limitata a $K_{max} = 48.000$ token per mantenere una configurazione compatta degli embedding nascosti.

2. Purificazione dei Dati e Addestramento Stratificato:
   Il modello è sottoposto a un pre-addestramento continuo iterativo utilizzando un corpus regionale multi-modale diversificato derivato da hishab/titulm-bangla-corpus. I dati sono partizionati in tre fette tematiche stratificate per garantire la stabilità empirica:

   • Common Crawl (20%): Idiomi moderni non strutturati e dialoghi vernacolari.
   • Testo Tradotto (30%): Dataset ad alto registro provenienti da framework accademici e programmatici per catturare il ragionamento formale.
   • Testo Romanizzato (30%): Collezioni mappate foneticamente per migliorare le prestazioni sulle strutture Banglish (code-switched).

3. Infrastruttura di Addestramento Ottimizzata:
   L'addestramento utilizza il block packing dinamico per appiattire le linee sequenziali in una matrice di token unidimensionale continua, minimizzando lo spreco di computazione sui vettori di padding. Il flusso di lavoro gira su un nodo Linux multi-GPU utilizzando l'esecuzione a precisione mista Bfloat16 (BF16 nativo) e il gradient checkpointing per gestire la finestra di contesto di 4096 token senza errori di Out-of-Memory (OOM).

Risultati Chiave
Valutato in un rigoroso setting zero-shot su quattro benchmark localizzati, bangla-smollm-135m dimostra prestazioni che rivaleggiano o superano modelli significativamente più grandi:

• Contro Modelli da 270M: Supera Gemma-3-270m (il doppio delle sue dimensioni) nei compiti di ragionamento astratto, ottenendo punteggi più alti su CommonsenseQA_bn (0.256 vs 0.249) e Bangla_MMLU (0.237 vs 0.234).
• Contro Modelli da 1B: Raggiunge la parità o supera il vanilla Llama-3.2-1b nei compiti di ragionamento fisico e senso comune, nonostante richieda circa 7,4 volte meno spazio di memoria.
• Efficienza: I risultati indicano che l'intersezione deterministica del vocabolario e il filtraggio mirato dei dati permettono a sistemi ultra-compatti di competere con architetture multilingue general-purpose molto più grandi.

Significatività e Rivendicazioni
Il paper sostiene che bangla-smollm-135m fornisca una via percorribile per il dispiegamento di strumenti di IA efficienti direttamente sui dispositivi edge di consumo per le lingue a basse risorse con script non latini. Il contributo primario è la dimostrazione che l'adattamento dello script personalizzato e il filtraggio preciso dei dati possono superare i limiti delle scale dei modelli piccoli. Superando o eguagliando modelli fino a sette volte più grandi nei compiti core di ragionamento e conoscenza, l'architettura mette in discussione la necessità di una massiccia scalabilità dei parametri per specifici deployment regionali.

Limitazioni
Gli autori riconoscono modestamente diverse limitazioni inerenti all'architettura compatta:

• Orizzonti Contestuali: Sebbene configurato per una finestra di 4096 token, il modello manca delle capacità di recupero ad alta fedeltà o di sintesi narrativa a lungo formato tipiche delle strutture multilingue ultra-grandi.
• Ragionamento Complesso: Il modello subisce un rapido decadimento quando elabora calcoli simbolici multi-hop o mutazioni programmatiche complesse in Bangla, rendendo necessario l'offloading a modelli enterprise-grade (es. Qwen3-235B) per il ragionamento algoritmico pesante.
• Allucinazioni Linguistiche: Nonostante il framework di fusione del vocabolario, i limiti di capacità sottostanti possono ancora portare a errori di allineamento semantico o degradazione della formulazione sotto variazioni regionali altamente stilizzate.