LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

Riepilogo Tecnico: LLiMba — Adattamento di un Modello Linguistico da 3B al Sardo

Enunciato del Problema
Il sardo (sardu), una lingua romanza parlata da circa un milione di persone, soffre di una quasi totale assenza nell'elaborazione del linguaggio naturale (NLP) moderna. I servizi commerciali non lo supportano e i modelli linguistici di grandi dimensioni (LLM) esistenti non riescono a generarlo in modo affidabile, ricorrendo spesso all'italiano, allo spagnolo o ad altre principali lingue romanze. La scarsità di dati in sardo nei corpora su scala web impedisce ai modelli open standard di apprendere la lingua, mentre i modelli proprietari ritengono la base utenti troppo piccola per l'acquisizione di dati. Inoltre, i dataset standard a risorse limitate (ad esempio OSCAR, Leipzig Corpora) contengono un testo in sardo utilizzabile trascurabile. La sfida consiste nell'adattare un modello multilingue preaddestrato a una lingua romanza a risorse limitate e strettamente correlata, utilizzando dati minimi e hardware di fascia consumer, evitando al contempo l'oblio catastrofico e garantendo un ancoraggio fattuale.

Metodologia
Gli autori presentano LLiMba, un modello pronto per il sardo da 3 miliardi di parametri adattato da Qwen2.5-3B-Instruct. La pipeline di adattamento è eseguita su una singola NVIDIA RTX 4090 (24 GB di VRAM) utilizzando un processo in due fasi:

1. Pretraining Continuo (CPT):

   • Dati: Un corpus di circa 11,5 milioni di token in sardo (che copre le varianti LSC, logudorese e campidanese) integrato con circa 2,4 milioni di token di testo romanzesco correlato (italiano, spagnolo, portoghese, catalano) per prevenire l'oblio catastrofico e l'offuscamento del registro.
   • Tecnica: Full fine-tuning (tutti i parametri aggiornati) in bfloat16. Gli autori hanno scelto il full fine-tuning rispetto agli adapter efficienti in termini di parametri per questa fase perché lo spostamento del dominio (apprendimento di una nuova lingua) è ampio e lavori precedenti suggeriscono che LoRA performa peggio del full fine-tuning quando la distribuzione target è distante dal pretraining.
   • Vincoli Hardware: Per far rientrare il modello da 3B nei 24 GB di VRAM, gli autori hanno utilizzato ottimizzatori AdamW a 8 bit paginati, gradient checkpointing e una dimensione di batch effettiva di 16 tramite accumulo dei gradienti. L'imballaggio delle sequenze (sequence packing) è stato disabilitato per prevenire la fuoriuscita di attenzione tra tipi di documenti eterogenei.

2. Fine-Tuning Supervisionato (SFT):

   • Dati: Circa 14.404 coppie di istruzioni derivate da dati Capybara tradotti automaticamente, coppie di traduzione parallela, istruzioni sintetizzate curate da madrelingua e query relative alla musica.
   • Confronto delle Configurazioni: Sono state confrontate cinque configurazioni SFT in condizioni equivalenti (stessi dati, hardware, iperparametri):
     • Full Fine-Tuning.
     • LoRA (Rank 64, $\alpha=128$).
     • rsLoRA (Rank 128, $\alpha=128$, utilizzando la scalatura $\alpha/\sqrt{r}$).
     • rsLoRA (Rank 256, $\alpha=256$, utilizzando la scalatura $\alpha/\sqrt{r}$).
     • DoRA (Rank 256, $\alpha=256$, decomponendo i pesi in magnitudine e direzione).

Risultati Chiave

• Prestazioni di Traduzione: Il pretraining continuo ha fornito la maggior parte del guadagno di prestazioni, migliorando i punteggi BLEU di 4–7 volte rispetto al modello base. L'SFT ha apportato miglioramenti incrementali.

  • Migliore Esecutore: rsLoRA a Rank 256 ha ottenuto i punteggi più alti per la traduzione verso il sardo (ad esempio, 28,47 BLEU per inglese-sardo, rispetto a 17,26 dopo il solo CPT e 21,04 per il full fine-tuning).
  • Ablazione del Rank: Le prestazioni sulle metriche di traduzione sono aumentate in modo regolare con il rank: rsLoRA r256 > rsLoRA r128 > LoRA r64.
  • Scarsa Performance di DoRA: Nonostante avesse lo stesso rank (256) della migliore configurazione rsLoRA, DoRA ha ottenuto risultati inferiori a LoRA r64 su quattro delle sei direzioni di traduzione e non è riuscito a eguagliare i guadagni del full fine-tuning.

• Risultati Qualitativi e Modalità di Fallimento:

  • Ancoraggio Fattuale: Le metriche di traduzione (BLEU/chrF) non hanno correlato con l'accuratezza fattuale. rsLoRA r256 ha prodotto fatti biografici e culturali verificabili e accurati. Al contrario, LoRA r64 ha prodotto dettagli confidenziali ma fabbricati, e DoRA r256 ha prodotto le falsificazioni più aggressive, contraddicendo la sua premessa progettuale di preservare la struttura del modello base.
  • Fedeltà Lessicale: Sebbene rsLoRA r256 fosse fattualmente superiore, ha mostrato "allucinazione morfologica" su prompt lunghi e aperti, generando parole in sardo fonotatticamente plausibili ma non attestate. Il full fine-tuning è rimasto il più vicino al vocabolario attestato.
  • Fuoriuscita di Script: La configurazione rsLoRA r128 ha introdotto una modalità di fallimento unica: la fuoriuscita di token di script non latini (cinese/inglese) nelle frasi in sardo, un fenomeno non osservato nelle altre varianti.

• Metriche di Loss vs Realtà: Le loss di training e di valutazione sono state simili tra i metodi e non hanno previsto le differenze qualitative in termini di fattualità o integrità dello script. Il documento nota che le metriche di perplessità possono essere artificialmente ridotte dalla tokenizzazione di fallback byte in script non latini (un problema noto nell'adattamento del tibetano), sebbene lo script latino del sardo eviti questo specifico artefatto.

Significato e Contributi
Il documento stabilisce che l'adattamento di un modello da 3 miliardi di parametri a una lingua romanza a risorse limitate è fattibile su una singola GPU consumer utilizzando una pipeline in due fasi di CPT completo seguita da SFT efficiente in termini di parametri.

I contributi chiave includono:

1. Evidenza Empirica sulla Capacità degli Adapter: Lo studio dimostra che per l'adattamento di una base preaddestrata su lingue romanze a un target romanzesco a risorse limitate, il rank dell'adapter è più importante della specifica variante dell'adapter. Scalare rsLoRA a Rank 256 ha prodotto guadagni significativi, mentre DoRA allo stesso rank non è riuscito a fornire risultati comparabili, suggerendo che la specifica parametrizzazione (aggiornamenti a basso rank non vincolati vs decomposizione magnitudine-direzione) interagisce in modo critico con il compito.
2. Limiti delle Metriche Standard: Il lavoro evidenzia che le metriche di traduzione (BLEU/chrF) e le curve di loss possono ordinare le configurazioni in modo regolare mentre mascherano differenze categoriali nel comportamento qualitativo, come allucinazioni fattuali e fuoriuscita di script.
3. Efficienza delle Risorse: Fornisce una pipeline riproducibile per l'adattamento di lingue a risorse limitate che non richiede cluster di calcolo massicci, affidandosi invece a una curatela attenta dei dati e a ottimizzazioni consapevoli dell'hardware (ottimizzatori a 8 bit, gradient checkpointing).

Gli autori concludono che, sebbene rsLoRA r256 sia la configurazione ottimale per la traduzione e l'ancoraggio fattuale in questo specifico contesto, la divergenza tra metriche quantitative e realtà qualitativa rende necessarie strategie di valutazione che includano sonde per madrelingua e controlli di fattualità, in particolare quando le metriche basate sulla loss possono essere fuorvianti o insufficienti.