Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque

Titolo: Istruire i Modelli Linguistici di Grande Dimensione (LLM) per Lingue a Risorse Limitate: Uno Studio Sistematico sul Basco

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM), in particolare quelli open-source, rimangono prevalentemente centrati sulla lingua inglese, con una copertura limitata per la maggior parte delle lingue del mondo. Anche i modelli più recenti, una volta istruiti (instruction-tuned), mostrano capacità marcatamente degradate quando gestiscono lingue a risorse limitate (low-resource).
Il problema principale risiede nella mancanza di dataset di istruzioni di alta qualità in queste lingue. Le pipeline di adattamento convenzionali richiedono solitamente:

1. Un corpus nella lingua target.
2. Dataset di istruzioni specifici per quella lingua (spesso inesistenti).
3. Un processo sequenziale complesso: pre-addestramento continuo (Continued Pretraining - CPT) seguito dall'addestramento alle istruzioni (Instruction Tuning).

Gli autori si chiedono se sia possibile trasferire le capacità di seguire le istruzioni a nuove lingue senza dati di istruzioni dedicati e se i modelli già istruiti in inglese possano essere adattati tramite pre-addestramento continuo, invertendo o semplificando la pipeline standard.

2. Metodologia

Lo studio si concentra sul basco, una lingua isolata con risorse limitate (circa 1.000 volte meno presente di inglese su Common Crawl) e priva di dataset di istruzioni preesistenti. Gli autori hanno esplorato sistematicamente diverse strategie di adattamento, limitandosi a risorse disponibili o generabili tramite modelli open, senza distillare conoscenze da sistemi commerciali proprietari.

Componenti Chiave:

• Modelli Backbone (3 varianti):
  • BASE_EN: Llama 3.1 (base inglese).
  • BASE_EU: Llama 3.1 sottoposto a pre-addestramento continuo sul corpus basco.
  • INSTRUCT_EN: Llama 3.1 già istruito in inglese.
• Dati di Addestramento:
  • Corpus_EU: 4,3 milioni di documenti di alta qualità in basco (~3,5 miliardi di token).
  • Instructions_EN: 1 milione di istruzioni sintetiche generate in inglese campionando dal modello INSTRUCT_EN (tecnica Magpie).
  • Instructions_EU: Traduzione delle istruzioni inglesi in basco utilizzando il modello BASE_EU (per evitare bias esterni di sistemi di traduzione commerciali).
• Configurazioni Sperimentali:
  Gli autori hanno creato 17 nuovi modelli da 8 miliardi di parametri (più un modello da 70B) combinando diverse strategie:
  1. Lingua prima: Addestrare la lingua (BASE_EU) e poi le istruzioni.
  2. Istruzioni prima: Addestrare le istruzioni su un modello base inglese (BASE_EN + istruzioni) e poi la lingua.
  3. Simultaneo: Addestrare lingua e istruzioni insieme partendo da un modello base inglese (BASE_EN + corpus + istruzioni).
  4. Adattamento da Istruito: Partire da un modello già istruito in inglese (INSTRUCT_EN) e adattarlo al basco.

Valutazione:

• Benchmark Statici: 27 benchmark (lettura, ragionamento, conoscenza, matematica) in basco, inglese e spagnolo.
• Valutazione Umana (Arena): Un'arena su larga scala con 1.680 partecipanti bascofoni che hanno generato 12.890 annotazioni di preferenza, valutando qualità del contenuto e qualità linguistica.
• Sicurezza e Bias: Valutazione su dataset paralleli basco-inglese ispirati a XSTest e BBQ.

3. Risultati Chiave

L'analisi sistematica ha portato a tre conclusioni fondamentali:

1. Il Corpus nella Lingua Target è Essenziale:
   I modelli privi di esposizione al testo basco grezzo (Corpus_EU) hanno mostrato un degrado delle prestazioni, indipendentemente dalle altre tecniche. L'uso del corpus basco ha portato a miglioramenti significativi (fino a +12 punti di accuratezza e +300 punti nello score dell'Arena). Tuttavia, per i modelli che partivano già da BASE_EU, l'aggiunta di ulteriore corpus durante l'addestramento alle istruzioni ha offerto benefici marginali o talvolta dannosi.

2. Le Istruzioni Bilingui (Inglese + Basco) sono Superiori:
   Sebbene le istruzioni solo in basco abbiano mostrato benefici, la combinazione di istruzioni in inglese e basco ha prodotto i risultati più robusti e coerenti sia nei benchmark che nelle valutazioni umane. Le istruzioni solo in inglese hanno funzionato bene, ma la miscela bilingue ha massimizzato la stabilità.

3. Partire da un Modello Istruito (Instruction-Tuned) è Più Efficace:
   Contrariamente alla pipeline standard (che suggerisce di addestrare prima la lingua su un modello base e poi istruirlo), gli autori hanno scoperto che partire da un modello già istruito in inglese (INSTRUCT_EN) e adattarlo al basco supera l'approccio di insegnare sia la lingua che le istruzioni da zero a un modello base. Questo suggerisce che le capacità di seguire le istruzioni possono essere trasferite più efficacemente adattando un modello già allineato piuttosto che addestrandolo da zero.

Performance del Modello 70B:
Il modello scalato a 70 miliardi di parametri (basato su INSTRUCT_EN + Corpus_EU + Instructions_EN+EU) ha raggiunto prestazioni vicine ai modelli frontier commerciali (come GPT-4o e Claude 3.5 Sonnet) per il basco, senza aver mai visto istruzioni umane in basco. Ha superato GPT-4o in benchmark specifici sulla conoscenza locale del Paese Basco (BertaQA Local) e nel ragionamento matematico multilingue (MGSM).

4. Contributi Principali

Il lavoro offre diversi contributi significativi alla comunità:

• Modelli Open: Rilascio della prima famiglia di LLM istruiti specificamente per il basco (8B e 70B parametri).
• Dataset: Rilascio di dataset di istruzioni sintetiche su larga scala in inglese e basco, e del primo dataset di preferenze umane in basco (prompt reali, risposte e annotazioni).
• Metodologia: Dimostrazione che l'adattamento di modelli istruiti è una strategia superiore per le lingue a risorse limitate rispetto all'approccio sequenziale tradizionale.
• Valutazione: La più grande valutazione umana mai condotta per una lingua a risorse limitate, che ha rivelato una forte correlazione (ρ > 0.80) tra i benchmark automatizzati in basco e le preferenze umane, suggerendo che i benchmark possono essere proxy affidabili per future ricerche.

5. Significato e Implicazioni

Questo studio sfida le pratiche consolidate nell'adattamento dei LLM per lingue a risorse limitate. Dimostra che:

• Non è necessario un dataset di istruzioni umano per creare modelli capaci di seguire istruzioni in lingue a bassa risorsa; le istruzioni sintetiche sono sufficienti se combinate con un corpus linguistico di qualità.
• La "pipeline" standard (Base -> CPT Lingua -> Instruction Tuning) non è ottimale; è più efficiente adattare un modello già istruito.
• È possibile raggiungere livelli di performance competitivi con modelli proprietari molto più grandi, utilizzando solo risorse open e strategie di adattamento intelligenti.

Il lavoro fornisce una roadmap replicabile per l'adattamento di centinaia di altre lingue a risorse limitate, promuovendo l'equità linguistica nell'intelligenza artificiale.