Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

Questo studio dimostra che è possibile sviluppare un modello linguistico multimodale efficace per la lingua basca utilizzando una bassa percentuale di dati multimodali in quella lingua e un modello linguistico di base non adattato, rilasciando al contempo risorse open source per altre lingue a risorse limitate.

L'essenziale

Immagina che i Modelli Linguistici Multimodali (MLLM) siano come dei super-assistenti digitali molto intelligenti. Questi assistenti non solo leggono e scrivono testi, ma possono anche "vedere" le immagini, capire cosa c'è dentro e parlarne con te. È come avere un amico che ti guarda una foto e ti racconta una storia, oppure ti risponde a una domanda su quello che vedi.

Il problema è che, finora, questi super-assistenti sono stati addestrati quasi esclusivamente in inglese. Se provi a chiedere loro di descrivere un'immagine in una lingua meno comune, come il basco (una lingua parlata nel nord della Spagna e della Francia, con pochi parlanti rispetto all'inglese), spesso fanno confusione o rispondono male. È come se avessi un chef stellato che cucina divinamente piatti italiani, ma se gli chiedi di preparare un piatto tipico basco, usa ingredienti sbagliati perché non ha mai studiato quella ricetta.

La Missione: Insegnare a cucinare in Basco

Gli autori di questo studio (un gruppo di ricercatori del Centro HiTZ in Spagna) hanno deciso di creare il primo super-assistente capace di "vedere" e "parlare" fluentemente in basco.

Per farlo, hanno dovuto affrontare due grandi ostacoli:

1. Mancanza di ingredienti: Non esistevano libri di cucina (dataset) che unissero immagini e descrizioni in basco.
2. Scarsità di cuochi esperti: Non c'erano modelli di base già addestrati specificamente per il basco.

Cosa hanno fatto? (La Ricetta)

1. Hanno creato gli ingredienti da zero
Poiché non esistevano dati, hanno preso enormi quantità di immagini e testi in inglese (che sono abbondanti) e li hanno tradotti in basco.

• Immagina di prendere un catalogo di milioni di foto con didascalie in inglese e tradurle tutte in basco.
• Hanno creato sia dati per "allenare" il modello (3 milioni di coppie immagine-testo) sia dei "quiz" per testarlo (8.000 domande e risposte).
• Hanno anche chiesto a madrelingua baschi di controllare le traduzioni, assicurandosi che non sembrassero robotiche.

2. Hanno scelto due tipi di "cervelli"
Per costruire il loro assistente, hanno usato due diversi modelli di base (i "cervelli" che elaborano le informazioni):

• Llama: Un modello molto potente, ma nato e cresciuto solo in inglese.
• Latxa: Un modello simile, ma che era stato già "istruito" e addestrato specificamente per parlare basco.

La domanda era: Serve per forza un cervello che parla già basco per creare un assistente che vede e parla basco?

Le Scoperte Sorprendenti (I Segreti dello Chef)

Dopo aver fatto molti esperimenti, hanno scoperto tre cose molto importanti che cambiano il modo di pensare:

1. Non serve una montagna di dati in basco
Hanno scoperto che non serve tradurre tutto in basco. Se mescoli l'80% di dati in inglese e solo il 20% di dati in basco, il modello funziona benissimo!

• L'analogia: È come se imparassi a suonare il violino in un'orchestra internazionale. Anche se ascolti per lo più musica classica inglese, se ascolti il 20% di musica basca, riesci a suonare perfettamente anche i brani baschi. Non serve che l'intero concerto sia nella tua lingua.

2. Non serve un "cervello" nato in basco
Questa è la scoperta più scioccante. Hanno visto che il modello Llama (quello inglese) ha funzionato tanto bene quanto il modello Latxa (quello basco).

• L'analogia: Pensavamo che per parlare bene il basco servisse un madrelingua. Invece, hanno scoperto che un "turista" molto intelligente (Llama), se gli dai le giuste istruzioni e un po' di pratica in basco, diventa un esperto tanto quanto un nativo. Non serve che il modello sia nato in Basque Country per capire il Basque Country.

3. Il testo aiuta a vedere meglio
Hanno notato che aggiungere testi in basco (senza immagini) all'allenamento ha aiutato il modello a capire meglio anche le immagini in basco.

• L'analogia: È come studiare la grammatica di una lingua (testo) per capire meglio i film in quella lingua (immagini). Anche senza vedere il film, conoscere la lingua ti aiuta a interpretare le scene.

Perché è importante?

Fino ad oggi, creare un assistente intelligente per una lingua piccola era costosissimo e difficile, perché servivano enormi quantità di dati specifici.
Questo studio dice: "Fermatevi! Non serve tutto quel lavoro."

Se vuoi creare un assistente per una lingua rara (come il basco, ma anche il sardo, il gallese o il swahili), puoi:

1. Prendere un modello potente in inglese.
2. Aggiungere una piccola percentuale di dati tradotti nella tua lingua.
3. Aggiungere un po' di testo nella tua lingua.

Il risultato sarà un assistente eccellente, senza dover spendere anni a raccogliere milioni di dati specifici. Hanno aperto la strada per rendere l'intelligenza artificiale accessibile a tutte le lingue del mondo, non solo a quelle più parlate.

In sintesi: Hanno dimostrato che per insegnare a un'intelligenza artificiale a "vedere" in una lingua piccola, basta un po' di pazienza e un po' di traduzione, senza bisogno di ricominciare tutto da zero.

Sommario tecnico

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) attuali mostrano prestazioni eccellenti per compiti complessi, ma sono prevalentemente addestrati su risorse in lingua inglese. Di conseguenza, le loro capacità si degradano significativamente nelle lingue a risorse limitate (low-resource languages). Sebbene i modelli proprietari offrano prestazioni accettabili, la comunità scientifica open-source non ha ancora raggiunto risultati comparabili per queste lingue.
Il basco è un caso di studio emblematico: è una lingua a risorse limitate che manca di dataset multimodali e possiede circa 1.000 volte meno dati testuali rispetto all'inglese nel Common Crawl. Non esisteva alcun MLLM open-source specifico per il basco, e le strategie di adattamento per lingue a risorse scarse non erano state sufficientemente esplorate.

2. Metodologia

Gli autori hanno sviluppato un approccio sistematico per costruire il primo MLLM open per il basco, seguendo l'architettura late-fusion (fusione tardiva).

A. Creazione dei Dataset

Poiché non esistevano dati multimodali in basco, gli autori hanno creato nuovi dataset traducendo risorse inglesi:

• Dataset di Addestramento:
  • Fase 1 (Allineamento Visione-Linguaggio): Utilizzo di CC3M (Conceptual Captions), tradotto a livello di frase (2,8 milioni di coppie immagine-testo in basco) usando un traduttore neurale specializzato.
  • Fase 2 (Instruction Tuning): Utilizzo di Pixmo-AMA (146k istruzioni multimodali), tradotto usando un LLM (Latxa-Llama-3.1-70B) per mantenere la coerenza di risposte multi-frase, poiché i traduttori a livello di frase non erano sufficienti.
• Dataset di Valutazione:
  • Creazione di benchmark chiusi (VQAv2Eus, A-OKVQAEus, Pixmo-CapQAEus) e aperti (WildVisionEus).
  • Le traduzioni sono state validate da 4 madrelingua baschi, garantendo un alto tasso di accettazione e accordo tra annotatori.

B. Architettura e Modelli

L'architettura adottata include:

1. Visual Encoder: CLIP (ViT-large-patch14-336) per estrarre rappresentazioni visive.
2. Connector: Un semplice strato lineare fully-connected per proiettare le feature visive nello spazio di embedding dell'LLM.
3. Backbone LLM: Sono stati confrontati due modelli di base:
   • Llama-3.1-8B-Instruct: Un modello nativo inglese.
   • Latxa-Llama-3.1-8B-Instruct: Una variante di Llama-3.1 adattata e istruita specificamente per il basco.

C. Strategia di Addestramento

L'addestramento è stato eseguito in due fasi:

1. Allineamento Visione-Linguaggio: Solo il connector viene addestrato (LLM e Encoder congelati) su un mix di dati CC3M.
2. Instruction Tuning Multimodale: Vengono addestrati sia il connector che il backbone LLM.
   • Sono state testate diverse miscele di dati (rapporti Basco/Inglese: 0:100, 20:80, 80:20, 100:0).
   • È stata esplorata l'aggiunta di dati solo testuali (text-only) per mitigare il "catastrophic forgetting" delle capacità linguistiche.

3. Contributi Chiave

1. Risorse Open: Rilascio del primo set di dati multimodali (training e valutazione) per il basco, rendendo possibile la ricerca su MLLM per lingue a risorse limitate.
2. Analisi delle Miscele di Dati: Dimostrazione empirica che non è necessario un dataset 100% nella lingua target per ottenere buone prestazioni.
3. Valutazione del Backbone: Confronto sistematico tra un backbone inglese puro e uno adattato alla lingua target, analizzando l'impatto sulla generazione di testo aperto e chiuso.

4. Risultati Principali

Lo studio ha portato a sei scoperte fondamentali:

1. Sufficienza di piccole percentuali di dati: Un basso rapporto di dati multimodali in basco (circa 20%) è sufficiente per ottenere risultati solidi sui benchmark in basco. Aumentare la percentuale oltre il 20% offre guadagni marginali.
2. Necessità di dati inglesi: Mantenere una piccola percentuale di dati multimodali in inglese (es. 20%) è cruciale per evitare il catastrophic forgetting delle capacità inglesi del modello.
3. Trasferimento tramite dati solo-testuali: L'inclusione di dati solo-testuali in basco (senza immagini) durante l'addestramento multimodale migliora le prestazioni in basco. Questo suggerisce che le istruzioni testuali possono fungere da ponte per trasferire capacità multimodali apprese in inglese alla lingua target, anche in assenza di dati multimodali specifici.
4. Il backbone non deve essere nativo: Contrariamente alle aspettative, un backbone LLM istruito specificamente per il basco (Latxa) non è necessario per ottenere un MLLM forte. Il modello inglese (Llama) ha raggiunto prestazioni quasi identiche su benchmark a risposta chiusa e aperta.
5. Valutazione Umana vs. Automata: Per la generazione di testo aperto, le valutazioni umane e quelle tramite "LLM-as-a-judge" (GPT-5) mostrano un accordo moderato. Sebbene l'automazione sia promettente, la valutazione umana rimane essenziale per lingue a risorse limitate a causa di bias negli evaluator automatici.
6. Generalizzazione: Le strategie sviluppate per il basco sono probabilmente generalizzabili ad altre lingue a risorse limitate con caratteristiche simili.

5. Significato e Implicazioni

Questo lavoro dimostra che lo sviluppo di MLLM per lingue a risorse limitate non richiede necessariamente:

• Enormi quantità di dati multimodali nativi (spesso impossibili da reperire).
• Modelli di base (backbone) già adattati alla lingua target.

La strategia vincente proposta è: addestrare un LLM inglese con una piccola frazione di dati multimodali nella lingua target (20%) combinata con una grande quantità di dati solo-testuali nella lingua target. Questo approccio riduce drasticamente i costi computazionali e di raccolta dati, aprendo la strada alla creazione di MLLM per centinaia di lingue attualmente escluse dall'IA avanzata.

Il paper conclude che la comunità open-source può colmare il divario di prestazioni con i modelli proprietari per le lingue a risorse limitate adottando queste strategie di trasferimento e miscele di dati intelligenti.