Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish

1. Il Problema

Nonostante i progressi straordinari dei Modelli Linguistici su larga scala (LLM) nelle lingue ad alta risorsa come l'inglese, la loro efficacia nelle lingue a bassa risorsa e in quelle morfologicamente ricche rimane sottostimata e poco esplorata.
Esistono disparità sistemiche nell'accesso alle tecnologie linguistiche:

• Le lingue con morfologia complessa (es. il turco, agglutinante) pongono sfide alla generalizzazione composizionale dei modelli.
• Le lingue con sistemi di scrittura complessi o grammatiche dipendenti dal contesto (es. il giapponese con i suoi sistemi di onorifici) richiedono una comprensione sottile.
• Le lingue a bassa risorsa con dialetti specifici e scarsità di dati scritti (es. il cantonese) sono spesso trascurate nei corpori di addestramento, portando a prestazioni inferiori e a una mancanza di inclusività culturale.

Il paper si pone l'obiettivo di colmare questo divario valutando sistematicamente se i modelli più avanzati riescano a generalizzare efficacemente oltre l'inglese e a gestire le specificità culturali e linguistiche di queste tre lingue target.

2. Metodologia

Gli autori hanno sviluppato un nuovo benchmark cross-linguale che copre tre lingue con caratteristiche linguistiche distinte:

1. Turco: Alta complessità morfologica (agglutinazione).
2. Giapponese: Sistema di scrittura complesso (Kanji, Hiragana, Katakana) e forte dipendenza dal contesto (onorifici, omissione del soggetto).
3. Cantonese: Bassa risorsa (specialmente nella forma scritta), grammatica colloquiale distinta e vocabolario unico.

Compiti di Valutazione

Il benchmark include quattro compiti diversificati:

1. Risposta a Domande a Dominio Aperto (QA): Testa il recupero di conoscenze e la fattualità.
2. Riassunto (Summarization): Valuta la capacità di condensare informazioni mantenendo la coerenza.
3. Traduzione Inglese -> X: Misura la qualità della traduzione verso le lingue target.
4. Dialogo Radicato Culturalmente: Valuta la capacità del modello di interagire in conversazioni che richiedono conoscenza culturale, umorismo locale e appropriatezza pragmatica (es. uso di onorifici o modi di dire).

Modelli Valutati

Sono stati confrontati 7 modelli LLM di diverse dimensioni e provenienza (chiusi e open-source):

• Proprietari: GPT-4o, GPT-4, Claude 3.5 Sonnet.
• Open Source: LLaMA 3.1 (70B e 405B, usato 70B), Mistral Large 2 (~128B), LLaMA-2 Chat 13B, Mistral 7B Instruct.

Protocollo di Valutazione

La valutazione combina metriche automatizzate e giudizio umano:

• Metriche Automatizzate: Accuratezza esatta per QA, ROUGE e BERTScore per il riassunto, BLEU e COMET per la traduzione.
• Valutazione Umana: Tre madrelingua per ogni lingua hanno valutato le uscite su una scala Likert a 5 punti per Fluenza, Accuratezza Fattuale e Adeguatezza Culturale. Questo è cruciale per catturare sfumature che le metriche automatiche perdono, specialmente nel cantonese e nei dialoghi culturali.

3. Contributi Chiave

1. Nuovo Benchmark: Introduzione di un dataset completo per turco, giapponese e cantonese su quattro compiti diversi, con prompt e annotazioni umane rilasciate pubblicamente.
2. Confronto di Stato dell'Arte: Primo studio che confronta direttamente i modelli più recenti (GPT-4o, Claude 3.5, LLaMA 3.1) su queste specifiche lingue a bassa risorsa/morfologicamente ricche.
3. Analisi Qualitativa e Quantitativa: Una valutazione rigorosa che integra metriche automatiche con valutazioni umane approfondite, evidenziando errori specifici (es. uso improprio di registri linguistici o errori morfologici).
4. Insight Culturali: Dimostrazione empirica delle difficoltà dei modelli nel comprendere il contesto culturale e le sfumature dialettali, anche per i modelli più grandi.

4. Risultati Principali

Prestazioni Generali

• Modelli Proprietari: I modelli più grandi e proprietari (GPT-4o e Claude 3.5) dominano in tutte le lingue e compiti. GPT-4o si distingue come il modello migliore in assoluto, mostrando una robustezza multilingue superiore, specialmente nel cantonese e nei dialoghi culturalmente sensibili.
• Modelli Open Source:
  • I modelli di grandi dimensioni come LLaMA 3.1 (70B) e Mistral Large 2 raggiungono prestazioni competitive su turco e giapponese, avvicinandosi ai modelli proprietari.
  • Tuttavia, c'è un divario significativo nelle lingue a bassa risorsa (come il cantonese), dove LLaMA 3.1 scende al 60% di accuratezza in QA contro il 78% di GPT-4o.
• Modelli Piccoli: I modelli più piccoli (LLaMA-2 13B, Mistral 7B) mostrano prestazioni drasticamente inferiori, con gravi problemi di fluenza, accuratezza e allucinazioni, specialmente nel cantonese (accuratezza QA fino al 30%).

Sfide Specifiche per Lingua

• Turco: I modelli più piccoli falliscono spesso nella generazione di suffissi di caso corretti, evidenziando difficoltà nella generalizzazione morfologica. Anche i modelli grandi commettono errori minori.
• Giapponese: La sfida principale è l'adeguatezza culturale (uso di keigo o onorifici). I modelli top gestiscono bene il contesto, mentre i modelli più piccoli tendono a usare un tono informale inappropriato.
• Cantonese: È la lingua più difficile. I modelli open-source tendono a mescolare il mandarino o a usare vocaboli standard cinesi invece del vocabolario colloquiale cantonese (es. uso di "de" invece di "ge"). GPT-4o dimostra una capacità superiore nel mantenere il registro colloquiale.

Valutazione Culturale

Nei compiti di dialogo, GPT-4o e Claude 3.5 mostrano una notevole capacità di adattamento alle norme locali (umorismo, scuse, registri). I modelli più piccoli spesso forniscono risposte generiche o culturalmente "sordo", indicando che la sensibilità culturale emerge solo oltre una certa soglia di capacità del modello e diversità dei dati di addestramento.

5. Significato e Implicazioni

Questo lavoro sottolinea che, sebbene i modelli open-source stiano rapidamente colmando il divario nelle lingue ad alta risorsa, le lingue a bassa risorsa e quelle con complessità morfologica o culturale rimangono un terreno difficile.

• Disparità di Risorse: La scarsità di dati di addestramento per dialetti come il cantonese limita severamente le capacità dei modelli open-source, che spesso si basano su corpora dominati dal mandarino.
• Necessità di Valutazione Umana: Le metriche automatiche (BLEU, ROUGE) sono insufficienti per valutare la qualità reale in contesti culturali e dialettali; il giudizio umano è indispensabile.
• Direzioni Future: Il paper invita a:
  • Espandere i corpori di addestramento per includere più lingue e dialetti sottorappresentati.
  • Sviluppare strategie di fine-tuning culturalmente consapevoli.
  • Progettare architetture sensibili alla morfologia e alla tokenizzazione adattiva.

In conclusione, il benchmark fornisce una base solida per guidare lo sviluppo di LLM più equi e inclusivi, garantendo che i benefici dell'IA linguistica non siano limitati alle sole lingue ad alta risorsa.