Robust Language Identification for Romansh Varieties

Titolo: Identificazione Robusta della Lingua per le Varietà del Rumantsch

1. Il Problema

L'identificazione della lingua (LID - Language Identification) è un compito fondamentale nell'elaborazione del linguaggio naturale (NLP), essenziale per instradare il testo verso sistemi specifici (es. traduzione automatica, correzione ortografica). Tuttavia, distinguere tra varietà linguistiche strettamente correlate rimane una sfida significativa, specialmente per le lingue a risorse limitate.

Il Rumantsch (o Romansh), parlato da circa 40.000 persone nel Canton Grigioni (Svizzera), presenta una complessità unica:

• Esistono cinque idiomi storici regionali: Sursilvan, Sutsilvan, Surmiran, Puter e Vallader, che mostrano una mutua intelligibilità limitata.
• Esiste una sesta varietà, il Rumantsch Grischun (RG), una varietà sovra-regionale artificiale creata nel 1982 come standard scritto, che combina elementi degli altri idiomi.
• I sistemi LID esistenti o ignorano il Rumantsch o lo trattano come un'unica lingua monolitica, rendendo impossibile l'uso di applicazioni NLP sensibili al dialetto (es. correzione ortografica specifica per l'idioma).
• La scarsità di dati digitali diversificati ostacola lo sviluppo di modelli robusti.

2. Metodologia

Gli autori hanno sviluppato un sistema di classificazione supervisionato basato su un approccio classico di Machine Learning, evitando modelli profondi complessi a causa della scarsità di dati annotati.

• Dataset e Raccolta Dati:

  • È stato curato un nuovo benchmark comprendente cinque fonti: dizionari (Pledari Grond), giornali (La Quotidiana), trascrizioni radiofoniche (RTR), note pre-broadcast (RTR Telesguard) e libri di testo scolastici (Mediomatix).
  • Il dataset copre due domini principali: notizie e materiale educativo.
  • Preprocessing: Rimozione di duplicati, pulizia HTML, normalizzazione degli spazi bianchi e correzione manuale di etichette errate.
  • Mascheramento delle Entità Nominate (NER): Per evitare che il modello memorizzi entità specifiche (es. nomi di luoghi) invece di imparare caratteristiche linguistiche, è stato creato un set di dati "mascherato" sostituendo le entità con il token $NE$ (tramite un modello SwissBERT).

• Feature Engineering:

  • Utilizzo di un approccio Bag-of-N-grams che combina unigrammi di parole e n-grammi di caratteri sovrapposti (n=1, 2, 3, 4).
  • Le feature sono rappresentate come vettori TF-IDF con scalatura sub-lineare della frequenza dei termini e normalizzazione L2.

• Modelli di Classificazione:

  • Sono stati testati diversi classificatori: Regressione Logistica, Naïve Bayes e Support Vector Machines (SVM).
  • L'approccio finale selezionato è una SVM lineare, ottimizzata tramite ricerca randomizzata su iperparametri con convalida incrociata stratificata (5-fold).

• Valutazione:

  • Il dataset è stato diviso in training, sviluppo e quattro set di test distinti per valutare l'impatto del dominio (in-domain vs out-of-domain) e dell'equilibrio delle classi (bilanciato vs sbilanciato).

3. Contributi Chiave

1. Primo Benchmark Documentato: Creazione di un dataset curato specifico per la classificazione degli idiomi del Rumantsch, coprendo due domini (notizie ed educazione).
2. Sistema LID ad Alte Prestazioni: Sviluppo di un classificatore SVM che raggiunge un'accuratezza media in-domain del 97%, dimostrando che è possibile distinguere varietà strettamente correlate anche con risorse limitate.
3. Analisi Qualitativa: Fornitura di un'analisi approfondita sulle caratteristiche discriminative (es. n-grammi di caratteri specifici) e sulle fonti di errore, offrendo un modello per future ricerche su lingue regionali a rischio.
4. Risorsa Open Source: Il classificatore e i dati sono resi pubblicamente disponibili.

4. Risultati

• Prestazioni Generali: Il modello SVM ottimizzato ha ottenuto un Macro F1 di 98.1% sul set di test bilanciato e in-domain (test-b). L'accuratezza media in-domain è del 97%.
• Confronto con Baseline: Il modello supera di gran lunga la baseline "maggioranza" (35.1% di accuratezza) e i modelli Naïve Bayes o di Regressione Logistica.
• Generalizzazione:
  • Le prestazioni rimangono alte sui dati in-domain (96-98%).
  • C'è un calo significativo sui dati out-of-domain (notizie non formali/telesguard notes), dove il Macro F1 scende a 69.1%. Questo suggerisce difficoltà nel generalizzare su testi informali o rumorosi.
• Impatto delle Entità Nominate: Il confronto tra modelli addestrati su dati mascherati e non mascherati ha mostrato differenze trascurabili (≤ 0.1 punti F1), confermando che il modello si basa su caratteristiche linguistiche genuine e non sulla memorizzazione di nomi propri.
• Feature Discriminative: Gli n-grammi di caratteri si sono rivelati più informativi degli unigrammi di parole. Caratteristiche specifiche come i punti sotto le vocali (es. o., u.) sono state cruciali per distinguere Puter e Vallader, sebbene possano essere artefatti del dizionario e non dello standard ortografico generale.

5. Significato e Implicazioni

Questo lavoro dimostra che l'identificazione della lingua per varietà strettamente correlate e a risorse limitate è fattibile con un'attenta progettazione delle feature e dati di training appropriati, senza necessariamente ricorrere a modelli LLM massicci.

• Applicazioni Pratiche: Il sistema abilita applicazioni critiche come la correzione ortografica sensibile all'idioma e il routing per la traduzione automatica, risolvendo il problema attuale in cui l'utente deve manualmente selezionare l'idioma.
• Preservazione Linguistica: Fornisce uno strumento tecnologico per sostenere la diversità linguistica del Rumantsch, permettendo di trattare ogni varietà come una lingua distinta piuttosto che come un'unica entità.
• Limitazioni: Il modello soffre di uno sbilanciamento delle classi (il Rumantsch Grischun è sovrarappresentato) e fatica con testi fuori dominio o molto brevi/rumorosi. Inoltre, l'identificazione per la lingua parlata (audio) non è ancora stata esplorata.

In sintesi, il paper stabilisce un nuovo standard per l'NLP nelle lingue regionali svizzere, fornendo una soluzione robusta e open-source per un problema linguistico complesso.