Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl

Titolo: Deduplicazione o duplicazione dei corpora nell'elaborazione del linguaggio naturale (NLP) per lingue a risorse limitate? Un caso di studio: il Nahuatl del Messico

1. Il Problema

Il paper affronta una sfida critica nell'ambito dell'Intelligenza Artificiale e dell'NLP: la scarsità di dati per le cosiddette lingue $\pi$ (lingue a risorse computazionali limitate), in contrapposizione alle lingue $\tau$ (lingue ricche di risorse come l'inglese).

• Contesto: I Large Language Models (LLM) richiedono corpora di miliardi di parole per apprendere strutture profonde e funzionare efficacemente. Per le lingue $\pi$, questi dati sono virtualmente inesistenti.
• Caso di Studio: Il Nahuatl (o Nawatl), una lingua indigena del Messico parlata da oltre 1,65 milioni di persone. È una lingua agglutinante e polisintetica, caratterizzata da una grande diversità dialettale (29 varietà riconosciute) e da una mancanza di standardizzazione ortografica.
• La Sfida: Il corpus esistente, $\pi$-YALLI, contiene circa 6,6 milioni di parole. Sebbene utile per modelli statistici o statici, è insufficiente per addestrare modelli contestualizzati moderni (come BERT) che richiedono tra 10 e 100 milioni di token. La mancanza di risorse impedisce lo sviluppo di strumenti NLP efficaci per le comunità che parlano Nahuatl.

2. Metodologia

Gli autori propongono una strategia innovativa che inverte la logica comune nelle lingue ricche di risorse: invece di rimuovere i dati duplicati (deduplicazione), applicano una duplicazione controllata e incrementale del corpus.

• Tecnica di Duplicazione Incrementale:
  • Il corpus $\pi$-YALLI originale è stato duplicato $\rho$ volte, dove $\rho$ varia da 1 a 30 (creando copie identiche).
  • Sono stati generati corpora di dimensioni crescenti: da 6,6 milioni fino a circa 198 milioni di parole.
  • Motivazione: Nelle lingue agglutinanti come il Nahuatl, una singola "parola" (o phrase-word) può contenere l'equivalente di intere frasi in altre lingue. Gli autori ipotizzano che aumentare il numero di occorrenze di questi token possa facilitare l'apprendimento di embedding statici, compensando la scarsità di dati.
• Modelli Addestrati:
  • Sono stati addestrati modelli di embedding statici (Word2Vec, FastText, GloVe) sui corpora duplicati.
  • Sono state confrontate le architetture CBOW (Continuous Bag of Words) e SkipGram.
  • FastText è stato scelto per la sua capacità di gestire i sottoparole (n-grammi di caratteri), utile per le lingue morfologicamente ricche.
• Valutazione:
  • Task: Similarità semantica a livello di frase.
  • Protocollo: 30 frasi di riferimento e 5 candidati per frase.
  • Metrica: Coefficiente di correlazione di Kendall's $\tau$, che misura l'accordo tra il ranking prodotto dal modello e quello prodotto da parlanti nativi.
  • Baseline: Confronto con modelli pre-addestrati su Wikipedia in Nahuatl e Common Crawl.

3. Contributi Chiave

• Inversione del Paradigma: Il paper è il primo a proporre la duplicazione controllata come tecnica di data augmentation specifica per lingue a risorse limitate, sfidando la convenzione della deduplicazione usata per le lingue ricche.
• Assenza di Risorse Linguistiche: Il metodo non richiede dizionari, tagger POS o risorse lessicali complesse, che spesso mancano o sono incomplete per le varietà dialettali del Nahuatl.
• Analisi Empirica: Fornisce una valutazione sistematica di come la dimensione del corpus (tramite duplicazione) influenzi le prestazioni di diversi algoritmi di embedding statici in un contesto di lingua agglutinante.

4. Risultati

I risultati sperimentali mostrano un miglioramento moderato ma significativo delle prestazioni con l'uso della duplicazione incrementale:

• Miglioramenti Generali: L'uso di corpora duplicati ha portato a un aumento delle prestazioni rispetto al corpus originale non duplicato.
• Performance per Modello:
  • FastText (SkipGram): Ha ottenuto i migliori risultati assoluti, raggiungendo un $\tau$ di 0,495 (con un miglioramento del 7,8% rispetto alla baseline) con una duplicazione di 10 volte ($\rho=10$).
  • Word2Vec (SkipGram): Ha mostrato il miglioramento più drastico in termini percentuali, passando da $\tau=0,357$ a 0,483 (un aumento del 35,3%) con una duplicazione di 22 volte ($\rho=22$).
  • GloVe: Ha mostrato prestazioni stagnanti o in calo, con un miglioramento minimo (3,4%), suggerendo che questo algoritmo non beneficia della duplicazione in questo contesto.
• Confronto con Baseline: I modelli addestrati sul corpus duplicato hanno superato significativamente i modelli pre-addestrati su Wikipedia e Common Crawl (che avevano $\tau \approx 0,24$).
• Efficienza: FastText ha raggiunto il picco di qualità con meno duplicazioni rispetto a Word2Vec, indicando una convergenza più rapida.

5. Significato e Implicazioni

• Validità per Lingue $\pi$: Lo studio dimostra che, per le lingue con risorse limitate e strutture morfologiche complesse, la duplicazione controllata dei dati è una strategia valida per migliorare l'apprendimento di rappresentazioni vettoriali statiche.
• Sostenibilità: Offre una soluzione pratica e a basso costo computazionale per espandere i corpora senza dover raccogliere nuovi testi, che è spesso impossibile per lingue indigene.
• Futuro della Ricerca: I risultati aprono la strada a future ricerche su:
  • La normalizzazione dei dati testuali prima della duplicazione.
  • L'applicazione di questa tecnica ad altri task NLP come il riassunto automatico e il riconoscimento di entità nominate (NER) in Nahuatl.
  • L'adattamento di queste tecniche per l'addestramento di modelli contestualizzati (sebbene i requisiti di dati siano ancora molto alti).

In conclusione, il paper suggerisce che per le lingue a risorse limitate, la "quantità" ottenuta tramite duplicazione intelligente può compensare la mancanza di "diversità" nei dati, permettendo di costruire modelli NLP più robusti dove prima non era possibile.