Riepilogo Tecnico: Persi nella Traduzione? Esplorazione dello Spostamento del Genere Grammaticale dal Latino all'Occitano

1. Enunciato del Problema

Il lavoro affronta l'evoluzione diacronica del genere grammaticale dal Latino Volgare all'Occitano Medievale, concentrandosi specificamente sulla transizione da un sistema tripartito (maschile, femminile, neutro) a uno bipartito (maschile, femminile). Sebbene la linguistica storica stabilisca che i sostantivi neutri latini siano stati in gran parte assorbiti nel genere maschile, i fattori specifici che governano questa riassegnazione nell'Occitano — siano essi semantici, fonologici o morfologici — rimangono insufficientemente studiati.

Lo studio opera entro i vincoli di un contesto storico a risorse limitate. L'Occitano Medievale è caratterizzato da:

• Scarsità di Dati: Corpora annotati limitati.
• Instabilità Ortografica: Ampie variazioni di spelling all'interno e tra i testi a causa della mancanza di una norma standardizzata.
• Frammentazione Dialettale: Assenza di uno standard unificato.

Le domande di ricerca fondamentali sono:

1. RQ1 (Lessicale): In che misura il genere grammaticale dei sostantivi occitani derivati dalla classe neutra latina può essere previsto esclusivamente tramite caratteristiche a livello di parola (fonologiche e morfologiche)?
2. RQ2 (Contestuale): Come è distribuita l'informazione sul genere tra le caratteristiche lessicali e il contesto a livello di frase, e come contribuiscono queste fonti alle previsioni del modello?

2. Metodologia

Dati e Preprocessing

Lo studio utilizza tre fonti annotate: Lo Codi (diritto), Chanson de la Croisade Albigeoise (poesia) e il Progetto Dizionario DOM. Il dataset comprende coppie di lemmi Latino-Occitano con etichette di genere grammaticale.

• Strategia di Tokenizzazione: Riconoscendo che i tokenizzatori standard falliscono con il rumore ortografico storico, gli autori propongono una politica di tokenizzazione ibrida. Questa combina la codifica Byte-Pair Encoding (BPE) adattata all'Occitano con un fallback a livello di parola. Questo approccio raggiunge tassi zero di Fuori-Vocabolario (OOV) e un recupero superiore dei token mascherati rispetto alla segmentazione standard WordPiece o solo subword.
• Selezione degli Embedding: Uno studio comparativo di FastText, mBERT e ByT5 ha identificato mBERT come il backbone più efficace per catturare la variazione dell'Occitano Medievale e la struttura cross-linguistica.
• Adattamento di Dominio: Il modello mBERT ha subito un affinamento (fine-tuning) tramite Modellazione Linguistica Mascherata (MLM) adattata al dominio su testi occitani grezzi per adattarsi meglio al corpus.

Framework Sperimentale

Gli autori impiegano un framework di deep learning interpretabile per disaccoppiare i segnali interni al lemma dai segnali contestuali.

A. Previsione a Livello Lessicale (RQ1)

• Input: Lemmi occitani isolati e i loro corrispondenti lemmi latini.
• Caratteristiche:
  • Morfologiche/Fonotattiche: Sottosequenze iniziali, n-grammi di caratteri dei suffissi (1–4), conteggi delle sillabe e template VC (Vocale-Consonante).
  • Proxy dell'Accento: Un'approssimazione euristica della posizione dell'accento (ultima/penultima/antipenultima).
  • Embedding: Rappresentazioni congelate da mBERT, ByT5 e FastText.
• Modelli: Un insieme diversificato di classificatori che va da modelli lineari (Regressione Logistica) a ensemble non lineari (Random Forest, XGBoost) e architetture neurali (FFN, BiLSTM, modelli basati su Attention).
• Validazione: Validazione incrociata a 10 fold raggruppata per lemma per prevenire la fuoriuscita di dati tra varianti ortografiche dello stesso lemma.

B. Previsione Contestuale (RQ2)

• Input: Frasi occitane contenenti il sostantivo target, collegate ai lemmi latini.
• Configurazioni:
  1. Solo Parola: Utilizza embedding isolati e metadati latini.
  2. Focalizzata sul Contesto: Utilizza un'attenzione condizionata al sostantivo sull'intera codifica della frase.
  3. Contesto Mascherato: Il sostantivo target è sostituito con [MASK], costringendo il modello a prevedere il genere basandosi solo sugli indizi di concordanza circostanti (articoli, aggettivi).
• Analisi: Lo studio utilizza i valori SHAP per l'attribuzione delle caratteristiche e l'occlusione condizionata alla categoria grammaticale (PoS) per quantificare il contributo di specifiche parti del discorso (es. determinanti, aggettivi) alla previsione.

3. Risultati Chiave

Performance a Livello Lessicale

• Performance del Modello: I modelli di sequenza neurali, in particolare un BiLSTM 2× con Auto-Attention Multi-Testa (MHSA), hanno superato i baseline superficiali. La configurazione migliore ha utilizzato embedding mBERT con focal loss e ponderazione delle classi per gestire lo squilibrio.
• Importanza delle Caratteristiche: Gli studi di ablazione hanno rivelato che gli n-grammi di caratteri dei suffissi (specialmente le desinenze latine e occitane) sono le caratteristiche più predittive, causando i maggiori cali di performance quando rimossi (1,6–1,8 punti Macro-F1). La lunghezza e le meta-caratteristiche sono state contributori secondari. I proxy dell'accento hanno avuto un impatto minimo.
• Baseline: Il miglior modello basato solo sul lessico ha raggiunto un Macro-F1 di 0,8224 (mBERT).

Influenza Contestuale

• Guadagno di Performance: L'incorporazione del contesto a livello di frase ha migliorato significativamente le prestazioni. Il modello focalizzato sul contesto ha raggiunto un Macro-F1 di 0,929, un aumento sostanziale rispetto al baseline solo-parola (0,665).
• Contesto Mascherato: Anche quando il sostantivo era mascherato, il modello ha raggiunto un Macro-F1 di 0,902, dimostrando che gli indizi di concordanza circostanti (articoli, aggettivi) trasportano forti informazioni sul genere.
• Disambiguazione: Nei casi in cui la rappresentazione del lemma era ambigua (es. ome), il modello contestuale ha spostato con successo le previsioni verso il genere corretto sfruttando i token di concordanza (es. l'articolo aquill).
• Attribuzione: Le analisi SHAP e di occlusione hanno confermato che sostantivi, determinanti e aggettivi forniscono le prove contestuali positive più affidabili, mentre congiunzioni e preposizioni hanno contribuito con segnali negativi o trascurabili.

Modelli di Spostamento del Genere

• I dati confermano l'assorbimento dei neutri latini nell'occitano maschile (3.055 casi) e femminile (1.448 casi).
• Sebbene la desinenza -um sia fortemente associata a esiti maschili, è paradossalmente la desinenza più comune per i sostantivi che sono passati al femminile, evidenziando che i conteggi di frequenza grezzi sono insufficienti per spiegare lo spostamento senza considerare gli indizi morfologici.

4. Significato e Contributi

Il lavoro rivendica i seguenti contributi nei campi dell'NLP e della linguistica storica:

1. Framework Interpretabile per la Storia a Risorse Limitate: Introduce un framework generale per disaccoppiare i segnali interni al lemma e quelli contestuali nella previsione del genere grammaticale, specificamente adattato per lingue storiche rumorose e a risorse limitate.
2. Innovazione nella Tokenizzazione: Dimostra che le strategie di tokenizzazione standard sono insufficienti per l'Occitano Medievale e propone una politica di tokenizzazione ibrida che migliora la robustezza contro la variazione ortografica e il rumore di spelling.
3. Quantificazione della Distribuzione del Genere: Lo studio caratterizza la distribuzione dell'informazione sul genere, mostrando che mentre i suffissi morfologici forniscono la codifica strutturale primaria, la concordanza a livello di frase (articoli, aggettivi) è critica per la disambiguazione e la risoluzione dell'ambiguità lessicale.
4. Disponibilità delle Risorse: Gli autori rilasciano il loro codice, i dataset e i risultati per facilitare ulteriori ricerche nell'NLP storico.

5. Limitazioni

Gli autori riconoscono modestamente diversi vincoli:

• Squilibrio dei Dati: Il dataset rimane relativamente piccolo con una distribuzione del genere sbilanciata (circa 2:1 maschile-femminile), il che potrebbe limitare la generalizzazione per la classe minoritaria nonostante le tecniche di mitigazione.
• Preprocessing Euristico: Componenti chiave, come la soglia di fuzzy-matching e il proxy della posizione dell'accento, sono stati impostati euristica e potrebbero introdurre rumore.
• Accuratezza dell'Etichettatura: L'attribuzione della categoria grammaticale (PoS) si basa sull'etichettatura automatica con un'accuratezza di circa il 71%, potenzialmente influenzando i risultati dell'attribuzione.
• Ambito: I risultati riguardano la previsione sincronica del genere nell'Occitano Medievale e il collasso del neutro dal Latino all'Occitano. Il lavoro non rivendica di risolvere definitivamente la questione diacronica di cosa abbia guidato la riassegnazione storica, notando che ciò richiederebbe disegni sperimentali diversi e dati diacronici paralleli.