Hybrid Neural-LLM Pipeline for Morphological Glossing in Endangered Language Documentation: A Case Study of Jungar Tuvan

Titolo

Pipeline Ibrida Neurale-LLM per l'Analisi Morfologica (Glossing) nella Documentazione di Lingue a Rischio: Uno Studio di Caso sul Tuvan di Jungar.

1. Il Problema

La creazione di Testi Interlineari Glossati (IGT) rappresenta un collo di bottiglia critico nella documentazione linguistica e nel lavoro sul campo, specialmente per le lingue a risorse limitate e morfologicamente ricche.

• Sfida: La creazione manuale di IGT (allineamento di trascrizione, segmentazione in morfemi, etichette di glossa e traduzione) è estremamente laboriosa.
• Limitazioni degli approcci esistenti:
  • I modelli strutturati (es. BiLSTM-CRF) offrono flessibilità limitata e mancano di conoscenza del mondo, faticando con morfemi rari o combinazioni nuove.
  • I Large Language Models (LLM) soffrono di problemi di coerenza, richiedono molti esempi "in-context" (aumentando i costi di inferenza) e necessitano di un addestramento costoso o prompt complessi per essere efficaci in contesti reali.

2. Metodologia

Gli autori propongono una pipeline ibrida a due stadi che combina la forza predittiva dei modelli strutturati con la capacità di ragionamento contestuale degli LLM.

• Dati: Lo studio si basa sul Tuvan di Jungar, una varietà turca a bassa risorsa parlata nella regione dell'Altay (Xinjiang, Cina). Il corpus contiene 895 frasi annotate manualmente, con una morfologia agglutinante complessa (casi, aspetti, derivazione).
• Fase 1: Predizione Iniziale (BiLSTM-CRF):
  • Viene utilizzato un modello BiLSTM-CRF (Bidirectional Long Short-Term Memory con Conditional Random Field) addestrato sui dati di training per generare una prima ipotesi di glossing. Questo modello cattura efficacemente i pattern morfologici frequenti e i vincoli globali.
• Fase 2: Correzione Post-Processo (LLM):
  • L'output del BiLSTM-CRF viene inviato a un LLM (testati: DeepSeek-v3.2-exp, Qwen3-max, GPT-4o-mini, Gemma-3-27b-it) come "ipotesi iniziale grezza" da correggere.
  • Prompting Potenziato (RAG): Gli LLM ricevono esempi di addestramento recuperati dinamicamente tramite similarità (TF-IDF a livello di carattere) invece di essere selezionati casualmente.
  • Configurazioni Testate:
    • Retrieval vs. Random: Confronto tra esempi recuperati per similarità e campionamento casuale.
    • N-Shot Scaling: Variazione del numero di esempi (da 1 a 20).
    • Ablazione del Glossario: Test di diverse configurazioni di dizionari morfemici (nessuno, top-100, solo grammaticali, intero).
    • Pipeline Ibrida: Correzione delle previsioni BiLSTM da parte dell'LLM.

3. Contributi Chiave

1. Architettura Ibrida: Presentazione di un framework che integra modelli di predizione strutturata con il ragionamento degli LLM, dimostrando che questa divisione del lavoro supera i singoli approcci.
2. Principi di Design per il Lavoro sul Campo:
   • Dimostrazione che il retrieval basato sulla similarità è superiore alla selezione casuale degli esempi.
   • Scoperta paradossale che l'inserimento di dizionari morfemici (anche completi) tende a peggiorare le prestazioni della maggior parte dei modelli, probabilmente a causa di distrazione o sovraccarico informativo nel prompt.
   • Identificazione di una scala logaritmica delle prestazioni rispetto al numero di esempi (N-shot), con rendimenti decrescenti oltre 10-15 esempi.
3. Valutazione Comparativa: Analisi dettagliata delle prestazioni tra generazione pura e correzione ibrida, fornendo linee guida basate su evidenze per contesti di documentazione linguistica.

4. Risultati Sperimentali

• Baseline BiLSTM: Ha raggiunto un'accuratezza token-level di 0.474. Ha eccellato sui morfemi grammaticali frequenti (0.923) ma ha fallito sui morfemi lessicali rari (0.479).
• Impatto del Retrieval (RAG): L'uso di esempi recuperati per similarità ha portato a guadagni sostanziali per tutti i modelli (es. +0.388 per DeepSeek), superando di gran lunga la selezione casuale.
• Effetto dei Dizionari: Contrariamente alle aspettative, fornire dizionari ha spesso ridotto l'accuratezza. Solo un modello (Gemma-3) ha beneficiato del dizionario completo; gli altri sono peggiorati rispetto alla condizione "nessun dizionario".
• Performance della Pipeline Ibrida:
  • La combinazione BiLSTM + LLM ha superato sistematicamente sia il BiLSTM puro che la generazione pura dell'LLM.
  • DeepSeek-v3.2-exp ha raggiunto un'accuratezza di 0.698 (n=15), un miglioramento di +0.224 rispetto alla baseline.
  • I miglioramenti sono stati più marcati negli scenari low-shot (pochi esempi), dove il BiLSTM fornisce una guida strutturale cruciale che l'LLM raffina.
• Analisi degli Errori: I guadagni dell'approccio ibrido si concentrano principalmente sui morfemi lessicali a bassa frequenza (miglioramento da 0.029 a 0.426 per gli item rari), mentre la precisione sui morfemi grammaticali frequenti rimane stabile o subisce lievi cali.

5. Significato e Implicazioni

Questo studio offre una direzione promettente per soluzioni computazionali leggere nella documentazione delle lingue a rischio:

• Efficienza Operativa: La pipeline ibrida riduce significativamente il carico di lavoro di annotazione manuale, fornendo ipotesi che richiedono meno correzioni rispetto all'uso di soli LLM o soli modelli strutturati.
• Design dei Prompt: Sfidando le convenzioni, lo studio suggerisce che "più informazioni" (come dizionari completi) non sono sempre migliori; la qualità degli esempi di contesto e la struttura del prompt sono fattori critici.
• Adattabilità: L'approccio è particolarmente utile in contesti di campo dove i dati annotati sono scarsi, poiché sfrutta la capacità di inferenza contestuale degli LLM per colmare le lacune lessicali che i modelli statistici non possono gestire.
• Considerazioni Etiche: Gli autori sottolineano la necessità di supervisione umana esperta, trattando l'output del modello come un'ipotesi da validare e non come un'annotazione definitiva, per evitare errori nella registrazione linguistica.

In sintesi, il paper dimostra che un'architettura ibrida, che combina la robustezza strutturale dei modelli sequenziali con la flessibilità semantica degli LLM potenziati dal retrieval, rappresenta lo stato dell'arte per l'automazione del glossing morfologico in lingue a bassa risorsa.