Syntax as a Rosetta Stone: Universal Dependencies for In-Context Coptic Translation

1. Il Problema

La traduzione automatica (MT) per le lingue a risorse limitate (LRL), come il Copto (in particolare il dialetto Sahidico), rappresenta una sfida significativa per i moderni Large Language Models (LLM).

• Carenza di dati: Il Copto è una lingua estinta come prima lingua (L1), con pochi parlanti nativi e un corpus digitale limitato. I modelli LLM pre-addestrati hanno una conoscenza quasi nulla di questa lingua.
• Limiti dell'In-Context Learning (ICL) standard: Sebbene l'uso di dizionari bilingue nei prompt (glossing) abbia migliorato le prestazioni, si è rivelato insufficiente. I modelli tendono a generare traduzioni fluenti ma semanticamente errate perché non comprendono le relazioni grammaticali complesse, le costruzioni sintattiche specifiche o le sfumature morfosintattiche del Copto (una lingua agglutinante con un sistema complesso di ausiliari).
• Esempio critico: Come mostrato nel paper, anche modelli avanzati come GPT-4.1 falliscono nel tradurre correttamente frasi copte senza ausili, producendo output fondamentalmente errati pur mantenendo una certa fluidità.

2. Metodologia

Gli autori propongono un approccio di In-Context Learning (ICL) arricchito sintatticamente. L'obiettivo è integrare informazioni grammaticali strutturate, derivate dalle Universal Dependencies (UD), direttamente nel prompt di traduzione, affiancandole alle voci lessicali.

Componenti del Prompt

Il sistema è costruito su quattro componenti principali che arricchiscono il prompt di input:

1. LEX (Lessico): Estrae voci dal Coptic Dictionary (Feder et al., 2018) basandosi sull'analisi morfologica della frase di input. Fornisce traduzioni lemma-specifiche e sensi contestuali.
2. DEP (Dipendenze): Verbalizza le relazioni di dipendenza sintattica (head-dependent) estratte dagli alberi UD. Le relazioni sono convertite in brevi frasi in inglese semplice (es. "n è la marcatura di caso di yoyou") per esplicitare la struttura grammaticale che non è ovvia dall'ordine delle parole.
3. CON (Costruzioni): Un modulo personalizzato che identifica 26 configurazioni sintattiche specifiche del Copto (tramite regole DepEdit). Fornisce istruzioni mirate su come tradurre costruzioni complesse (es. imperativi, soggetti posticipati, condizionali controfattuali) e include la traslitterazione di nomi propri.
4. CoNLLU: Include l'output grezzo del parser in formato CoNLL-U, sfruttando la familiarità dei modelli con questo formato strutturato.

Configurazioni Sperimentali

Gli autori hanno testato diverse combinazioni:

• Baseline: Solo istruzione di traduzione.
• Singoli componenti: LEX, DEP, CON, CoNLLU.
• Combinazioni: DEP+CON (solo sintassi strutturata) e LEX+SYN (combinazione completa di lessico e tutte le forme di sintassi).

Dati e Modelli

• Dataset: Coptic Scriptorium (UD Treebank Sahidico) per il set di sviluppo e test, e un dataset di ostraca (tessere di argilla) per la valutazione fuori dominio.
• Modelli: Sono stati testati modelli open-weight (Gemma 3 12B/27B, Llama 3.1, Aya) e modelli chiusi (GPT-4.1).
• Metriche: BERTScore (F1) come metrica principale, affiancata da BLEU e METEOR per confronti specifici.

3. Contributi Chiave

1. Prima applicazione delle UD per la MT in-context: Questo lavoro è il primo a utilizzare le Universal Dependencies come fonte di informazioni grammaticali per potenziare la traduzione automatica in-context per le LRL.
2. Dimostrazione della complementarità: Il paper dimostra che le informazioni sintattiche non sono solo un sostituto del lessico, ma un complemento necessario. Mentre il lessico fornisce le "parole", la sintassi fornisce la "struttura".
3. Analisi comparativa delle rappresentazioni sintattiche: Confronta diverse modalità di presentazione della sintassi (raw CoNLL vs. verbalizzazione in inglese vs. istruzioni su costruzioni specifiche), mostrando che la scelta dipende dalla capacità del modello (modelli più piccoli beneficiano più della verbalizzazione, quelli grandi del formato raw).
4. Validazione dell'uso di parser automatici: Dimostra che i parser automatici di alta qualità (con accuratezza ~90%) sono sufficienti per ottenere guadagni significativi, senza la necessità di annotazioni "gold" (umane) per ogni frase, rendendo il metodo scalabile.

4. Risultati

• Miglioramenti Statistici: L'aggiunta di informazioni sintattiche (SYN) al lessico (LEX) porta a miglioramenti statisticamente significativi (p < 0.0001) nel punteggio BERTScore rispetto alla sola integrazione lessicale o alla baseline.
• Configurazione Ottimale: La configurazione LEX+SYN (che combina dizionario, CoNLLU, verbalizzazioni di dipendenze e istruzioni sulle costruzioni) ottiene i risultati migliori su tutti i modelli testati, stabilendo un nuovo stato dell'arte (SOTA) per la traduzione Copto-Inglese.
  • Ad esempio, su Gemma-27B, il punteggio BERTScore sale da 0.8385 (Baseline) a 0.8746 (LEX+SYN).
• Performance Fuori Dominio: I risultati migliorano anche su dati fuori dominio (ostraca), superando o eguagliando i sistemi precedenti riportati in letteratura.
• Analisi Qualitativa: L'analisi degli errori mostra che la sintassi aiuta a risolvere ambiguità (es. distinguere tra preposizioni e negazioni omofone) e a mantenere la coerenza nelle frasi annidate o nelle relazioni soggetto-verbo, che i modelli tendono a perdere con l'approccio solo lessicale.
• Differenze Bible vs. Non-Bible: I modelli performano meglio sui testi biblici (probabilmente a causa di un addestramento pregresso su testi sacri), ma i guadagni relativi dell'approccio sintattico sono presenti in entrambi i domini.

5. Significato e Implicazioni

Questo studio è significativo per diversi motivi:

• Nuovo Paradigma per le LRL: Dimostra che per le lingue con pochi dati, l'integrazione di risorse linguistiche strutturate (come alberi di dipendenza) nei prompt è una strategia più efficace rispetto al semplice aumento del contesto lessicale.
• Accessibilità del Patrimonio Culturale: Migliorando la qualità della traduzione del Copto, questo metodo facilita l'accesso digitale a manoscritti antichi, testi religiosi e storici che altrimenti rimarrebbero inaccessibili o richiederebbero anni di lavoro manuale agli esperti.
• Efficienza delle Risorse: Suggerisce che non è necessario addestrare modelli massicci da zero su dati paralleli (spesso inesistenti per le LRL), ma è possibile ottenere risultati di alta qualità sfruttando l'ICL potenziato da risorse linguistiche esistenti (dizionari e parser).
• Scalabilità: La dimostrazione che i parser automatici sono sufficienti apre la strada all'applicazione di questa metodologia ad altre lingue antiche o a risorse limitate dove non esistono alberi di dipendenza annotati manualmente.

In conclusione, il paper posiziona la sintassi come una "pietra di Rosetta" fondamentale per decifrare e tradurre lingue antiche e a risorse limitate, superando i limiti attuali dei modelli linguistici generativi.