G^2C-MT: Graph-Guided Context Selection for Document-Level Machine Translation

Sintesi Tecnica: G2C-MT

Problematica
La traduzione automatica a livello di documento (DocMT) richiede la cattura di dipendenze discorsive a lungo raggio per garantire la coerenza lessicale, la risoluzione delle coreferenze e la coerenza logica. Sebbene i Large Language Models (LLM) abbiano mostrato promettenti capacità nella gestione di contesti lunghi, tradurre interi documenti in un unico passaggio porta spesso a omissioni di frasi, diluizione del contesto e costi di decodifica proibitivi a causa della complessità quadratica degli LLM rispetto alla lunghezza dell'input. Le soluzioni esistenti tentano di mitigare questo problema tramite metodi basati sul recupero (retrieval) o strategie basate su grafi. Tuttavia, gli approcci basati sul recupero trattano spesso le frasi come una collezione non strutturata, fallendo nel preservare esplicite strutture del discorso. Al contrario, i metodi basati su grafi esistenti si affidano frequentemente a una costosa classificazione delle relazioni tramite LLM per la definizione degli archi, ed sono limitati alla selezione di vicini di primo ordine, impedendo la cattura di percorsi discorsivi profondi e multi-hop, essenziali per la struttura globale del documento.

Metodologia
Gli autori propongono G2C-MT (Graph-Guided Context for Machine Translation), un framework che inquadra la selezione del contesto come un problema di scoperta di percorsi strutturati su un grafo del discorso leggero. La pipeline consiste in tre fasi:

1. Costruzione di un Grafo del Discorso Diretto:
   Il documento sorgente è modellato come un grafo aciclico diretto (DAG) pesato dove ogni paragrafo è un nodo. Gli archi diretti collegano un paragrafo target ai paragrafi precedenti ($j < i$), riflettendo la natura sequenziale della traduzione. I pesi degli archi ($w_{ij}$) sono calcolati tramite una fusione di tre fattori:

   • Rilevanza Semantica ($S_{sem}$): Similarità del coseno tra gli embedding dei paragrafi, troncata da una soglia per ridurre il rumore.
   • Adiacenza Sequenziale ($S_{seq}$): Un peso fisso per i paragrafi immediatamente adiacenti per garantire la coerenza locale.
   • Sovrapposizione di Parole Chiave ($S_{key}$): Un punteggio basato su TF-IDF per catturare la coerenza terminologica (es. nomi propri) che la similarità semantica potrebbe trascurare.
     Questa costruzione è leggera, basandosi su embedding pre-addestrati e TF-IDF piuttosto che su costose inferenze LLM.

2. Campionamento di Percorsi di Contesto con Bias di Profondità:
   Per selezionare il contesto storico per un paragrafo target, il metodo impiega un random walk con bias di profondità partendo dal nodo target e procedendo a ritroso.

   • Euristica di Profondità: Un approccio di programmazione dinamica calcola $\phi(v)$, che rappresenta la lunghezza del percorso più lungo a ritroso da un nodo, stimando il suo pottoenziale di fornire un contesto storico ricco.
   • Transizione Probabilistica: Il "walker" transita verso i nodi precedenti basandosi su una distribuzione di probabilità che combina il peso dell'arco ($w_{ij}$) con un termine di bias $(\phi(v_{next}) + 1)^\lambda$. L'iperparametro $\lambda$ controlla la preferenza per percorsi di contesto più profondi e informativi rispetto ai vicini immediati.
   • Campionamento Multi-Percorso: A causa della natura stocastica del cammino, possono essere campionati molteplici percorsi di contesto distinti per un singolo target.

3. Generazione Contestuale Basata su Percorsi:
   Il percorso campionato viene invertito per ripristinare l'ordine naturale del documento e formattato in un prompt strutturato contenente i paragrafi sorgente e le loro corrispondenti traduzioni. Questo prompt viene fornito a un LLM per generare la traduzione del paragrafo target corrente.

   • Robustezza tramite Aggregazione: Per input ambigui, il framework può generare più traduzioni da diversi percorsi campionati. L'output finale è selezionato raggruppando questi candidati (tramite k-means) e scegliendo quello più vicino al centroide del cluster.

Contributi Chiave

• Modellazione a Grafo Leggera: Il paper introduce un nuovo framework che modella il contesto del documento come un DAG utilizzando un processo di costruzione computazionalmente efficiente (embedding + TF-IDF) anziché una costosa classificazione delle relazioni tramite LLM.
• Traversamento con Bias di Profondità: Un meccanismo di random walk con bias è progettato per favorire esplicitamente i percorsi di contesto più profondi, consentendo il recupero di dipendenze a lungo raggio e non lineari che i metodi a finestra fissa o di vicinato di primo ordine perdono.
• Robustezza Multi-Percorso: Il traversamento probabilistico supporta naturalmente il campionamento multi-percorso, permettendo l'aggregazione di diversi candidati di traduzione per migliorare la robustezza contro l'ambiguità del discorso.

Risultati Sperimentali
Il metodo è stato valutato su due benchmark: il dataset SAP (dominio IT tecnico) e il dataset IWSLT 2017 (narrativa/TED talks), utilizzando vari backbone LLM (DeepSeek-V3, Gemini-2.5-Flash-lite, serie Qwen-2.5/3).

• Performance: G2C-MT ha superato costantemente i forti baseline, inclusi quelli a livello di frase, basati su finestra (Window-Based), basati su recupero semantico e framework agentici come GRAFT e DelTA. Ha ottenuto i punteggi d-BLEU più elevati in tutte le direzioni di traduzione e per tutti i backbone dei modelli.
• Metriche del Discorso: Sui metadati specifici del discorso (BlonDe, d-Prism, d-Comet), G2C-MT ha ottenuto i punteggi migliori, dimostrando una gestione superiore di entità, tempi verbali e pronomi rispetto ai metodi che si affidano esclusivamente a finestre locali o alla similarità semantica globale.
• Efficienza: A differenza dei metodi agentici che richiedono molteplici chiamate LLM per la cura del contesto, G2C-MT richiede esattamente $N$ chiamate LLM per $N$ paragrafi, poiché la costruzione del grafo e il campionamento del percorso sono fasi di pre-processing.
• Ablazione: La rimozione dell'arco delle parole chiave o del random walk con bias di profondità ha causato i cali di performance più significativi, evidenziando l'importanza della coerenza terminologica e del recupero del contesto profondo.

Significatività e Rivendicazioni
Il paper sostiene che G2C-MT fornisca una soluzione robusta ed efficiente dal punto di vista computazionale per la traduzione a livello di documento, modellando esplicitamente le dipendenze strutturate del discorso. Inquadrando la selezione del contesto come un problema di scoperta di percorsi su un grafo, il metodo colma con successo il divario tra coerenza locale (catturata dagli archi sequenziali) e rilevanza globale (catturata dagli archi semantici e di parole chiave). Gli autori affermano che il loro approccio evita il compromesso tra i limiti della finestra fissa e il rumore del recupero semantico non strutturato, offrendo un'alternativa scalabile ai complessi framework multi-agente pur mantenendo un'alta qualità di traduzione e coerenza.