Efficient Multilingual Dialogue Processing via Translation Pipelines and Distilled Language Models

Riepilogo Tecnico: Elaborazione Efficiente di Dialoghi Multilingue tramite Pipeline di Traduzione e Modelli Linguistici Distillati

Problematica
La comprensione del dialogo multilingue presenta sfide significative, in particolare per le lingue indiche a basse risorse. Sebbene i Large Language Models (LLM) abbiano dimostrato capacità impressionanti in inglese, le loro prestazioni su altre lingue rimangono limitate, specialmente quando devono elaborare dati conversazionali che richiedono una profonda comprensione del contesto, il tracciamento dei turni di parola e l'analisi della struttura del discorso. Gli esistenti modelli multilingue spesso faticano a mantenere la coerenza e la robustezza attraverso diverse lingue indiche, e la qualità dei dati di addestramento può essere discutibile. Inoltre, gli approoli multilingue diretti spesso non riescono a eguagliare le prestazioni dei modelli specializzati incentrati sull'inglese a causa della disparità nella dimensione del corpus di addestramento e dei benchmark di valutazione.

Metodologia
Il Team Kl33n3x ha sviluppato un sistema a pipeline in tre fasi per il compito condiviso NLPAI4Health 2025, progettato per generare riassunti e rispondere a domande da dialoghi in otto lingue indiche (Marathi, Kannada, Gujarati, Telugu, Tamil, Bangla, Hindi, Assamese) più l'inglese. Il sistema evita il fine-tuning diretto di un modello multilingue per i compiti specifici, che inizialmente si era rivelato insufficiente nel mantenere la coerenza fattuale e nel gestire la terminologia medica. Invece, l'architettura impiega una strategia "traduzione-prima":

1. Traduzione Forward: I dialoghi vengono tradotti dalla lingua indica di origine all'inglese utilizzando prajdabre/rotary-indictrans2-indic-en-dist-200M. Questo modello, basato sull'architettura IndicTrans2, utilizza l'embedding di posizione rotatoria (RoPE) ed è ottimizzato specificamente per le coppie Indic-Inglese per garantire una traduzione di alta qualità.
2. Generazione Multitask: Il testo inglese è elaborato da una versione distillata del modello Qwen3-4B-Instruct (unsloth/Qwen3-4B-Instruct-2507-unsloth-bnb-4bit). Questo modello è stato compresso a 2,55 miliardi di parametri tramite conoscenza distillata e quantizzato a 4 bit. Gestisce tre compiti distinti — riassunto narrativo, riassunto strutturato e risposta alle domande (QA) — tramite prompting specifico per il compito. Una caratteristica critica di questo modello è la sua enorme finestra di contesto (fino a circa 256k token), che consente di elaborare interi dialoghi clinici in un unico passaggio in avanti senza troncamenti, preservando così la coerenza del discorso e la coerenza fattuale.
3. Traduzione Reverse: Gli output generati in inglese vengono tradotti nuovamente nella lingua indica di origine utilizzando prajdabre/rotary-indictrans2-en-indic-dist-200M, che rispecchia l'architettura della traduzione forward.

Il sistema utilizza la decodifica greedy per output deterministici e processa i dati attraverso una pipeline di pre-elaborazione che gestisce l'attribuzione del parlante, i confini dei turni e la tokenizzazione della lingua.

Contributi Chiave

• Efficienza del Modello Distillato: Il documento dimostra che un modello distillato compatto da 2,55 miliardi di parametri può raggiungere prestazioni altamente competitive in nove lingue, riducendo significativamente i requisiti computazionali (circa 6GB di memoria GPU) rispetto al caricamento di molteplici modelli specializzati o LLM più grandi.
• Pipeline Basata sulla Traduzione per Lingue a Basse Risorse: Il lavoro valida l'idea che sfruttare modelli di traduzione specializzati di alta qualità combinati con potenti modelli generativi incentrati sull'inglese possa superare gli approcci multilingue diretti, in particolare quando la qualità dei dati di addestramento è variabile.
• Elaborazione Consapevole del Contesto: Utilizzando un modello con una finestra di contesto di 256k token, il sistema evita la perdita di informazioni associata alle strategie di troncamento o di finestra scorrevole comuni nell'elaborazione di dialoghi medici.
• Architettura Unificata: L'approccio utilizza un singolo modello istruito (instruction-tuned) per tutti i compiti (riassunto e QA), semplificando l'implementazione e la manutenzione in contesti clinici con risorse limitate.

Risultati
Il sistema ha ottenuto tassi di vittoria elevati nella competizione NLPAI4Health 2025, con prestazioni particolarmente robuste nella risposta alle domande (QnA) per Marathi (86,7%), Tamil (86,7%) e Hindi (80,0%).

• Metriche Automatiche: Il sistema ha raggiunto punteggi F1 compresi tra 0,43 e 0,67 per QnA, tra 0,81 e 0,92 per il riassunto narrativo e tra 0,35 e 0,43 per il riassunto strutturato.
• Similarità Semantica: Alti valori di BERTScore (0,82–0,92) in tutti i compiti indicano una forte similarità semantica tra gli output generati e quelli di riferimento, suggerendo che il sistema cattura efficacemente il significato del dialogo anche quando la sovrapposizione lessicale esatta varia.
• Sensibilità al Compito: Le prestazioni sono variate in base al tipo di compito; il riassunto narrativo ha beneficiato maggiormente dell'approccio di traduzione, mentre il riassunto strutturato (chiave-valore) ha mostrato prestazioni più costanti tra le lingue, probabilmente grazie alla robustezza del formato chiave-valore contro i minori artefatti di traduzione.

Significatività e Rivendicazioni
Il documento afferma che gli approcci basati sulla traduzione rimangono una strategia vitale ed efficace per i compiti di NLP multilingue, specialmente quando i modelli multilingue diretti non sono disponibili o quando la qualità dei dati di addestramento è discutibile. Il lavoro evidenzia come modelli compatti, se combinati con pipeline di traduzione di alta qualità, possano raggiungere prestazioni paragonabili a modelli più grandi offrendo al contempo significativi vantaggi computazionali. Gli autori osservano che, sebbene l'approccio sia limitato dalla qualità dei modelli di traduzione (gli errori si propagano a valle) e introduca latenza, esso fornisce una soluzione pratica per l'elaborazione di lingue indiche a basse risorse senza la necessità di fine-tuning specifico su dati rumorosi. Il lavoro futuro suggerisce di esplorare approcci multilingue diretti man mano che i modelli e i dataset migliorano, e di investigare metodi per ridurre la dipendenza dalla traduzione.