Efficient Multilingual Dialogue Processing via Translation Pipelines and Distilled Language Models

Resumo Técnico: Processamento Eficiente de Diálogos Multilíngues via Pipelines de Tradução e Modelos de Linguagem Destilados

Definição do Problema
A compreensão de diálogos multilíngues apresenta desafios significativos, particularmente para línguas indicas de baixos recursos. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades impressionantes em inglês, seu desempenho em outras línguas permanece limitado, especialmente ao processar dados conversacionais que exigem uma compreensão profunda de contexto, rastreamento de turnos de fala e análise de estrutura de discurso. Os modelos multilíngues existentes frequentemente lutam para manter a consistência e a robustez em diversas línguas indicas, e a qualidade dos dados de treinamento pode ser questionável. Além disso, abordagens multilíngues diretas muitas vezes não conseguem igualar o desempenho de modelos especializados centrados no inglês devido à disparidade no tamanho do corpus de treinamento e nos benchmarks de avaliação.

Metodologia
A Equipe Kl33x desenvolveu um sistema de pipeline de três estágios para a tarefa compartilhada NLPAI4Health 2025, projetado para gerar resumos e responder perguntas a partir de diálogos em oito línguas indicas (marati, canarim, gujarati, telugo, tâmil, bengali, hindi, assamesa) além do inglês. O sistema evita o ajuste fino (fine-tuning) direto de um modelo multilíngue para as tarefas específicas, o que inicialmente se mostrou insuficiente para manter a consistência factual e lidar com terminologia médica. Em vez disso, a arquitetura emprega uma estratégia de "tradução primeiro":

1. Tradução Direta (Forward Translation): Os diálogos são traduzidos da língua indica de origem para o inglês usando o prajdabre/rotary-indictrans2-indic-en-dist-200M. Este modelo, baseado na arquitetura IndicTrans2, utiliza embeddings de posição rotativa (RoPE) e é otimizado especificamente para pares Indic-Inglês para garantir uma tradução de alta qualidade.
2. Geração Multitarefa: O texto em inglês é processado por uma versão destilada do modelo Qwen3-4B-Instruct (unsloth/Qwen3-4B-Instruct-2507-unsloth-bnb-4bit). Este modelo foi comprimido para 2,55 bilhões de parâmetros via destilação de conhecimento e quantizado para 4 bits. Ele lida com três tarefas distintas — sumarização narrativa, sumarização estruturada e resposta a perguntas — através de prompting específico para cada tarefa. Uma característica crítica deste modelo é sua janela de contexto massiva (até ~256k tokens), permitindo processar conversas clínicas inteiras em uma única passagem direta (forward pass) sem truncamento, preservando assim a coerência do discurso e a consistência factual.
3. Tradução Reversa (Reverse Translation): Os outputs gerados em inglês são traduzidos de volta para a língua indica de origem usando o prajdabre/rotory-indictrans2-en-indic-dist-200M, que espelha a arquitetura da tradução direta.

O sistema utiliza decodificação gananciosa (greedy decoding) para outputs determinísticos e processa os dados através de um pipeline de pré-processamento que lida com atribuição de falante, limites de turno e tokenização de linguagem.

Principais Contribuições

• Eficiência do Modelo Destilado: O artigo demonstra que um modelo compacto, de 2,55 bilhões de parâmetros destilados, pode alcançar um desempenho altamente competitivo em nove línguas, reduzindo significativamente os requisitos computacionais (aprox. 6GB de memória GPU) em comparação com o carregamento de múltiplos modelos especializados ou LLMs maiores.
• Pipeline Baseado em Tradução para Línguas de Baixos Recursos: O trabalho valida que alavancar modelos de tradução especializados de alta qualidade combinados com poderosos modelos generativos centrados no inglês pode superar abordagens multilíngues diretas, particularmente quando a qualidade dos dados de treinamento é variável.
• Processamento Sensível ao Contexto: Ao utilizar um modelo com uma janela de contexto de 256k tokens, o sistema evita a perda de informação associada ao truncamento ou estratégias de janela deslizante comuns no processamento de diálogos médicos.
• Arquitetura Unificada: A abordagem utiliza um único modelo ajustado por instrução para todas as tarefas (sumarização e QnA), simplificando a implantação e a manutenção em ambientes clínicos com restrição de recursos.

Resultos
O sistema alcançou altas taxas de vitória na competição NLPAI4Health 2025, com desempenho particularmente robusto em Resposta a Perguntas (QnA) para marati (86,7%), tâmil (86,7%) e hindi (80,0%).

• Métricas Automáticas: O sistema alcançou pontuações F1 variando de 0,43 a 0,67 para QnA, 0,81 a 0,92 para sumarização narrativa, e 0,35 a 0,43 para sumarização estruturada.
• Similaridade Semântica: Altos valores de BERTScore (0,82–0,92) em todas as tarefas indicam forte similaridade semântica entre os outputs gerados e as referências, sugerindo que o sistema captura efetivamente o significado do diálogo, mesmo quando a sobreposição lexical exata varia.
• Sensibilidade à Tarefa: O desempenho variou conforme o tipo de tarefa; a sumarização narrativa beneficiou-se mais da abordagem de tradução, enquanto a sumarização estruturada (chave-valor) mostrou um desempenho mais consistente entre as línguas, provavelmente devido à robustez do formato chave-valor contra pequenos artefatos de tradução.

Significância e Alegações
O artigo afirma que abordagens baseadas em tradução permanecem uma estratégia viável e eficaz para tarefas de NLP multilíngue, especialmente quando modelos multilíngues diretos não estão disponíveis ou quando a qualidade dos dados de treinamento é questionável. O trabalho destaca que modelos compactos, quando combinados com pipelines de tradução de alta qualidade, podem alcançar desempenho comparável a modelos maiores, oferecendo vantagens computacionais significativas. Os autores observam que, embora a abordagem seja limitada pela qualidade dos modelos de tradução (erros propagam-se para baixo no fluxo) e introduza latência, ela fornece uma solução prática para o processamento de línguas indicas de baixos recursos sem a necessidade de ajuste fino específico para tarefas em dados ruidosos. Sugere-se que trabalhos futuros explorem abordagens multilíngues diretas à medida que modelos e conjuntos de dados melhorem, e investiguem métodos para reduzir a dependência de tradução.