BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages

Resumo Técnico: Tradução de Muitos Shots Aumentada por BM25 para Línguas de Baixos Recursos do Nordeste da Índia

Definição do Problema
Este artigo aborda o desafio da tradução automática (MT) para onze línguas de baixos recursos do nordeste da Índia que participam da tarefa compartilhada WMT26 de Tradução de Línguas Indicadoras de Baixos Recursos. Estas línguas abrangem quatro famílias linguísticas distintas: Indo-Ariana (Assamês), Austroasiática (Khasi) e oito línguas Tibeto-Birmanas (Mizo, Manipuri em escritas Bengali e Meitei Mayek, Bodo, Kokborok, Karbi, Nyishi, Tagin), além de um crioulo baseado no inglês (Nagamese). Algumas destas, particularmente Nyishi, Karbi e Tagin, possuem quase nenhum trabalho prévio de MT. A tarefa é dividida em duas categorias baseadas na disponibilidade de dados: Categoria 1 (dados moderados) e Categoria 2 (dados muito limitados). Os autores visam traduzir entre inglês e estas línguas em ambas as direções sem depender do ajuste fino (fine-tuning) de modelos, que dominou as edições anteriores desta tarefa.

Metodologia
O sistema proposto, enviado pela equipe "gators" da Universidade da Flórida, adapta um pipeline de tradução de muitos shots aumentada por recuperação utilizado anteriormente para línguas indígenas das Américas (AmericasNLP 2026). A arquitetura central é a geração aumentada por recuperação (RAG) em tempo de inferência, utilizando um grande modelo de linguagem (LLM) e um índice de recuperação esparsa.

1. Preparação de Dados:

   • Bancos de Recuperação: O sistema constrói bancos de treinamento específicos para cada língua ($R$) fundindo os dados oficiais do WMT26 com corpora disponíveis publicamente (ex: Samanantar, Endangered Recipes, IndicGenBench FLORES) e lançamentos anteriores do WMT (WMT23).
   • Aumento de Dados: Um aumento significativo de dados foi aplicado, particularmente para as línguas da Categoria 2. Por exemplo, o corpus do Bodo foi expandido 9,3× para mais de 114.000 pares, enquanto outros receberam aumentos menores.
   • Filtragem: Os dados passaram por deduplicação SHA-256, normalização Unicode (NFC/NFKC) e filtragem de razão de comprimento. A filtragem de similaridade cross-lingual (LaBSE) foi aplicada opcionalmente a fontes externas mais ruidosas.
   • Alinhamento de Domínio: Os autores excluiram explicitamente dados sintéticos do conjunto de dados Multi30k (legendas de imagens) após constatarem que o desajuste de domínio impactava negativamente o desempenho, apesar do aumento no volume.

2. Mecanismo de Recuperação (BM25):

   • O sistema utiliza BM25 (variante Okapi) para recuperar os $r$ exemplos paralelos mais similares de um banco de treinamento para uma determinada sentença fonte $q$.
   • Direção do Índice: Uma correção crítica do trabalho anterior dos autores envolveu a construção do índice BM25 no lado da língua fonte. Para Inglês-para-Indic ($En \to X$), o índice é construído no inglês; para Indic-para-Inglês ($X \to En$), o índice é construído na língua Indic.
   • Deduplicação: Para evitar o inundamento do prompt com exemplos quase idênticos de corpora sobrepostos, o sistema ignora correspondências exatas e deduplica com base em um prefixo normalizado de 60 caracteres.

3. Tradução em Contexto (In-Context Translation):

   • Modelo: As traduções são geradas pelo Gemini 2.5 Flash via Google GenAI SDK. Nenhum ajuste fino do modelo é realizado.
   • Construção do Prompt: O prompt consiste na sentença de entrada $q$, $r$ exemplares de treinamento recuperados e $d$ exemplares de desenvolvimento ($D_d$) selecionados via classificação por sobreposição de palavras com exclusão leave-one-out.
   • Prompts de Sistema: Cada língua possui um prompt de sistema personalizado codificando características linguísticas específicas (ex: alertar o Khasi sobre a ordem VOS, esclarecer a natureza Tibeto-Birmana do Bodo apesar do uso da escrita Devanagari).
   • Pós-processamento: Inclui a remoção de prefixos do modelo, normalização Unicode e validação dos caracteres de saída contra blocos Unicode esperados (crucial para Meitei Mayek para evitar o fallback para Bengali).

4. Otimização de Hiperparâmetros:

   • Uma busca em grade (grid search) foi realizada sobre a contagem de recuperação $r \in \{0, 20, 40, 80\}$ e a contagem de exemplares de desenvolvimento $d \in \{0, 10, 20, 49\}$ para todos os 22 pares de língua-direção.
   • As configurações foram avaliadas em conjuntos de desenvolvimento retidos (50 sentenças por célula) usando a métrica ChrF.

Principais Contribuições

• Transferência de RAG para Novos Domínios: O artigo demonstra que uma abordagem de recuperação aumentada, sem necessidade de ajuste fino, anteriormente bem-sucedida na tarefa AmericasNLP, transfere-se efetivamente para a família de línguas do nordeste da Índia, apesar de diferentes estruturas linguísticas e sistemas de escrita.
• Correção de Bug Crítico: Os autores identificaram e resolveram um erro em seu pipeline anterior onde o índice BM25 era incorretamente construído na língua alvo (Espanhol) independentemente da direção da tradução. Corrigir isso para construir índices na língua fonte melhorou significativamente o desempenho de $X \to En$.
• Análise de Sensibilidade de Domínio: Através de estudos de ablação, os autores mostram que, para o RAG baseado em BM25, o alinhamento de domínio é mais crítico do que o puro volume de dados. Dados sintéticos de tarefas de legendagem de imagem (Multi30k) foram prejudiciais quando aplicados a domínios de notícias/governo.
• Busca em Grade Abrangente: O estudo fornece uma análise detalhada de como a recuperação ($r$) e os exemplares de desenvolvimento ($d$) interagem através de 22 pares distintos de língua-direção, revelando assimetrias nas configurações ótimas entre as direções $En \to X$ e $X \to En$.

Resultos
O sistema foi avaliado no conjunto de teste WMT26 usando as métricas BLEU e ChrF++.

• Desempenho: A submissão alcançou a melhor pontuação BLEU em 9 de 19 tarefas de tradução e a melhor pontuação ChrF++ em 11 de 19 tarefas.
• Assimetria Direcional:
  • $En \to X$: A recuperação ($r$) foi geralmente benéfica, sendo $r=80$ o ideal para dez das onze línguas. Isso sugere que o RAG auxilia efetivamente na geração de línguas de baixos recursos.
  • $X \to En$: A recuperação foi frequentemente menos crítica ou até prejudicial. Em sete de onze tarefas $X \to En$, o $r$ ideal foi 0, sugerindo que ao gerar uma língua de altos recursos (Inglês) que o LLM já conhece bem, a recuperação não agrega valor, a menos que os exemplos recuperados sejam quase idênticos à consulta.
• Escassez de Dados: Para línguas com corpora extremamente pequenos (ex: Karbi com ~900 pares), os ganhos de desempenho ao aumentar $r$ estagnaram, indicando que a força da recuperação é limitada pelo tamanho do corpus.
• Efeitos de Escrita: O artigo nota uma lacuna significativa de desempenho entre o Manipuri em escrita Bengali e a escrita Meitei Mayek, provavelmente devido à maior exposição do LLM durante o pré-treinamento para a primeira.

Significância e Alegações
Os autores alegam que sua abordagem isola as capacidades de tradução aumentada por recuperação, provando que o ajuste fino não é estritamente necessário para competir com outras submissões em cenários de baixos recursos. O sucesso do sistema depende de:

1. Bancos de recuperação de alta qualidade e alinhados ao domínio.
2. Construção correta do índice (indexação na língua fonte).
3. Uso estratégico de aprendizagem em contexto com exemplares de desenvolvimento curados ($d$), que frequentemente provaram ser mais impactantes do que a recuperação de treinamento ($r$) para corpora pequenos.

O artigo conclui que, embora o sistema dependa de acesso à API (Gemini) e enfrente limitações quanto a filtros de segurança e limites de taxa, ele representa uma alternativa robusta e livre de treinamento para tradução de baixos recursos. Os autores notam modestamente que foi observado um decaimento de desempenho do desenvolvimento para o teste, consistente com achados anteriores, mas o sistema ainda superou a competição na maioria das métricas.