Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation

Resumo Técnico: Além da Tradução de Muitos Disparos: Escalando Demonstrações de Aprendizado em Contexto para Tradução Automática de Baixos Recursos

Definição do Problema
A Tradução Automática (MT) para línguas de baixos recursos é fundamentalmente limitada pela escassez de dados paralelos de alta qualidade. Embora os Grandes Modelos de Linguagem (LLMs) tenham melhorado o desempenho da MT de forma geral, adaptá-los para línguas menos representadas continua sendo difícil. Abordagens tradicionais como o ajuste fino supervisionado (fine-tuning) exigem grandes quantidades de supervisão que muitas vezes não estão disponíveis. Embora o Aprendizado em Contexto (ICL) ofereça uma alternativa livre de parâmetros, condicionando os modelos a exemplos de demonstração no momento da inferência, o comportamento de escalonamento do ICL em configurações de baixos recursos não é totalmente compreendido. Especificamente, não está claro se o desempenho continua a melhorar à medida que o número de exemplos em contexto cresce em direção aos limites dos modelos modernos de contexto longo (até 1 milhão de tokens), ou se ocorrem retornos decrescentes e degradação de desempenho. Além disso, o impacto de diferentes fontes de dados (monolíngues vs. paralelos) sobre esse comportamento de escalonamento permanece uma questão em aberto.

Metodologia
O estudo investiga o escalonamento do ICL de muitos disparos (many-shot) para MT de baixos recursos, variando sistematicamente o número de exemplos em contexto e o tipo de corpus de treinamento.

• Modelos: Os autores avaliaram dois modelos Transformer de decodificador único com suporte para contexto ultra-longo (até 1 milhão de tokens): Qwen2.5-7B-Instruct-1M e Nemotron-8B-UltraLong-1M-Instruct.
• Línguas-Alvo: Os experimentos focaram em Javanês e Sundanês, duas línguas austronésias de baixos recursos.
• Tipos de Corpus: Três tipos distintos de demonstrações em contexto foram testados:
  1. Dados Monolíngues Não Supervisionados: Texto extraído (crawled) das línguas alvo (Javanês/Sundanês) sem pares de tradução.
  2. Dados de Estilo Instrução: Exemplos orientados a tarefas (ex: do dataset Alpaca) traduzidos para as línguas alvo, formatados como triplas de instrução-entrada-saída.
  3. Dados Paralelos: Corpora sintéticos criados traduzindo sentenças das líng de alvo para o Inglês e Indonésio. O Indonésio foi incluído como língua de referência devido à sua proximidade tipológica com as línguas alvo.
• Configuração Experimental: O orçamento de contexto foi escalonado de 27 tokens até aproximadamente 1 milhão de tokens ($2^{20}$). O estudo utilizou o dataset FLORES+ para avaliação. O desempenho foi medido usando COMET-22 (métrica baseada em redes neurais) e ChrF++ (sobreposição de n-gramas de caracteres). Os autores compararam a amostragem "first-k" (pegando os primeiros $k$ exemplos) contra a amostragem aleatória para testar a sensibilidade à ordem.
• Construção de Dados Sintéticos: Para lidar com a falta de dados paralelos, os autores construíram corpora paralelos sintéticos extraindo sentenças do dataset da coleção Aya e traduzindo-as para Inglês e Indonésio usando o modelo GPT-5 da OpenAI.

Principais Contribuições

1. Caracterização do Escalonamento até 1M de Tokens: O artigo fornece a primeira caracterização empírica do ICL de muitos disparos para MT de baixos recursos na escala de 1 milhão de tokens. Estabelece que os tamanhos de contexto eficazes são frequentemente significativamente menores do que a janela máxima suportada.
2. Análise de Sensibilidade ao Tipo de Dado: O estudo demonstra que o tipo de corpus em contexto influencia criticamente tanto a magnitude dos ganhos de desempenho quanto a trajetória de escalonamento. Notavelmente, descobre que dados monolíngues de estilo instrução podem ser competitivos com dados paralelos em certas configurações.
3. Liberação de Recursos: Os autores construíram e liberaram corpora paralelos sintéticos para tripletos Inglês-Indonésio-Javanês e Inglês-Indonésio-Sundanês para facilitar pesquisas futuras.

Resultos

• Escalonamento Não Linear e Saturação: O desempenho não escala linearmente com o tamanho do contexto. Os ganhos de contexto adicional saturam rapidamente, tipicamente em torno de $2^{14}$ a $2^{16}$ tokens (16K–64K tokens). Além deste ponto, adicionar mais exemplos gera retornos decrescentes.
• Colapso de Desempenho: À medida que a janela de contexto se aproxima de seu limite máximo (perto de 1M de tokens), o desempenho frequentemente degrada, às vezes caindo abaixo dos baselines de zero-shot. Este "colapso" é atribuído a fatores como mecanismos de atenção dispersos e o fenômeno "lost-in-the-middle" (perdido no meio). O modelo Qwen exibiu uma degradação mais pronunciada e instabilidade no comprimento da saída perto do limite em comparação ao Nemotron.
• Efeitos do Tipo de Corpus:
  • Dados Paralelos: Geralmente proporcionaram os maiores ganhos de desempenho, particularmente para a tradução de Inglês para as línguas alvo.
  • Dados de Instrução: Surpreendentemente, dados monolíngues de estilo instrução alcançaram desempenho comparável aos dados paralelos em vários cenários, sugerindo que sinais de seguimento de tarefa e formatação são altamente eficazes.
  • Dados Monolíngues Não Supervisionados: Renderam consistentemente as pontuações mais baixas.
  • Língua de Referência: A escolha da língua de referência (Inglês vs. Indonésio) mostrou efeitos dependentes da direção. Exemplos paralelos em Indonésio foram mais benéficos para a tradução da língua alvo para o Inglês, enquanto exemplos paralelos em Inglês beneficiaram a tradução de Inglês para a língua alvo.
• Robustez da Amostragem: Experimentos comparando amostragem "first-k" e amostragem aleatória não mostraram diferenças significativas de desempenho, sugerindo que as tendências de escalonamento observadas são robustas à seleção específica de exemplos, embora efeitos posicionais permaneçam um fator potencial.

Significância e Alegações
O artigo afirma que simplesmente maximizar o tamanho da janela de contexto não produz ganhos de qualidade proporcionais na MT de baixos recursos. Em vez disso, existe um "limite de contexto efetivo" bem abaixo da capacidade máxima do modelo, além do qual o desempenho pode degradar. O estudo destaca que o tipo de dado e a arquitetura do modelo são determinantes críticos do comportamento de escalonamento.

Os autores enfatizam que, para línguas de baixos recursos onde dados paralelos de alta qualidade são escassos, dados monolíngues de estilo instrução oferecem uma alternativa viável e competitiva à supervisão paralela. Esta descoberta sugere que a estrutura e a definição da tarefa dos exemplos em contexto podem ser tão importantes quanto o alinhamento fornecido pelos pares paralelos. Finalmente, os resultados alertam contra o aumento cego das janelas de contexto ao limite máximo sem considerar o tipo de corpus e a arquitetura do modelo, pois isso pode ser contraproducente. O trabalho ressalta a necessidade de estratégias de amostragem cuidadosas em vez de expansão bruta de contexto.