Resumo Técnico: Contaminação Transversal de Direção em Avaliação de Tradução Automática

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são suscetíveis à contaminação de dados, onde conjuntos de teste de benchmarks públicos são inadvertidamente incluídos nos dados de treinamento. Isso leva a pontuações de avaliação infladas que refletem memorização em vez de generalização genuína. Em configurações multilíngues, esse problema é exacerbado pela contaminação transversal de direção: um fenômeno onde a memorização de uma língua alvo em uma direção de tradução aumenta artificialmente o desempenho em direções de tradução não vistas que compartilham o mesmo alvo. As práticas de avaliação atuais frequentemente falham em detectar essa assimetria, assumindo que a contaminação requer sobreposição exata da entrada da fonte.

Metodologia

Os autores utilizam o benchmark FLORES-200, um conjunto de testes paralelos multi-vias que cobre centenas de línguas, como uma ferramenta de diagnóstico. O estudo emprega dois modelos primários:

1. Bloomz-7B1: Um LLM multilíngue explicitamente documentado como tendo sido ajustado (fine-tuned) com dados do FLORES (o modelo contaminado).
2. Llama-3.1-8B-Instruct: Um modelo de instrução comparável com o qual não há uso relatado de FLORES em seu treinamento (o controle não contaminado).

O design experimental envolve três fases principais:

1. Detecção de Contaminação de Linha de Base: Avaliando ambos os modelos em todos os 15 pares de línguas selecionados (abrangendo línguas de recursos altos, médios e baixos) usando BLEU (sobreposição de superfície) e COMET (similaridade semântica). Um BLEU alto acoplado a um COMET alto é usado como um proxy para memorização.
2. Análise de Perturbação da Fonte: Para determinar se a recuperação depende de strings exatas da fonte, os autores introduzem:
   • Back-translation (Retrotradução): Gerando entradas de fonte via uma terceira língua usando o Llama.
   • Paráfrase: Reescrevendo entradas de fonte usando o Llama.
   • Substituição de Entidades Nomeadas: Substituindo sistematicamente entidades nomeadas (ex: pessoas, locais, datas) no texto de origem por novas entidades válidas do mesmo tipo, traduzidas para a língua alvo.
3. Ajuste Fino Controlado (Fine-Tuning): Para isolar o mecanismo de contaminação, os autores realizam o ajuste fino do modelo Llama limpo em pares Inglês-para-X do FLORES e testam seu desempenho em direções não vistas (Z-para-Y) para simular e verificar o vazamento transversal de direção.

Principais Descobertas

1. Confirmação de Contaminação Transversal de Direção

O estudo confirma que o Bloomz exibe contaminação severa no FLORES. Crucialmente, esta contaminação é assimétrica:

• Memorização do Lado do Alvo: Pontuações infladas ocorrem principalmente quando uma língua está no lado do alvo, independentemente da língua de origem. Por exemplo, o Bloomz alcança pontuações BLEU altas (40–90) para várias origens traduzindo para Inglês, Francês ou Tâmil, mesmo que o par específico fonte-alvo não tenha sido explicitamente visto durante o treinamento.
• Direções Não Vistas: O modelo apresenta um desempenho moderadamente bom em direções de tradução não vistas (ex: fonte de baixo recurso para alvo de alto recurso) puramente devido à memorização do texto do lado do alvo.
• Validação do Controle: O Llama não mostra tais padrões, com pontuações caindo significativamente quando os pares fonte-alvo não são de alto recurso ou quando a língua alvo é de baixo recurso (ex: Bambara, Ewe).

2. Gatilhos de Recuperação Além da Entrada Exata

Ao contrário da suposição de que a contaminação requer correspondência exata do texto da fonte, o estudo descobre que a recuperação persiste mesmo com entradas alteradas:

• Back-translation e Paráfrase: Quando as entradas de origem foram retrotraduzidas ou parafraseadas (resultando em baixa similaridade de superfície com a fonte original), o Bloomz ainda recuperou referências memorizadas com pontuações BLEU de moderadas a altas (20–60). Isso sugere que características semânticas específicas ou pistas estruturais na fonte atuam como "gatilhos" para alvos memorizados, em vez da própria string exata.
• Assimetria de Gatilhos: Enquanto fontes retrotraduzidas de línguas de baixo recurso (ex: Bambara) falharam em disparar a recuperação, fontes de línguas de recursos médios frequentemente o fizeram, indicando que o mecanismo de "gatilho" é sensível à qualidade da retrotradução.

3. Substituição de Entidades Nomeadas como Diagnóstico

A descoberta mais robusta é o impacto da Substituição de Entidades Nomeadas:

• Substituir entidades nomeadas na fonte causa consistentemente uma queda significativa nas pontuações BLEU (5–10 pontos para uma única entidade, 10–20 pontos para todas as entidades) para o modelo contaminado (Bloomz).
• Essa queda ocorre mesmo quando as fontes parafraseadas ou retrotraduzidas não reduziram a recuperação.
• Os autores concluem que entidades nomeadas servem como âncoras críticas para a memorização. Sua remoção interrompe a capacidade do modelo de recuperar a referência específica memorizada, tornando a substituição de entidades um método de sondagem eficaz para detectar contaminação.

4. Simulação via Ajuste Fino

O ajuste fino do modelo Llama limpo nos pares English-to-X do FLORES replicou com sucesso o comportamento do Bloomz. O modelo ajustado mostrou aumentos artificiais em direções não vistas (Z-para-Y), confirmando que o efeito transversal de direção é impulsionado pela memorização do lado do alvo durante o processo de treinamento, e não por peculiaridades pré-existentes da arquitetura do modelo.

Significância e Alegações

O artigo afirma ser o primeiro exame sistemático de contaminação translingual e transversal de direção em tradução automática. Suas principais contribuições são:

1. Demonstrar a Assimetria: Provar que a contaminação não é uma propriedade simétrica de um par de línguas, mas é impulsionada pela memorização do lado do alvo, o que pode inflar artificialmente as pontuações para qualquer língua de origem traduzindo para um alvo memorizado.
2. Desafiar Suposições de Similaridade de Entrada: Mostrar que a contaminação pode persistir mesmo quando a entrada da fonte é significativamente alterada (via retrotradução ou paráfrase), desde que certos gatilhos (como entidades nomeadas) permaneçam intactos.
3. Propor uma Ferramenta de Diagnóstico: Introduzir a substituição de entidades nomeadas como um método prático e eficaz para profissionais sondarem e verificarem a memorização em modelos potencialmente contaminados em benchmarks paralelos multi-vias.

Os autores recomendam que os profissionais verifiquem a contaminação em todas as direções de tradução, particularmente checando a memorização do lado do alvo, em vez de confiar apenas em métricas de avaliação padrão que podem mascarar a extensão do vazamento de dados. O estudo conclui que, sem tal sondagem rigorosa, as pontuações de benchmark em LLMs multilíngues podem refletir vazamento de dados em vez de capacidades reais de generalização.