Resumo Técnico: Ocultando a Contaminação de Dados Através da Tradução: Evidências de Corpora em Árabe

Declaração do Problema

A contaminação de dados — onde o conteúdo de um benchmark aparece no corpus de treinamento de um modelo — compromete a validade da avaliação de Grandes Modelos de Linguagem (LLMs), permitindo que os modelos dependam da memorização em vez de uma generalização genuína. Embora existam métodos de detecção, eles são predominantemente limitados a benchmarks em inglês e frequentemente falham em considerar a dinâmica multilíngue.

Este artigo investiga um ponto cego específico: se traduzir benchmarks para uma língua de baixos recursos (árabe) atua como uma barreira natural à contaminação ou apenas obscurece os efeitos de memorização. Os autores hipotetizam que a tradução pode suprimir indicadores convencionais de contaminação, enquanto os modelos ainda se beneficiam desproporcionalmente da exposição aos dados traduzidos, particularmente se o modelo possuir capacidades fortes na língua alvo.

Metodologia

Configuração Experimental

O estudo realizou o ajuste fino (fine-tuning) de quatro modelos de pesos abertos e ajustados para instrução (Llama-3.2-1B, Mistral-7B, Gemma-3-1B e Qwen3-1.7B) utilizando o ajuste fino eficiente de parâmetros (LoRA). As condições de treinamento envolveram a mistura de dados de treinamento originais em inglês com proporções variadas (0%, 10%, 50%, 100%) de conjuntos de teste traduzidos para o árabe de dois benchmarks:

• MMLU: Questões de múltipla escolha (MCQ).
• XQuAD: Resposta a perguntas extrativa (QA).

Os modelos foram avaliados nas divisões originais em inglês desses benchmarks.

Mecanismos de Detecção

Para distinguir o raciocínio da memorização, os autores empregaram três sinais complementares:

1. TS-Guessing (Teste de Adivinhação de Slot): Um método estendido envolvendo o reordenamento de escolhas e mascaramento.
   • Para MMLU: As opções de resposta são embaralhadas e uma opção é mascarada. O modelo é instruído a prever o texto mascarado ou o índice original. Uma alta "Taxa de Recuperação de Índice" (IDR) — prever a letra original apesar do embaralhamento — indica a dependência de padrões posicionais memorizados.
   • Para XQuAD: Tokens críticos nas perguntas são mascarados. O Exact Match (EM) ou altos escores ROUGE-L F1 sobre o token mascarado sugerem vazamento do benchmark.
2. Análise de Probabilidade Min-K++: Uma sonda baseada em verossimilhança que mede a concentração de tokens de baixa perplexidade. Probabilidades de tokens excessivamente confiantes (escores Min-K++ baixos) em relação aos dados não utilizados servem como evidência distributiva de memorização.
3. Detecção de Contaminação Ciente de Tradução (TACD): Um protocolo de diagnóstico proposto que não requer acesso aos dados de treinamento. Ele constrói múltiplas visões de avaliação para cada instância:
   • Visões cross-linguais: Traduções para inglês, árabe e francês.
   • Perturbação estrutural: Permutação aleatória das opções de resposta dentro de cada visão linguística.
   • Sinais: Calcula a Taxa de Recuperação de Índice (IDR) e a Consistência Cross-Lingual (CLC) (a fração de instâncias onde as previsões são idênticas em todas as visões linguísticas).

Principais Resultados

Desempenho e Sinais Tradicionais

• MMLU: A acurácia aumentou monotonicamente com os níveis de contaminação em todos os modelos. O TS-Guessing revelou um IDR elevado para LLaMA e Qwen em níveis altos de contaminação, indicando dependência de posições de resposta memorizadas. O Min-K++ separou efetivamente modelos limpos de contaminados (o AUROC caiu de ~0,6 para ~0,33–0,44).
• XQuAD: As tendências foram heterogêneas. Enquanto Gemma e LLaMA mostraram melhoria gradual, o Mistral degradou além de 10% de contaminação. O TS-Guessing mostrou baixas taxas de correspondência exata (exact match), mas um aumento no ROUGE-L F1, sugerindo a recuperação parcial do conteúdo mascarado. A detecção via Min-K++ foi mais fraca e menos consistente para XQuAD em comparação ao MMLU.

O Efeito da Tradução

O estudo descobriu que traduzir benchmarks para o árabe suprimiu indicadores convencionais de contaminação (como verificações padrão apenas em inglês), mas os modelos ainda se beneficiaram da exposição.

• Descobertas do TACD:
  • LLaMA: Mostrou baixo IDR e um aumento gradual na consistência cross-lingual com a contaminação.
  • Qwen: Exibiu consistência cross-lingual perfeita (1.0) em todos os níveis de envenenamento, mantendo um IDR próximo ao acaso, sugerindo um colapso específico do modelo onde as previsões são fracamente condicionadas ao conteúdo de entrada.
  • Gemma: Apresentou um regime distinto onde o IDR permaneceu próximo à linha de base aleatória, mas a consistência cross-lingual aumentou monotonicamente com o envenenamento. Isso indica que a exposição envenenada induziu invariância representacional entre as traduções sem se manifestar como uma recuperação de índice explícita — um sinal invisível ao IDR isoladamente.

Principais Contribuições

1. Evidência de Contaminação Oculta: O artigo demonstra que traduzir benchmarks para o árabe pode mascarar sinais tradicionais de contaminação, enquanto ainda infla o desempenho nos benchmarks originais em inglês. Isso revela um ponto cego crítico nos atuais pipelines de avaliação centrados no inglês.
2. Extensão de Métodos de Detecção: Os autores estendem o TS-Guessing com uma estratégia de reordenação de escolhas e integram a análise de probabilidade Min-K++ para capturar tanto sinais de contaminação comportamentais (posicionais) quanto distributivos (verossimilhança).
3. Proposta do TACD: O artigo introduz a Detecção de Contaminação Ciente de Tradução (TACD), um protocolo que identifica a contaminação comparando sinais entre múltiplas variantes traduzidas do benchmark (Inglês, Árabe, Francês) e perturbações estruturais. O TACD expõe com sucesso a contaminação mesmo quando métodos apenas em inglês falham, particularmente ao detectar invariância cross-lingual e regimes comportamentais específicos do modelo.

Significância e Alegações

Os autores alegam que suas descobertas destacam a necessidade de pipelines de avaliação multilíngues e cientes de tradução. Eles argumentam que a tradução não deve ser tratada como uma estratégia de descontaminação. Em vez disso, a auditoria de contaminação deve comparar explicitamente os sinais entre variantes traduzidas e parear métricas agregadas com sondas comportamentais robustas a mudanças na forma superficial.

O artigo conclui que, para garantir uma avaliação justa, transparente e reprodutível de LLMs, a comunidade deve ir além das suposições baseadas apenas no inglês. O TACD é apresentado não como uma prova definitiva de contaminação, mas como uma ferramenta prática e reprodutível para distinguir a consistência impulsionada pelo raciocínio do comportamento consistente com a memorização em ambientes multilíngues.