Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

Resumo Técnico: Contaminação de Dados em Tradução Neural de Hieróglifos

Declaração do Problema
Línguas antigas e ameaçadas, como o Egípcio Antigo, apresentam desafios únicos para o Processamento de Linguagem Natural (PLN) devido à extrema escassez de dados. Diferentemente das línguas modernas, os conjuntos de dados para esses domínios dependem de artefatos arqueológicos sobreviventes e exigem anotação especializada, tornando-os difíceis de expandir. Essa escassez torna os problemas de qualidade dos dados desproporcionalmente consequentes. O artigo investiga um caso específico de tradução de hieróglifos para alemão, onde um estudo recente (De Cao et al., 2024) relatou uma pontuação state-of-the-art de 61,5 BLEU usando um modelo M2M-100 ajustado finamente. Os autores encontraram uma discrepância significativa ao reproduzir esses resultados com o modelo lançado publicamente, alcançando apenas 37,0 BLEU. Essa lacuna sugeriu uma falha metodológica potencial, especificamente contaminação de dados, onde alvos de avaliação aparecem inadvertidamente nos dados de treinamento. Corpos antigos são particularmente suscetíveis a isso devido ao uso pervasivo de repetição formulaica (por exemplo, instruções médicas, fórmulas de oferenda, epítetos reais) em todo os textos, o que a divisão aleatória padrão não consegue abordar.

Metodologia
O estudo conduziu uma auditoria abrangente de reprodutibilidade e contaminação usando os dados do repositório hiero-transformer.

• Fonte de Dados: Os autores utilizaram o conjunto de dados Thesaurus Linguae Aegyptiae (TLA). Após filtrar entradas com fontes hieroglíficas digitalizadas (em notação Gardiner) e alvos alemães não vazios, o conjunto de treinamento utilizável continha 18.669 pares, e o conjunto de teste continha apenas 50 amostras válidas.
• Detecção de Contaminação: Os autores empregaram dois métodos principais de detecção:
  1. Correspondência Exata Normalizada: Os alvos de teste foram comparados a todos os alvos de treinamento únicos após normalização (Unicode NFC, minúsculas, remoção de pontuação, colapso de espaços em branco). Isso revelou que 16 das 50 amostras de teste (32%) tinham alvos idênticos aos dados de treinamento.
  2. Sobreposição de N-gramas de Caracteres: Para detectar vazamento "suave", os autores calcularam a fração de 8-gramas de caracteres em alvos de teste que apareciam em alvos de treinamento. Em um limiar de sobreposição de 70%, 50% das amostras de teste foram sinalizadas.
• Configuração Experimental: Cinco configurações de modelo foram avaliadas em duas arquiteturas (M2M-100 e mBART-50):
  1. O modelo original lançado (De Cao et al., 2024).
  2. Uma reprodução em script do procedimento de treinamento original.
  3. Três modelos treinados com uma receita modernizada de baixo recurso (AdamW, cronograma de cosseno, suavização de rótulos, corte de gradiente e aumento de dados).
• Protocolo de Avaliação: O desempenho foi medido usando BLEU (sem distinção de maiúsculas/minúsculas) e chrF++ em três subconjuntos: o conjunto de teste completo (50 amostras), o subconjunto contaminado (16 amostras) e o subconjunto limpo (34 amostras). COMET-22 também foi usado para validação.

Principais Resultados
A investigação confirmou que a contaminação de dados é o principal motor de métricas de desempenho infladas neste domínio:

• Lacuna de Desempenho: Em todos os cinco modelos, amostras contaminadas pontuaram de 29 a 47 pontos BLEU mais altos do que amostras limpas. Por exemplo, o melhor modelo (M2M-100 Híbrido) alcançou 83,8 BLEU em amostras contaminadas versus 37,3 BLEU em amostras limpas.
• Consistência da Métrica: A inflação foi consistente entre arquiteturas e métricas. Amostras contaminadas pontuaram 0,23–0,26 pontos COMET-22 mais altos do que amostras limpas.
• Memorização vs. Tradução: Uma linha de base de recuperação que simplesmente copiava o alvo de treinamento com melhor correspondência alcançou 81,8 BLEU em itens de correspondência exata, rivalizando com o melhor modelo neural (77,9 BLEU), enquanto pontuava 0,0 em itens limpos. Isso indica que altas pontuações em dados contaminados derivam de memorização de alvos, e não de capacidade genuína de tradução.
• Independência da Fonte: A análise mostrou que a memorização de alvos ocorre independentemente da entrada de origem. Um item de teste com zero sobreposição de fonte em relação a qualquer amostra de treinamento ainda alcançou 100% de sobreposição de alvo, e 10 dos 16 itens de correspondência exata tinham fontes de treinamento com menos de 5% de similaridade.
• Limites de Descontaminação: Um experimento de descontaminação em nível de documento (removendo todas as frases de treinamento dos 33 documentos de origem do conjunto de teste) reduziu a pontuação BLEU em itens de correspondência exata em apenas 4,6 pontos. Isso ocorre porque 8 dos 16 alvos contaminados persistiram nos dados de treinamento através de outros documentos de origem (por exemplo, a frase "Werde gekocht" aparecendo em múltiplos papiros independentes). Isso demonstra que a divisão em nível de documento é insuficiente; a deduplicação em nível de alvo é necessária.

Principais Contribuições

1. Primeira Auditoria de Contaminação para NMT de Língua Antiga: O estudo identifica que a repetição formulaica em corpos antigos cria riscos sistemáticos de vazamento de dados ausentes em benchmarks modernos, revelando uma sobreposição exata de alvo de 32% em um conjunto de teste público.
2. Robustez Trans-Arquitetural: Os autores demonstram que a inflação de desempenho é inerente ao conjunto de dados, não específica do modelo, pois a lacuna persiste entre as arquiteturas M2M-100 e mBART-50 e vários regimes de treinamento.
3. Análise Graduada de Descontaminação: O artigo caracteriza a gravidade da contaminação através de correspondência exata, sobreposição de 8-gramas de caracteres, análise de vazamento em nível de documento e catalogação de frequência por item.
4. Linhas de Base e Protocolo Corrigidos: Os autores lançam um conjunto de teste descontaminado de 34 amostras (sem sobreposição exata de alvo) e estabelecem linhas de base corrigidas de 30,9–39,2 BLEU. Eles também propõem um protocolo de divisão envolvendo partição em nível de documento, deduplicação de alvos e estratificação de gêneros.

Significado e Alegações
O artigo alega que a pontuação relatada de 61,5 BLEU para tradução de hieróglifos para alemão é um artefato de contaminação de dados, e não um reflexo da verdadeira capacidade do modelo. As linhas de base corrigidas (30,9–39,2 BLEU) fornecem uma avaliação realista da Tradução Automática Neural (NMT) para este sistema de escrita ameaçado. Os autores argumentam que, embora a NMT possa captar a ideia geral de textos antigos (útil para triagem de corpus), ela contém erros significativos em termos de domínio e identificação de entidades, tornando-a inadequada para análise filológica sem verificação de especialistas.

O estudo destaca que a repetição formulaica é uma propriedade universal de corpos antigos (incluindo Latim, Grego e Acádio), sugerindo que a contaminação é um problema provável e sistemático em benchmarks de PLN de línguas antigas que não foram previamente auditados. Os autores concluem que futuros benchmarks devem relatar estatísticas de contaminação e partitionar resultados por status de contaminação para evitar avaliações enganosas. Eles enquadram seu trabalho como uma contribuição construtiva para a reprodutibilidade, observando que a contaminação identificada provavelmente surgiu de procedimentos de pré-processamento padrão, e não de manipulação intencional.