ATD-Trans: A Geographically Grounded Japanese-English Travelogue Translation Dataset

Resumo Técnico do ATD-Trans: Um Conjunto de Dados de Tradução de Diários de Viagem Japonês-Inglês Fundamentado Geograficamente

Declaração do Problema
O texto geográfico, caracterizado por informações de localização implícitas transmitidas por meio de menções a entidades geográficas (por exemplo, nomes de lugares e instalações) em vez de coordenadas explícitas, é um recurso crítico para aplicações como turismo e gestão de desastres. No entanto, o acesso equitativo a essas informações entre idiomas é prejudicado por variações na qualidade da Tradução Automática (TA). Os sistemas de TA existentes frequentemente exibem vieses baseados nos dados de treinamento, levando a disparidades na forma como traduzem entidades geográficas, dependendo do foco linguístico do modelo e da região geográfica descrita. Embora a TA sensível a entidades e a TA em nível de documento tenham sido estudadas separadamente, os desafios específicos de traduzir texto geográfico — particularmente no que diz respeito à preservação da precisão das entidades geográficas entre diferentes regiões (doméstica versus internacional) e arquiteturas de modelo — permanecem pouco explorados.

Metodologia
Para abordar essas lacunas, os autores construíram o ATD-Trans, um conjunto de dados de tradução de diários de viagem japonês-inglês fundamentado geograficamente. O conjunto de dados é derivado do Conjunto de Dados de Diários de Viagem Acadêmicos NAIST (ATD), compreendendo 90 artigos traduzidos (42 domésticos e 48 internacionais) com seus respectivos textos fonte. As características principais do conjunto de dados incluem:

• Anotações Geográficas: Tanto os textos fonte quanto os alvo são anotados com menções a entidades geográficas e vinculados a IDs de entrada do OpenStreetMap (OSM), permitindo avaliação em nível de documento e de entidade.
• Desenho Experimental: Os autores avaliaram oito Modelos de Linguagem de Grande Escala (LLMs) existentes, categorizados por foco linguístico (centrado em inglês: Llama 3.1, Gemma 2; aprimorados em japonês: Llama-3.1-Swallow, Gemma-2-Llama Swallow) e tamanho (8B/9B vs. 70B/27B).
• Condições de Avaliação: Os experimentos foram conduzidos sob configurações de inferência variadas:
  • Contexto: Contexto em nível de parágrafo vs. contexto em nível de documento.
  • Especificação de Termos: Prompts básicos vs. prompts incorporando especificações de termos derivadas de entradas do OSM (previstas ou ouro) e termos oráculo das traduções de referência.
• Métricas: A qualidade da tradução foi avaliada usando d-BLEU e COMET para desempenho geral, e Precisão de Termos (correspondência difusa com um limiar de 0,9) para preservação de entidades geográficas. Experimentos adicionais incluíram tarefas sintéticas de substituição de ID para isolar a dificuldade de tradução de entidades e tarefas de geocodificação/reconhecimento de menções.

Principais Resultados
Os experimentos produziram várias descobertas significativas sobre o desempenho do modelo e a dificuldade de tradução:

1. Foco Linguístico: Modelos aprimorados em japonês superaram consistentemente seus equivalentes centrados em inglês, particularmente na Precisão de Termos. Isso sugere que o pré-treinamento contínuo em dados japoneses aprimora o conhecimento dos modelos sobre entidades geográficas japonesas e seus equivalentes em inglês.
2. Região Geográfica: A qualidade da tradução foi significativamente maior para blogs de viagem internacionais em comparação com blogs domésticos (Japão). Textos domésticos apresentaram maior dificuldade, atribuída principalmente à complexidade de traduzir entidades geográficas específicas e orientadas localmente. Experimentos sintéticos que substituíam entidades geográficas por IDs confirmaram que menções de entidades são uma fonte primária de dificuldade de tradução, especialmente para dados domésticos.
3. Contexto e Tamanho: O contexto em nível de documento geralmente melhorou a qualidade geral da tradução (d-BLEU, COMET), embora seu efeito na Precisão de Termos tenha variado. Modelos maiores (70B/27B) superaram consistentemente os menores (8B/9B).
4. Especificação de Termos:
   • Termos Oráculo: Fornecer termos corretos das traduções de referência melhorou significativamente a Precisão de Termos (atingindo ~100%) sem degradar a qualidade geral.
   • Termos KB: Usar termos derivados do OpenStreetMap (KB ouro ou KB previsto) frequentemente degradou a qualidade geral da tradução (d-BLEU, COMET). Isso foi atribuído a incompatibilidades entre termos KB e traduções de referência, bem como interferência negativa em menções onde não existia entrada KB.
   • Sensibilidade do Modelo: Modelos maiores (70B) foram mais adversamente afetados por informações de termos ruidosas do que modelos menores (8B), sugerindo que modelos com conhecimento interno mais rico se beneficiam menos de especificações de termos externas se essas especificações forem imperfeitas.

Significado e Alegações
O artigo alega que o ATD-Trans fornece um recurso necessário para a análise aprofundada da TA para texto geográfico, permitindo avaliação em nível de documento e de entidade geográfica. O estudo destaca que a tradução precisa de texto geográfico não é meramente uma tarefa linguística geral, mas depende fortemente do conhecimento específico do modelo sobre a região e as entidades envolvidas.

Os autores enfatizam que, embora a especificação de termos possa ser benéfica quando fornece conhecimento preciso que o modelo não possui, ela carrega riscos quando os termos fornecidos são inadequados ou incompatíveis. Consequentemente, o artigo sugere que sistemas futuros devem equilibrar cuidadosamente a integração de bases de conhecimento geográfico externas com o conhecimento interno do modelo para evitar a degradação da qualidade da tradução. O trabalho serve como um estudo de caso demonstrando que o acesso equitativo a informações geográficas exige o tratamento de vieses específicos nos sistemas de TA relacionados ao foco linguístico e à especificidade geográfica.