Resumo Técnico: CzechDocs

Declaração do Problema

Apesar dos avanços na tradução automática neural (NMT), preservar a estrutura do documento e as tags de marcação durante a tradução continua sendo um obstáculo significativo para a implementação prática. Os fluxos de trabalho de tradução do mundo real frequentemente envolvem documentos estruturados complexos (HTML, XML, DOCX, PDF), onde manter a integridade da formatação é essencial para o processamento posterior e publicação. Este desafio é particularmente agudo em cenários que exigem implantação multilíngue rápida, como a comunicação em crises humanitárias. O influxo de refugiados ucranianos na República Tcheca em 2022 destacou a necessidade urgente de tradução de alta qualidade para informações críticas (documentos legais, formulários governamentais, materiais educacionais) enquanto se preserva estritamente a estrutura de marcação necessária para a acessibilidade web e publicação. As métricas de avaliação existentes (ex: BLEU, COMET) concentram-se primariamente na precisão lexical e semântica, muitas vezes negligenciando a fidelidade estrutural exigida por sistemas de tradução de nível de produção.

Metodologia

Construção do Conjunto de Dados (CzechDocs)

Os autores apresentam o CzechDocs, um conjunto de dados paralelo multi-vias curado, projetado especificamente para avaliar a tradução com preservação de formato.

• Fontes: Os dados foram coletados de 14 sites públicos de língua tcheca, incluindo portais educacionais, sites de informação focados em expatriados, serviços governamentais e portais municipais.
• Conteúdo: O corpus foca em materiais de integração cívica para estrangeiros, principalmente imigrantes ucranianos, com conteúdo adicional em vietnamita, inglês, russo e outras línguas minoritárias.
• Formatos: O conjunto de dados inclui 77 documentos únicos em três formatos:
  • HTML (79%): Editados manualmente e alinhados ao nível de segmento para garantir a correspondência precisa entre os segmentos XLIFF de origem e destino.
  • PDF (17%) e DOCX (4%): Alinhados ao nível de documento (verificados como traduções uns dos outros), embora as fronteiras internas de segmentos possam diferir.
• Pré-processamento: Foi empregado um pipeline envolvendo limpeza (garantindo traduções exatas com formatação correspondente), conversão de formato (PDF para DOCX) e extração usando o toolkit Okapi Tikal para gerar formatos XLIFF, Moses InlineText (MOS) e texto simples.
• Alinhamento: Para documentos HTML, uma ferramenta customizada foi usada para impor o alinhamento ao nível de segmento em todas as versões de idioma, garantindo contagens e fronteiras de segmentos consistentes usando o tcheco de origem como um esqueleto.
• Estatísticas: O corpus final contém 60.153 segmentos traduzíveis em 15 idiomas, totalizando 271.111 palavras e 126.833 tags de marcação. Notavelmente, 90,3% dos segmentos contêm pelo menos uma tag de marcação.
• Divisões: O conjunto de dados é dividido em um conjunto de validação (19 documentos HTML, liberados publicamente) e um conjunto de teste reservado para uma futura tarefa compartilhada (shared task).

Avaliação Experimental

Os autores conduziram uma avaliação comparativa de diferentes estratégias para lidar com a tradução com marcação, utilizando dois Modelos de Linguagem de Grande Escala (LLMs): Aya-expanse-8b (CohereForAI) e gpt-4.1-nano (OpenAI). O estudo comparou as seguintes abordagens:

1. Detag-and-Project (Desmarcar-e-Projetar): Traduzir apenas o texto puro, depois reinsere as tags no destino usando alinhamentos de palavras (via awesome-align e heurísticas no Charles Translator).
2. Entrada Direta com Tags (Direct Tagged Input): Alimentar segmentos completos e marcados (no formato Moses InlineText) diretamente ao modelo com um prompt de tradução padrão.
3. Prompt com Ênfase em Tags: Semelhante ao (2), mas com instruções explícitas no prompt para preservar as posições das tags com precisão. Isso incluiu variações com e sem contexto (segmentos de documentos anteriores).

O desempenho foi medido usando pontuações BLEU tanto para o texto com tags (em relação às referências com tags) quanto para o texto puro sem tags (em relação às referências sem tags).

Principais Contribuições

1. Um Conjunto de Dados Curado: O lançamento do CzechDocs, um corpus paralelo especializado de documentos formatados (HTML, DOCX, PDF) cobrindo o tcheco e línguas minoritárias utilizadas na Chéquia. O conjunto de dados é explicitamente projetado para avaliar a tradução consciente de tags e localização.
2. Análise Comparativa: Uma avaliação sistemática de estratégias comuns para tradução com preservação de formato, incluindo tradução direta baseada em LLM com várias estratégias de prompting versus heurísticas tradicionais de "desmarcar-e-projetar".

Resultados

A avaliação no conjunto de validação rendeu as seguintes observações:

• Desempenho do Modelo: O modelo gpt-4.1-nano demonstrou, em geral, um desempenho ligeiramente superior ao Aya-expanse-8b.
• Sensibilidade ao Prompt: Os modelos foram sensíveis à engenharia de prompt. Instruções explícitas para preservar a marcação levaram a melhorias perceptíveis nas pontuações de preservação de tags, particularmente para o gpt-4.1-nano.
• Comparação de Abordagens:
  • BLEU com Tags (Tagged BLEU): A abordagem "Detag-and-Project" e as abordagens de "Prompting Consciente de Tags" alcançaram resultados comparáveis em média. No entanto, o método Detag-and-Project mostrou maior variância entre os documentos individuais.
  • BLEU sem Tags (Untagged BLEU): A abordagem Detag-and-Project resultou em pontuações de Untagged BLEU ligeiramente menores em comparação com a tradução direta por LLM, sugerindo que o processo de reinsere baseado em alinhamento pode introduzir desvios semânticos menores ou que os LLMs lidam um pouco melhor com o texto bruto quando não estão restritos pela lógica de reconstrução de tags.
• Descobertas Específicas: Para o gpt-4.1-nano, o prompt "Explícito" (entrada MOS) alcançou um Tagged BLEU de 87,8, superando significativamente o "Normal" (25,4). A abordagem "Detag-and-Project" com gpt-4.1-nano alcançou um Tagged BLEU de 89,0.

Significância e Alegações

O artigo posiciona o CzechDocs como um recurso necessário para avançar a avaliação de sistemas de tradução automática que devem operar em ambientes estruturados do mundo real. Os autores alegam que, embora os LLMs sejam capazes de traduzir segmentos marcados diretamente sem ajuste fino especializado, a abordagem tradicional de "desmarcar-e-projetar" permanece competitiva, particularmente em termos de métricas automatizadas em texto com tags.

Os autores afirmam modestamente que seu trabalho demonstra um "possível caso de uso" para o conjunto de dados e fornece uma comparação de base (baseline) de estratégias existentes. Eles não alegam que os LLMs resolveram o problema da preservação de formato; em vez disso, destacam que o prompting explícito melhora a preservação de tags e que a escolha entre a tradução direta por LLM e a reinsere baseada em alinhamento envolve compromissos entre a fidelidade da tag e a fluência do texto puro. O conjunto de dados destina-se a apoiar pesquisas futuras e uma tarefa compartilhada focada na tradução de nível de documento com preservação de formatação.