Beyond "To whom it may concern": Tailoring Machine Translation to Audience and Intent

Resumo Técnico: Além do "A quem possa interessar": Adaptando a Tradução Automática ao Público e à Intenção

Declaração do Problema

Os sistemas tradicionais de Tradução Automática (MT) e suas métricas de avaliação tratam a tradução como um mapeamento fixo da origem para o destino, otimizando a adequação semântica contra uma única referência "correta". Essa abordagem ignora a realidade pragmática de que a qualidade da tradução é relativa ao propósito, conforme defendido pela teoria do Skopos. Um único texto de origem pode exigir traduções vastamente diferentes dependendo do público-alvo pretendido, do tom, do registro e da intenção comunicativa (por exemplo, traduzir "Excuse me" como um pedido de desculpas formal versus uma interrupção casual). Embora os Grandes Modelos de Linguagem (LLMs) permitam teoricamente que os usuários especifiquem esses parâmetros contextuais via prompts, permanece incerto se os modelos atuais podem aproveitar sistematicamente tais especificações para produzir traduções adaptadas ao propósito em diversas línguas, tamanhos de modelo e domínios. Além disso, a pesquisa existente sobre MT consciente de contexto tem sido limitada em escopo, focando frequentemente em pares de línguas únicos ou fenômenos estreitos como a formalidade, e as métricas tradicionais baseadas em referência (ex: COMET, ChrF) podem falhar em capturar ou até mesmo penalizar uma adaptação estilística bem-sucedida.

Metodologia

Os autores introduzem um framework de avaliação sistemática para MT orientado ao propósito, condicionando a tradução tanto ao texto de origem quanto a uma instrução em linguagem natural que descreve o propósito pretendido.

• Datasets e Escopo: O estudo avalia o desempenho através de mais de 50 línguas, 5 tamanhos de modelo (Gemma-3-4B/12B/27B, Gemma-4-31B e Qwen3.5-27B) e 8 domínios de texto. O benchmark principal é o BOUQuET (504 instâncias por língua), suplementado pelo WMT24++ (997 instâncias por língua) para validação. A avaliação foca na tradução de Inglês para a língua de destino.
• Geração de Instruções: Para o BOUQuET, as instruções são elaboradas por um LLM (Gemini 3 Flash) com base em metadados (domínio, registro, comentários de contexto) e revisadas manualmente por anotadores humanos. Essas instruções especificam o público-alvo, o tom e o propósito.
• Condições Experimentais: O estudo compara quatro condições de tradução:
  1. Baseline: Tradução ao nível de sentença com um prompt de 3-shot fixo, sem instruções.
  2. Instruções: O prompt baseline aumentado com a instrução específica do usuário.
  3. Few-Shot: O prompt baseline aumentado com 5 pares de tradução semanticamente similares recuperados de um conjunto de exclusão (held-out set).
  4. Parágrafo: O parágrafo de origem completo fornecido como contexto (com marcadores para a sentença alvo ou como uma lista numerada).
• Métricas de Avaliação:
  • Classificação de Tradução: Uma pontuação de 0 a 100 medindo a preservação de significado, seguindo o protocolo de Anotação de Espaço de Erro (ESA).
  • Adaptabilidade (Adaptedness): Uma nova pontuação de 0 a 100 medindo o quão bem a tradução corresponde ao propósito pretendido pela instrução (tom, registro, público).
  • LLM-as-Judge: Um pipeline de avaliação sem referência usando um LLM (Gemini-3-Flash) para pontuar ambas as métricas, validado contra anotações humanas de falantes nativos.
  • Métricas Tradicionais: XCOMET-XL e ChrF++ são usados para comparar com a avaliação padrão de MT.

Principais Contribuições e Resultados

1. Instruções Melhoram Substancialmente a Adaptabilidade
Instruções explícitas do usuário aumentam significativamente a "adaptabilidade" das traduções.

• Escalabilidade: Os ganhos em adaptabilidade escalam com o tamanho do modelo. Modelos maiores (12B, 27B, 31B) mostram melhorias consistentes (ex: +10,2 a +17,8 pontos de adaptabilidade), enquanto modelos menores (4B) apresentam resultados mistos, às vezes sofrendo de falhas críticas (língua errada ou ausência de tradução) quando as instruções são adicionadas, particularmente em línguas de baixos recursos.
• Sensibilidade ao Domínio: Os benefícios são mais pronunciados em domínios informais (conversa, redes sociais), onde os ganhos de adaptabilidade atingem +16,5 a +26,1 pontos. Domínios formais (notícias, manuais de instrução) mostram ganhos menores.
• Nível de Recurso Linguístico: Línguas com mais recursos beneficiam-se mais das instruções. Adicionalmente, línguas "ricas em registro" (aquelas com distinções sociais gramaticalizadas, como japonês e árabe) apresentam os maiores ganhos.

2. Instruções Superam Métodos Alternativos de Contexto
Instruções explícitas são superiores tanto a exemplos few-shot semanticamente similares quanto ao contexto de nível de parágrafo.

• vs. Few-Shot: As instruções geram ganhos de adaptabilidade significativamente maiores do que exemplos few-shot semanticamente correspondentes (ex: +11,1 vs. +2,9 para o modelo 12B).
• vs. Contexto de Parágrafo: Fornecer o contexto bruto do parágrafo muitas vezes falha em melhorar a adaptabilidade e pode até degradar a qualidade da tradução (deltas negativos) para modelos ≤27B. Instruções explícitas são o método mais confiável para adaptação.

3. Métricas Tradicionais Falham em Capturar a Adaptação
Existe uma divergência significativa entre as pontuações do LLM-as-judge e as métricas tradicionais.

• Quando as instruções são adicionadas, as pontuações de adaptabilidade do LLM-as-judge aumentam, mas as pontuações XCOMET-XL e ChrF++ frequentemente diminuem.
• Essa divergência concentra-se em domínios informais (taxa de discordância de 21–50%), sugerindo que as métricas tradicionais penalizam mudanças estilísticas necessárias (como tornar o texto mais coloquial) porque dependem de traduções de referência que podem ser excessivamente formais ou carecer da nuance estilística solicitada.

4. Auto-instrução a partir de Contexto de Documento
Quando instruções curadas não estão disponíveis, os modelos podem gerar suas próprias instruções a partir do contexto circundante do documento.

• Eficácia: Instruções auto-geradas fecham até 80% da lacuna de adaptabilidade em comparação com as instruções de ouro curadas (ex: 71% para Gemma-3-27B, 80% para Gemma-4-31B).
• Mecanismo: Esta abordagem transforma o contexto de parágrafo bruto, potencialmente prejudicial (que pode reduzir a adaptabilidade em -2,3 a -10,6 pontos quando alimentado diretamente), em um resumo benéfico. O modelo efetivamente "supõe" o contexto e o tom, recuperando a maior parte dos benefícios de um briefing humano-curado.

5. Mitigação de Falhas em Modelos Pequenos
Para modelos menores (4B) em línguas de baixos recursos, as instruções podem desencadear falhas catastróficas (ex: taxa de falha de 45,5% em javanes). Os autores demonstram que o Ajuste Fino Eficiente de Parâmetros (PEFT) via destilação LoRA de um modelo professor maior (27B) pode virtualmente eliminar essas falhas críticas (reduzindo as taxas para ~4,0%) enquanto preserva a capacidade de adaptar-se às instruções.

Significância e Alegações

O artigo estabelece que a MT adaptada ao propósito é uma capacidade viável e mensurável dos atuais LLMs. Os autores argumentam que:

• Mudança de Paradigma de Avaliação: A avaliação de tradução deve ir além de métricas estáticas baseadas em referência para incluir métricas conscientes do propósito (como adaptabilidade) que considerem o público e a intenção.
• Implantação Prática: Para modelos com ≥12B de parâmetros, adicionar instruções ao usuário é um mecanismo confiável para melhorar a qualidade da tradução, particularmente para conteúdo informal.
• Adaptação Autônoma: Quando instruções explícitas do usuário estão ausentes, modelos capazes podem auto-gerar instruções eficazes a partir do contexto do documento, oferecendo um caminho prático para MT de nível de documento que não requer briefings manuais.
• Limitações: Os autores observam que suas descobertas baseiam-se em famílias específicas de modelos (Gemma, Qwen) e que a capacidade de "seguir instruções" compete com a capacidade de geração multilíngue em modelos menores, exigindo técnicas como destilação para estabilizar o desempenho.

O trabalho conclui que, embora os LLMs tenham aberto novas capacidades de tradução iterativas, realizar seu pleno potencial exige frameworks de avaliação que possam medir essas qualidades adaptativas, movendo o campo em direção a um paradigma mais centrado no usuário.