Building an English–Arabic Benchmark Corpus for Evaluating AI Translation of Implicit Political Meaning in U.S. Presidential Discourse

Resumo Técnico: Construção de um Corpus de Referência Inglês–Árabe para Avaliação da Tradução de IA de Significado Político Implícito no Discurso Presidencial dos EUA

Problema
As avaliações atuais de Tradução Automática (MT) e Modelos de Linguagem de Grande Escala (LLMs) concentram-se predominantemente em métricas de superfície, como precisão lexical, fluência gramatical e consistência terminológica. Embora os sistemas contemporâneos apresentem um desempenho sólido nessas dimensões, eles negligenciam amplamente a preservação do significado pragmático codificado de forma implícita. Essa lacuna é particularmente crítica no discurso político, onde atores utilizam rotineiramente a indireção, a ambiguidade estratégica, o atenuação (understatement) e a referência omitida para comunicar significados que vão além do conteúdo linguístico explícito. No par linguístico inglês–árabe, esse desafio é exacerbado por convenções retóricas e pistas de sinalização de indireção divergentes. Sem um recurso controlado que isole a indireção politicamente motivada e pareie segmentos de origem com renderizações de referência baseadas em convenções explícitas de preservação pragmática, não se pode testar rigorosamente as alegações sobre a capacidade de humanos ou máquinas de preservar a implicatura política.

Metodologia
O estudo aborda essa lacuna através da construção de um corpus de referência inglês–árabe especializado e de um arcabouço de avaliação correspondente.

• Construção do Corpus:

  • Fonte de Dados: O corpus consiste em 121 segmentos extraídos de oito discursos proferidos pelos presidentes dos EUA Barack Obama (2008–2016) e Joe Biden (2020–2024). Os gêneros são restritos a discursos do Estado da União (State-of-the-Union) e Convenções Nacionais Democratas para controlar ideologia e registro.
  • Esquema de Anotação: Os segmentos são anotados de acordo com seis categorias de Significado Político Implícito (IPM): Crítica Indireta, Ambiguidade Diplomática, Responsabilidade Implicada, Ameaça Estratégica, Atenuação (Understatement) e Avaliação Política.
  • Protocolo de Tradução: Todos os segmentos foram traduzidos para o Árabe Padrão Moderno (MSA) formal utilizando convenções específicas desenhadas para preservar a força pragmática em vez de resolvê-la. As convenções principais incluem:
    • Evitação de Nomes: Referências omitidas (ex: "meu antecessor", "Washington") são preservadas como substituições de papéis ou metonímias em árabe, nunca sendo resolvidas para nomes próprios.
    • Correspondência de Registro: Características oratoriais, hesitações (hedging) e ameaças condicionais são renderizadas para manter sua força dissuasória ou diplomática original.
    • Notas do Tradutor: Cada segmento inclui uma nota em árabe documentando a decisão de renderização específica e a justificativa para a preservação da camada implícita.
  • Análise: O corpus foi analisado para identificar padrões de distribuição das categorias de IPM entre os oradores e para caracterizar o "subsistema de evitação de nomes", que se mostrou o fenômeno mais sistemático no conjunto de dados.

• Arcabouço de Avaliação:

  • Escala de Preservação: Propõe-se uma escala ordinal de cinco pontos (0–4) para pontuar traduções candidatas com base no grau em que os leitores do alvo conseguem recuperar o mesmo significado político que os leitores da origem.
  • Tipologia de Mudança: Um sistema de classificação identifica o mecanismo de mudança na tradução: Preservação, Explicitação, Enfraquecimento, Fortalecimento ou Distorção.
  • Protocolo de Confiabilidade: O arcabouço delineia um protocolo para confiabilidade interavaliador usando $\kappa$ de Cohen ponderado ou $\alpha$ de Krippendorff, garantindo a pontuação cega por avaliadores treinados.
  • Plano de Análise: Um plano estatístico é definido para um futuro estudo comparativo, utilizando o teste de Friedman para escores de preservação ordinais e o Q de Cochran para distribuições de tipos de mudança entre sistemas humanos, MT e LLM.

Principais Contribuições

1. Um Corpus Paralelo Documentado: A principal contribuição é a liberação de um corpus paralelo inglês–árabe de 121 segmentos especificamente anotado para significado político implícito. Diferente de bases de dados existentes, ele isola estratégias pragmáticas e fornece traduções de referência fundamentadas em convenções de preservação explícitas.
2. Caracterização Empírica da Indireção: O estudo fornece uma análise descritiva de como o significado político implícito é distribuído no discurso presidencial recente dos EUA. Identifica a "referência omitida" (especificamente a substituição de papel) como uma estratégia dominante, ocorrendo em 24 de 62 segmentos nas categorias relevantes, e documenta uma única exceção controlada onde um nome é usado explicitamente.
3. Um Arcabouço de Avaliação Rigoroso: O artigo introduz uma metodologia abrangente para avaliar a qualidade da tradução além da adequação superficial. Isso inclui uma escala específica para equivalência pragmática, uma tipologia para mudanças de tradução e um plano estatístico desenhado para isolar o desempenho dos sistemas no significado implícito, independentemente de confundimentos ideológicos ou temáticos.

Resultados
Como este estudo foca na construção do recurso e na definição do arcabouço, ele não relata resultados comparativos entre traduções humanas, de máquina ou de LLM. Os "resultados" apresentados são achados descritivos relativos ao próprio corpus:

• Distribuição: Crítica Indireta (39,7%) e Avaliação Política (24,0%) constituem a maioria do corpus.
• Sistematicidade: O corpus demonstra um padrão altamente sistemático de evitação de nomes, realizado primordialmente através de substituição de papel.
• Controle Interno: A inclusão de exatamente um segmento onde a origem nomeia explicitamente um indivíduo serve como um controle interno, demonstrando que a convenção de tradução é responsiva ao texto de origem em vez de impor mecanicamente a indireção.

Significância e Alegações
Os autores alegam que este trabalho fornece uma base necessária para a avaliação sistemática da preservação do significado pragmático na tradução de IA inglês–árabe. Ao deslocar o foco do correspondência lexical para a equivalência pragmática, o corpus e o arcabouço permitem a detecção de modos de falha específicos em sistemas automatizados — como a tendência à "explicitação" (tornar o implícito explícito) — que métricas de superfície frequentemente não detectam.

O estudo posiciona o recurso como um "teste de estresse" para sistemas de tradução: um sistema que resolve referências omitidas para nomes próprios onde a origem não o faz, ou suprime nomes onde a origem é explícita, registra-se como um desvio da preservação. Os autores enfatizam que, embora o corpus seja atualmente limitado pelo orador e gênero (limitando a generalização para todo o discurso político), ele oferece um ambiente controlado para testar a hipótese de que sistemas automatizados, otimizados para saídas fluentes e completas, podem falhar sistematicamente em preservar a ambiguidade estratégica e a negabilidade essenciais para a comunicação política. O próximo passo imediato identificado é a execução do estudo comparativo definido pelo arcabouço proposto.