"Be My Cheese?": Cultural Nuance Benchmarking for Machine Translation in Multilingual LLMs

Resumo Técnico: "Be My Cheese?": Benchmarking de Nuances Culturais para Tradução Automática em LLMs Multilíngues

Declaração do Problema
As métricas e benchmarks atuais de tradução automática (TA) priorizam predominantemente a precisão lexical ao nível de token e a correção gramatical. Embora essas métricas capturem a validade formal, elas frequentemente falham em avaliar as competências pragmáticas e culturalmente fundamentadas necessárias para a localização no mundo real. Consequentemente, as traduções podem ser gramaticalmente sólidas, mas culturalmente inadequadas, enganosas ou não naturais, particularmente ao lidar com linguagem figurativa, como expressões idiomáticas, trocadilhos e conceitos culturalmente embutidos. A literatura existente observa que métricas padrão, como BLEU, COMET e BLEURT, lutam com erros ao nível do discurso e culturalmente fundamentados, criando uma lacuna entre a adequação formal e o ressonância cultural nos Modelos de Linguagem (LLMs) multilíngues mais avançados (SOTA).

Metodologia
Este estudo introduz um benchmark em grande escala, anotado por humanos, projetado para avaliar a localização cultural em 7 LLMs multilíngues SOTA e 15 idiomas-alvo. O quadro de avaliação combina uma avaliação holística de texto completo com uma análise segmentada de nível fino.

• Dados e Escopo: O benchmark utiliza cinco e-mails de marketing comerciais autênticos (pré-2020) como textos fonte. Desses, foram selecionados 26 segmentos com nuances culturais por idioma, categorizados em quatro tipos: expressões idiomáticas, trocadilhos, referências a feriados e conceitos culturalmente embutidos (por exemplo, "koozies", "zero-waste").
• Modelos Avaliados: Sete modelos foram testados, incluindo sistemas de pesos fechados (GPT-5, Claude Sonnet 4, Mistral Medium 3.1, DeepSeek V3.1) e sistemas de pesos abertos (gpt-oss 120B, Llama 4, Cohere Aya Expanse 8B).
• Participantes: 75 falantes nativos (5 por idioma) em 15 localidades (incluindo africâner, árabe, português do Brasil, cantonês, tcheco, holandês, hebraico, hindi, japonês, coreano, mandarim, russo, espanhol, suaíli e urdu) avaliaram as traduções.
• Protocolo de Avaliação: Os avaliadores pontuaram as traduções em uma escala ordinal de 0 a 3 (0 = falhas graves, 3 = muito bom/quase perfeito) tanto para a qualidade do texto completo (conteúdo, estilo, adequação ao público) quanto para a qualidade de segmentos específicos. Uma opção "Não Aplicável" (NA) estava disponível para segmentos deixados sem tradução.
• Análise Estatística: As classificações ao nível de segmento foram analisadas usando Modelos Mistos de Link Cumulativo (CLMM) com links logit para contabilizar resultados ordinais. Os efeitos fixos incluíram modelo, idioma e categoria de segmento, com interceptos aleatórios para anotadores e segmentos. A confiabilidade interavaliador (IRR) foi medida usando o $\alpha$ de Krippendorff e o AC2 de Gwet.

Principais Resultados

• Desempenho Geral: A qualidade média geral da tradução em todos os modelos e idiomas foi modesta (1,68/3). Um grupo de elite de modelos — GPT-5 (2,10), Claude Sonnet 4 (1,97) e Mistral Medium 3.1 (1,84) — demonstrou menos falhas catastróficas em comparação com os demais. O Cohere Aya Expanse 8B teve desempenho significativamente pior (1,09) em todas as métricas.
• Disparidades ao Nível de Segmento: Existe uma divergência acentuada entre a cobertura da tradução e a qualidade com base no tipo de conteúdo.
  • Feriados (2,20/3) e Conceitos Culturais (2,19/3) receberam as pontuações de qualidade mais altas.
  • Expressões Idiomáticas (1,65/3) e Trocadilhos (1,45/3) tiveram desempenho substancialmente pior.
  • A linguagem figurativa (expressões idiomáticas e trocadilhos) foi a mais propensa a ser deixada sem tradução (avaliada como NA), particularmente por modelos de menor desempenho.
• Efeitos de Modelo e Idioma: Embora a escolha do modelo tenha impactado significativamente a qualidade, nenhum modelo único alcançou consistentemente alto desempenho em todas as categorias. Efeitos de idioma estavam presentes, mas secundários à categoria de segmento; no entanto, o mandarim (Taiwan) recebeu classificações significativamente mais altas do que vários outros idiomas. A ortografia não foi encontrada como um preditor independente de qualidade uma vez que o idioma e a categoria foram controlados.
• Confiabilidade: A confiabilidade interavaliador foi moderada no geral ($\alpha = 0,45$), com menor concordância para trocadilhos ($\alpha = 0,31$) e feriados, indicando maior subjetividade na avaliação da linguagem figurativa.

Contribuições

1. Um Novo Benchmark: Os autores apresentam o "Fromage", um benchmark multilíngue, anotado por humanos, focado explicitamente em nuances culturais na tradução, combinando avaliação holística e ao nível de segmento. Todos os materiais estão disponíveis publicamente.
2. Análise Empírica de Modos de Falha: O estudo fornece evidências em grande escala de que a qualidade da localização cultural diverge acentuadamente da precisão gramatical, identificando a linguagem figurativa como um modo de falha persistente em modelos e idiomas.
3. Evidência de Variação Sistemática: A pesquisa documenta diferenças consistentes de desempenho entre modelos, idiomas e tipos de conteúdo, destacando que o dimensionamento e o refinamento arquitetural, por si só, não resolvem as limitações culturais e pragmáticas.

Significado e Alegações
O artigo alega ser o primeiro benchmark multilíngue, anotado por humanos, focado explicitamente em nuances culturais na tradução e localização. Os autores argumentam que suas descobertas demonstram uma lacuna persistente entre a adequação gramatical e a ressonância cultural, mesmo nos LLMs multilíngues mais fortes atuais.

O estudo postula que os benchmarks de TA existentes são insuficientes para tarefas de localização do mundo real (por exemplo, marketing, atendimento ao cliente) porque ignoram a competência pragmática. Os resultados sugerem que a disponibilidade e a qualidade de dados de treinamento situados culturalmente, em vez da complexidade do script ou do tamanho do modelo apenas, são prováveis impulsionadores das disparidades observadas. Os autores concluem que os paradigmas de avaliação devem mudar para quadros que apoiem o benchmarking sistemático da tradução culturalmente fundamentada para garantir a eficácia comunicativa no mundo real. Eles enfatizam que, embora muitas traduções pareçam superficialmente plausíveis, a avaliação ao nível de segmento expõe falhas sistemáticas que permanecem invisíveis para as métricas padrão.