Analysis of Numerical Localisation in LLM Translations

Imagine que você está tentando enviar um cartão-postal para um amigo em outro país. Você escreve a data como "07/04/2024". Para você, é 4 de julho. Para o seu amigo no Reino Unido, é 7 de abril. Se você estiver enviando uma receita, uma transferência bancária ou uma fórmula científica, errar os números e as datas não é apenas um erro de digitação; é um desastre. Este é o mundo da localização. Enquanto a tradução é como trocar palavras (mudar "dog" para "Hund"), a localização é como mudar toda a roupa da informação para se ajustar à cultura local. É decidir se você vai usar um terno ou um smoking ou, neste caso, se vai usar uma vírgula ou um ponto para separar decimais.

Entram em cena os Modelos de Linguagem de Grande Escala (LLMs). Pense neles como robôs incrivelmente inteligentes e superrápidos que leram quase tudo na internet. Eles são ótimos para escrever histórias e traduzir frases, mas às vezes tropeçam quando se trata das regras rígidas de números e datas. Eles podem saber que "1,000" significa mil, mas podem esquecer que na Alemanha, esse mesmo número é escrito como "1.000". Este artigo mergulha em um canto específico da ciência da IA: será que esses cérebros robóticos conseguem não apenas traduzir palavras, mas também "vestir corretamente" números e datas para um novo país? É uma questão crucial porque, se uma IA errar a localização, ela pode transformar uma dose médica segura em uma perigosa ou um pequeno lucro em um prejuízo massivo.

A Grande Transformação dos Números

Neste estudo, uma pesquisadora chamada Patrizia Kaye colocou cinco modelos de IA à prova. Estes não eram modelos massivos, do tamanho de supercomputadores que custam milhões para rodar; em vez disso, ela escolheu cinco modelos menores, de "commodities", que poderiam rodar em hardware padrão, como um laptop gamer potente. Ela queria ver se esses modelos conseguiriam lidar com a tarefa complexa de traduzir textos de inglês para alemão (e vice-versa) enquanto acertavam os números, datas e horas exatamente de acordo com as regras locais.

Para fazer isso, ela montou um pequeno experimento. Ela pegou 700 frases contendo datas, horas e números de fontes do mundo real, como registros do Parlamento Europeu e documentos médicos. Em seguida, pediu aos modelos de IA que as traduzissem usando quatro "estratégias" ou métodos diferentes:

1. Tradução Direta: Apenas pedir à IA: "Traduza esta frase".
2. Aprendizado em Contexto (ICL - In-Context Learning): Dar à IA uma referência no prompt, como dizer: "Lembre-se, em alemão, usamos um ponto para milhares e uma vírgula para decimais".
3. Cadeia de Pensamento (CoT - Chain-of-Thought): Pedir à IA para "pensar em voz alta" e explicar seus passos antes de dar a resposta.
4. Pós-Edição: Deixar a IA traduzir primeiro e, depois, usar um script de computador separado para caçar os números e corrigi-los manualmente.

O Vencedor Surpresa

Os resultados foram um pouco inesperados. Em um estudo anterior sobre a tradução de números entre inglês e chinês, pesquisadores descobriram que o método de "Pós-Edição" (corrigir os números depois do fato) era o melhor. Mas quando Patrizia testou isso em inglês e alemão, a Pós-Edição foi, na verdade, a pior estratégia, muitas vezes pontuando abaixo de 30% de precisão. Parece que, quando a IA fica confusa, tentar corrigir os números depois só cria uma bagunça.

O método "Cadeia de Pensamento", onde a IA explica seu raciocínio, também não ajudou muito. Frequentemente, levava os modelos a darem respostas erradas enquanto tentavam parecer inteligentes sobre como chegaram lá.

O verdadeiro campeão acabou sendo o Aprendizado em Contexto. Quando a pesquisadora simplesmente adicionou algumas instruções claras ao prompt — dizendo à IA exatamente como formatar os números e as datas — os modelos tiveram um desempenho significativamente melhor. Para o modelo de melhor desempenho (Qwen3-4B-Instruct-2507), essa simples "referência" aumentou a precisão para 91,7% para números na direção de inglês para alemão, uma ligeira melhoria sobre os 92,2% alcançados pela tradução direta sozinha. O estudo descobriu que essa melhoria não foi apenas um palpite de sorte; testes estatísticos confirmaram que adicionar essas regras ao prompt fez uma diferença real e mensurável em comparação com outras estratégias.

E Quanto aos Cérebros Maiores?

Você pode pensar que um modelo de IA maior, com mais "poder cerebral" (parâmetros), sempre faria um trabalho melhor. No entanto, o artigo descobriu que tamanho nem sempre é sinônimo de sucesso. Os modelos testados variavam de 2 bilhões a 7 bilhões de parâmetros. Surpreendentemente, o modelo de 4 bilhões de parâmetros superou os modelos de 7 bilhões de parâmetros em muitos casos. Isso sugere que, para esta tarefa específica, ter as instruções certas é mais importante do que ter o maior cérebro.

O estudo também testou se dizer à IA exatamente qual versão do inglês ou do alemão usar (como "inglês britânico" vs. "alemão da Alemanha") ajudava. Isso ajudou um pouco, mas não tanto quanto simplesmente fornecer as regras de formatação no prompt.

A Conclusão

Este artigo sugere que, se você quer que uma IA lide com números e datas corretamente ao traduzir, não peça apenas para ela "dar o seu melhor". Não dependa que ela corrija seus próprios erros mais tarde e não a force a explicar seu pensamento. Em vez disso, forneça um conjunto claro de regras logo no início. Ao incorporar os princípios de localização diretamente na conversa, você pode transformar um robô confuso em um tradutor preciso. Embora os resultados sejam específicos para os modelos e pares de idiomas testados, o método oferece uma forma reproduzível de tornar as traduções de IA mais seguras e precisas para qualquer pessoa que lide com dinheiro, ciência ou cronogramas através das fronteiras.