An Investigation of Translationese in the Generations of Multilingual Large Language Models

Quando uma pessoa fala ou escreve em uma língua que não é sua língua materna, suas palavras frequentemente carregam uma impressão digital sutil e invisível. Elas podem usar estruturas de frases que parecem ligeiramente rígidas, escolher palavras que são tecnicamente corretas, mas raramente usadas por nativos, ou organizar frases de uma forma que denuncia a influência de sua primeira língua. Os linguistas chamam esse fenômeno de "translationese" (tradutês). É o eco persistente da língua original, visível mesmo quando o texto foi traduzido com sucesso. Por décadas, esse conceito foi estudado na tradução humana, onde estudiosos analisam como o ato de traduzir altera a textura de uma língua. Hoje, porém, uma nova questão surgiu no campo da inteligência artificial. Os grandes modelos de linguagem, os poderosos sistemas computacionais que podem escrever fluentemente em dezenas de línguas, estão se tornando cada vez mais comuns. Embora essas máquinas possam produzir textos que parecem perfeitos na superfície, pesquisadores começam a se perguntar se elas estão realmente pensando na língua em que estão escrevendo, ou se estão secretamente traduzindo tudo de uma língua interna dominante, provavelmente o inglês, antes de gerar o resultado final. Se estiverem fazendo isso, seu conteúdo carregaria as mesmas impressões digitais ocultas de tradução que os tradutores humanos deixam para trás.

Uma equipe de pesquisadores partiu para investigar essa possibilidade, tratando o texto gerado por esses modelos de inteligência artificial como se fosse uma tradução. Eles queriam saber se as máquinas estavam produzindo textos que soavam como se tivessem sido traduzidos, mesmo quando eram solicitadas a escrever diretamente em um idioma específico. Para fazer isso, reuniram amostras de texto em cinco línguas diferentes: inglês, alemão, espanhol, grego e pashto. Eles criaram uma vasta coleção de escritos que incluía três tipos distintos: texto escrito naturalmente por falantes nativos, texto que foi genuinamente traduzido por humanos e texto gerado por dois dos modelos de IA mais avançados disponíveis. Eles também incluíram um quarto tipo, onde a IA escreveu em inglês e um programa de computador separado traduziu para a língua alvo, para ver como isso se comparava à IA escrevendo diretamente na língua alvo. Os pesquisadores então utilizaram um sofisticado programa de computador treinado para reconhecer os padrões específicos do translationese. Esse programa havia sido ensinado com milhares de exemplos de escrita humana e de traduções humanas, aprendendo a detectar as sutis diferenças estatísticas que separam um falante nativo de um tradutor.

Os resultados revelaram um padrão claro. Quando os modelos de IA escreviam em inglês, seus textos raramente eram marcados como traduzidos, sugerindo que operavam naturalmente em sua língua dominante. No entanto, assim que os modelos mudavam para outras línguas, a história mudava. Em alemão e espanhol, o texto gerado pela IA mostrava fortes sinais de translationese. O programa de computador identificou uma parte significativa do texto em alemão e uma grande quantidade do texto em espanhol como tendo os marcadores distintos de tradução. Isso sugere que, mesmo quando os modelos são instruídos a escrever diretamente nesses idiomas, eles podem estar dependendo de um processo interno que se assemelha à tradução, talvez pensando em inglês primeiro e depois convertendo as ideias. O efeito era ainda mais pronunciado quando os pesquisadores observavam as palavras específicas que os modelos escolhiam. Eles descobriram que a IA tendia a evitar os erros mais óbvios e desajeitados que os humanos poderiam cometer, mas ainda assim tinha dificuldades com a distribuição sutil de palavras comuns. Por exemplo, no alemão, os modelos usavam certas palavras de ligação comuns em padrões que correspondiam ao texto traduzido em vez da fala nativa, enquanto no espanhol, usavam artigos como "o/a" com muito menos frequência do que um falante nativo usaria.

Curiosamente, o grau desse efeito de "tradução" dependia fortemente da própria língua. Os modelos tiveram um desempenho melhor em grego e pashto, duas línguas com menos recursos digitais disponíveis para treinamento, do que em alemão e espanhol. Nessas línguas de menores recursos, o texto gerado pela IA era menos propenvo a ser marcado como traduzido. Os pesquisadores sugerem que isso pode ocorrer porque os dados de treinamento para alemão e espanhol contêm uma vasta quantidade de material traduzido existente, o qual os modelos simplesmente mimetizam. Em contraste, os dados de treinamento para grego e pashto podem conter menos conteúdo traduzido, forçando os modelos a depender mais das estruturas nativas disponíveis para eles. A equipe também pediu que leitores humanos julgassem uma pequena amostra do texto. Surpreendentemente, os humanos eram frequentemente incapazes de detectar o translationese que o programa de computador encontrava com tanta facilidade. Os humanos notavam principalmente escolhas de palavras estranhas ou combinações peculiares, enquanto o computador detectava as mudanças estatísticas mais profundas na forma como as palavras eram organizadas. Isso indica que, embora a IA possa estar escondendo os erros mais óbvios, a estrutura subjacente de sua escrita ainda denuncia uma falta de fluência nativa.

O estudo conclui que esses poderosos modelos de linguagem ainda não geram texto de uma forma verdadeiramente nativa para línguas que não o inglês. Em vez disso, seu conteúdo frequentemente carrega a assinatura oculta da tradução, sugerindo que seu processamento interno ainda está ancorado no inglês. Isso não significa que os modelos estejam falhando; eles são frequentemente altamente eficazes e úteis. No entanto, isso revela uma limitação fundamental em como eles aprendem e operam. Eles parecem estar dominando o nível superficial de muitas línguas, enquanto ainda dependem de uma estrutura central baseada no inglês para o seu raciocínio. Os pesquisadores observam que essa descoberta ajuda a explicar por que esses modelos às vezes têm dificuldade com nuances culturais ou com o fluxo natural de uma língua que não seja o inglês. Ao identificar essas impressões digitais ocultas, o estudo oferece uma nova maneira de medir a verdadeira qualidade do texto gerado por máquina, indo além da simples correção para avaliar a naturalidade genuína da voz que a máquina tenta emular.