Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models

Dentro das mentes digitais da inteligência artificial moderna, existe uma vasta e invisível paisagem onde palavras e ideias são armazenadas não como definições, mas como pontos no espaço. Pesquisadores chamam esses pontos de "representações". Quando um computador lê uma frase, ele traduz o texto em uma longa lista de números que descrevem o significado daquela frase em relação a tudo o mais que ele conhece. Se duas ideias são muito semelhantes, seus pontos nesse espaço ficam próximos; se são diferentes, ficam distantes. Por anos, cientistas sabem que essas máquinas podem mover informações entre idiomas, traduzindo um pensamento do inglês para o japonês ou espanhol sem perder sua forma central. Mas uma questão persistente permanece: a máquina trata uma ideia culturalmente única da mesma forma que trata uma ideia padrão? O sabor específico de uma cultura, com suas regras sociais e valores únicos, deixa uma marca distinta na forma como a máquina "vê" as palavras, ou a máquina simplesmente suaviza essas diferenças?

Essa questão impulsionou um estudo recente que olhou dentro de dois modelos populares de inteligência artificial para ver como eles lidam com vinte conceitos japoneses específicos, profundamente enraizados em sua cultura. Estes não são apenas termos comuns; são termos como giri, que descreve um profundo senso de dever social, ou wa, que se refere à harmonia de um grupo. Os pesquisadores queriam saber se o mapa interno da máquina dessas ideias parecia diferente quando o conceito era apresentado em seu japonês nativo comparado a quando era descrito em inglês ou espanhol. Eles não estavam perguntando se a máquina conseguia traduzir as palavras corretamente, mas sim como a distância entre as ideias mudava conforme a informação viajava através das diferentes camadas do cérebro do computador.

Para encontrar a resposta, os pesquisadores montaram um experimento cuidadoso usando dois modelos de IA diferentes, um ligeiramente maior que o outro. Eles pegaram vinte desses conceitos japoneses culturalmente específicos e criaram quatro versões diferentes de um comando para cada um. A primeira era a frase original em japonês. A segunda era uma tradução direta, palavra por palavra, para o inglês daquela frase japonesa. A terceira era uma tradução para o espanhol da base padrão em inglês. A quarta era uma versão embaralhada do texto japonês, onde a ordem do código interno do computador era misturada para quebrar o sentido, mantendo as mesmas letras e sons. Ao alimentar esses quatro modelos com essas versões, a equipe pôde medir quão distantes os pontos internos resultantes estavam de uma base padrão em inglês. Eles mediram essa distância em cada passo, ou "camada", do processamento do modelo, desde o primeiro momento em que o texto foi lido até o momento final antes de uma resposta ser gerada.

Os resultados revelaram um padrão que era surpreendentemente consistente em todos os casos, independentemente do idioma ou do conceito específico. À medida que a informação passava pelas camadas dos modelos, a distância entre as ideias não diminuía ou aumentava simplesmente em uma linha reta. Em vez disso, ela seguia uma curva. A distância começava alta, caía para um ponto baixo muito cedo no processo e depois começava a subir novamente conforme a informação se movia em direção ao final. Esse "mergulho e ascensão" aconteceu para os comandos em japonês, os comandos em espanhol, as traduções literais para o inglês e até mesmo para o texto japonês embaralhado. O fato de o texto embaralhado, que não possuía significado real, apresentar o mesmo padrão sugere que esse comportamento é uma propriedade fundamental de como esses modelos processam qualquer sequência de tokens, em vez de uma assinatura especial de profundidade cultural.

No entanto, quando os pesquisadores focaram em uma seção específica de camadas intermediárias do modelo, uma diferença clara emergiu. Nesse intervalo, os comandos em japonês contendo os conceitos culturalmente específicos estavam consistentemente mais distantes da base em inglês do que as outras versões estavam. Quer comparando o japonês com o inglês literal ou o japonês com o espanhol, as ideias japonesas ocupavam uma posição mais distante no espaço interno da máquina. A diferença era mensurável e significativa, com os conceitos japoneses situando-se visivelmente mais longe. Isso se manteve para todos os vinte conceitos em ambos os modelos testados. Os dados mostraram que a máquina não tratava essas ideias culturalmente ricas como idênticas às suas descrições em inglês; ela as mantinha a uma distância distinta, sugerindo que o enquadramento cultural ou a estrutura linguística específica da entrada em japonês deixou uma marca duradoura na representação.

Apesar dessa clara distância, o estudo para antes de declarar que a máquina falha em entender a cultura ou que não consegue traduzir o significado. Os pesquisadores foram cuidadosos ao notar que os comandos em japonês diferiam dos comandos em inglês não apenas pela cultura, mas pela língua, estrutura de frase e pelos motivos específicos descritos no texto. Como tantos fatores mudaram ao mesmo tempo, é impossível dizer com certeza se a distância extra foi causada exclusivamente pela singularidade cultural das palavras. Poderia ser tão facilmente o resultado do próprio idioma ou da maneira como as frases foram construídas. Além disso, o fato de o texto embaralhado também ter mostrado o mergulho inicial e a ascensão posterior significa que o padrão não monotônico não é uma impressão digital única de significado cultural.

O estudo conclui que, embora esses modelos mostrem diferenças dependentes de camada na forma como representam conceitos japoneses culturalmente específicos, as razões para essas diferenças permanecem uma mistura de linguagem, estrutura e cultura que não pode ser totalmente separada apenas com este experimento. A máquina não simplesmente achata todas as nuances culturais em um único ponto; ela mantém uma distância mensurável para esses conceitos específicos. No entanto, essa distância não prova que a máquina perdeu o significado ou que está lutando com a cultura. Ela simplesmente mostra que a geometria interna desses modelos é complexa e sensível à maneira específica como um conceito é enquadrado. As descobertas oferecem um mapa preciso de onde essas ideias se situam na mente da máquina, mas deixam a questão mais profunda de por que elas se situam ali, e o que essa distância realmente significa para a compreensão humana, como um convite aberto para pesquisas futuras.