Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models

Dentro de las mentes digitales de la inteligencia artificial moderna, existe un vasto e invisible paisaje donde las palabras y las ideas se almacenan no como definiciones, sino como puntos en el espacio. Los investigadores llaman a estos puntos "representaciones". Cuando una computadora lee una oración, traduce el texto en una larga lista de números que describen el significado de esa oración en relación con todo lo demás que sabe. Si dos ideas son muy similares, sus puntos en este espacio se sitúan cerca; si son diferentes, se sitúan lejos. Durante años, los científicos han sabido que estas máquinas pueden mover información entre idiomas, traduciendo un pensamiento del inglés al japonés o al español sin perder su forma esencial. Pero una pregunta persistente permanece: ¿trata la máquina una idea culturalmente única de la misma manera que trata una estándar? ¿Deja el sabor específico de una cultura, con sus reglas sociales y valores únicos, una marca distintiva en la forma en que la máquina "ve" las palabras, o simplemente la máquina suaviza esas diferencias?

Esta pregunta impulsó un estudio reciente que analizó el interior de dos modelos de inteligencia artificial populares para ver cómo manejan veinte conceptos japoneses específicos que están profundamente arraigados en su cultura. Estos no son solo palabras ordinarias; son términos como giri, que describe un profundo sentido del deber social, o wa, que se refiere a la armonía de un grupo. Los investigadores querían saber si el mapa interno de la máquina de estas ideas se veía diferente cuando el concepto se presentaba en su japonés nativo en comparación con cuando se describía en inglés o español. No estaban preguntando si la máquina podía traducir las palabras correctamente, sino cómo cambiaba la distancia entre las ideas a medida que la información viajaba a través de las diferentes capas del cerebro de la computadora.

Para encontrar la respuesta, los investigadores configuraron un experimento cuidadoso utilizando dos modelos de IA diferentes, uno ligeramente más grande que el otro. Tomaron veinte de estos conceptos japoneses culturalmente específicos y crearon cuatro versiones diferentes de un prompt para cada uno. La primera fue la oración original en japonés. La segunda fue una traducción directa, palabra por palabra, al inglés de esa oración japonesa. La tercera fue una traducción al español de la base estándar en inglés. La cuarta fue una versión alterada del texto japonés, donde el orden del código interno de la computadora fue desordenado para romper el significado manteniendo las mismas letras y sonidos. Al alimentar estos cuatro versos a los modelos, el equipo pudo medir qué tan lejos estaban los puntos internos resultantes de una base estándar en inglés. Midieron esta distancia en cada paso, o "capa", del procesamiento del modelo, desde el primer momento en que se lee el texto hasta el momento final antes de que se genere una respuesta.

Los resultados revelaron un patrón que fue sorprendentemente consistente en todos los casos, independientemente del idioma o del concepto específico. A medida que la información se movía a través de las capas de los modelos, la distancia entre las ideas no simplemente se hacía más pequeña o más grande en una línea recta. En cambio, seguía una curva. La distancia comenzaba alta, caía a un punto bajo muy temprano en el proceso, y luego comenzaba a subir de nuevo a medida que la información se movía hacia el final. Este "descenso y ascenso" ocurrió para los prompts en japonés, los prompts en español, las traducciones literales al inglés e incluso el texto japonés alterado. El hecho de que el texto alterado, que no tenía un significado real, mostrara el mismo patrón sugiere que este comportamiento es una propiedad fundamental de cómo estos modelos procesan cualquier secuencia de tokens, en lugar de una firma especial de profundidad cultural.

Sin embargo, cuando los investigadores se centraron en una sección media específica de las capas del modelo, surgió una diferencia clara. En este rango, los prompts en japonés que contenían los conceptos culturalmente específicos estaban consistentemente más alejados de la base en inglés que las otras versiones. Ya fuera comparando el japonés con el inglés literal o el japonés con el español, las ideas japonesas ocupaban una posición más distante en el espacio interno de la máquina. La diferencia era mensurable y significativa, con los conceptos japoneses situándose notablemente más lejos que sus contrapartes. Esto se mantuvo para los veinte conceptos en ambos modelos probados. Los datos mostraron que la máquina no trataba estas ideas culturalmente ricas como idénticas a sus descripciones en inglés; las mantenía a una distancia distinta, sugiriendo que el encuadre cultural o la estructura lingüística específica de la entrada en japonés dejó una marca duradera en la representación.

A pesar de esta clara distancia, el estudio se detiene antes de declarar que la máquina no comprende la cultura o que no puede traducir el significado. Los investigadores fueron cuidadosos al notar que los prompts en japonés diferían de los de inglés no solo en cultura, sino también en lenguaje, estructura de la oración y los motivos específicos descritos en el texto. Debido a que tantos factores cambiaron a la vez, es imposible decir con certeza si la distancia adicional fue causada únicamente por la singularidad cultural de las palabras. Podría ser tan fácilmente el resultado del lenguaje mismo o de la forma en que se construyeron las oraciones. Además, el hecho de que el texto alterado también mostrara el descenso temprano y el ascenso posterior significa que el patrón no monotónico no es una huella digital única de significado cultural.

El estudio concluye que, si bien estos modelos muestran diferencias dependientes de la capa en cómo representan conceptos japoneses culturalmente específicos, las razones de esas diferencias siguen siendo una mezcla de lenguaje, estructura y cultura que no puede separarse completamente con este experimento por sí solo. La máquina no simplemente aplana todos los matices culturales en un solo punto; mantiene una distancia mensurable para estas ideas específicas. Sin embargo, esta distancia no prueba que la máquina haya perdido el significado o que esté luchando con la cultura. Simplemente muestra que la geometría interna de estos modelos es compleja y sensible a la forma específica en que se encuadra un concepto. Los hallazgos ofrecen un mapa preciso de dónde se sitúan estas ideas en la mente de la máquina, pero dejan la pregunta más profunda de por qué se sitúan allí, y qué significa realmente esa distancia para la comprensión humana, como una invitación abierta para la investigación futura.