Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models

À l'intérieur des esprits numériques de l'intelligence artificielle moderne, il existe un vaste paysage invisible où les mots et les idées ne sont pas stockés sous forme de définitions, mais comme des points dans l'espace. Les chercheurs appellent ces points des « représentations ». Lorsqu'un ordinateur lit une phrase, il traduit le texte en une longue liste de nombres qui décrivent la signification de cette phrase par rapport à tout ce qu'il sait déjà. Si deux idées sont très similaires, leurs points dans cet espace sont proches les uns des autres ; si elles sont différentes, ils sont éloignés. Depuis des années, les scientifiques savent que ces machines peuvent déplacer l'information entre les langues, traduisant une pensée de l'anglais vers le japonais ou l'espagnol sans en perdre la forme fondamentale. Mais une question persistante demeure : la machine traite-t-elle une idée culturellement unique de la même manière qu'une idée standard ? Est-ce que la saveur spécifique d'une culture, avec ses règles sociales et ses valeurs uniques, laisse une marque distincte sur la façon dont la machine « voit » les mots, ou est-ce que la machine se contente de lisser ces différences ?

Cette question a motivé une étude récente qui a examiné l'intérieur de deux modèles d'intelligence artificielle populaires pour voir comment ils gèrent vingt concepts japonais spécifiques, profondément ancrés dans leur culture. Il ne s'agit pas de mots ordinaires ; ce sont des termes comme giri, qui décrit un profond sens du devoir social, ou wa, qui fait référence à l'harmonie d'un groupe. Les chercheurs voulaient savoir si la carte interne de ces idées par la machine semblait différente lorsque le concept était présenté dans sa langue maternelle, le japonais, comparé au fait qu'il soit décrit en anglais ou en espagnol. Ils ne demandaient pas si la machine pouvait traduire les mots correctement, mais plutôt comment la distance entre les idées changeait à mesure que l'information voyageait à travers les différentes couches du cerveau informatique.

Pour trouver la réponse, les chercheurs ont mis en place une expérience minutieuse utilisant deux modèles d'IA différents, l'un légèrement plus grand que l'autre. Ils ont pris vingt de ces concepts japonais culturellement spécifiques et ont créé quatre versions différentes d'une incitation (prompt) pour chacun d'eux. La première était la phrase originale en japonais. La deuxième était une traduction directe, mot à mot, en anglais de cette phrase japonaise. La troisième était une traduction en espagnol de la base de référence anglaise standard. La quatrième était une version brouillée du texte japonais, où l'ordre du code interne de l'ordinateur était mélangé pour briser le sens tout en conservant les mêmes lettres et sons. En injectant ces quatre versions dans les modèles, l'équipe a pu mesurer à quel point les points internes résultants étaient éloignés d'une base de référence anglaise standard. Ils ont mesuré cette distance à chaque étape, ou « couche », du processus de traitement du modèle, du premier instant où le texte est lu jusqu'au moment final avant la génération d'une réponse.

Les résultats ont révélé un motif étonnamment cohérent, quels que soient la langue ou le concept spécifique. À mesure que l'information progressait à travers les couches des modèles, la distance entre les idées ne diminuait pas ou n'augmentait pas simplement de manière linéaire. Au lieu de cela, elle suivait une courbe. La distance commençait haut, chutait vers un point bas très tôt dans le processus, puis remontait à nouveau à mesure que l'information se déplaçait vers la fin. Ce « creux et remontée » se produisait pour les incitations japonaises, les incitations espagnoles, les traductions anglaises littérales et même pour le texte japonais brouillé. Le fait que le texte brouillé, qui n'avait aucun sens réel, présentait le même motif suggère que ce comportement est une propriété fondamentale de la façon dont ces modèles traitent toute séquence de jetons (tokens), plutôt qu'une signature spéciale de la profondeur culturelle.

Cependant, lorsque les chercheurs se sont concentrés sur une section spécifique des couches intermédiaires du modèle, une différence claire est apparue. Dans cette plage, les incitations japonaises contenant les concepts culturellement spécifiques étaient systématiquement plus éloignées de la base de référence anglaise que les autres versions. Qu'il s'agisse d'une comparaison entre le japonais et l'anglais littéral ou entre le japonais et l'espagnol, les idées japonaises occupaient une position plus distante dans l'espace interne de la machine. La différence était mesurable et significative, les concepts japonais se situant nettement plus loin que leurs homologues. Cela s'est avéré vrai pour les vingt concepts dans les deux modèles testés. Les données ont montré que la machine ne traitait pas ces idées culturellement riches comme étant identiques à leurs descriptions anglaises ; elle les maintenait à une distance distincte, suggérant que le cadrage culturel ou la structure linguistique spécifique de l'entrée japonaise laissait une marque durable sur la représentation.

Malgré cette distance claire, l'étude s'arrête avant de déclarer que la machine ne comprend pas la culture ou qu'elle ne peut pas traduire le sens. Les chercheurs ont pris soin de noter que les incitations japonaises différaient des incitations anglaises non seulement par la culture, mais aussi par la langue, la structure des phrases et les motivations spécifiques décrites dans le texte. Comme de nombreux facteurs changeaient simultanément, il est impossible de dire avec certitude si la distance supplémentaire était causée uniquement par l'unicité culturelle des mots. Cela pourrait tout aussi bien être le résultat de la langue elle-même ou de la manière dont les phrases étaient construites. De plus, le fait que le texte brouillé présente également le creux initial suivi de la remontée signifie que le motif non monotone n'est pas une empreinte digitale unique de la signification culturelle.

L'étude conclut que, bien que ces modèles présentent des différences dépendantes des couches dans la façon dont ils représentent les concepts japonais culturellement spécifiques, les raisons de ces différences restent un mélange de langue, de structure et de culture qui ne peut être pleinement séparé avec cette seule expérience. La machine ne se contente pas d'aplatir toutes les nuances culturelles en un seul point ; elle maintient une distance mesurable pour ces idées spécifiques. Pourtant, cette distance ne prouve pas que la machine a perdu le sens ou qu'elle est en difficulté avec la culture. Elle montre simplement que la géométrie interne de ces modèles est complexe et sensible à la manière spécifique dont un concept est cadré. Les conclusions offrent une carte précise de l'endroit où ces idées se situent dans l'esprit de la machine, mais elles laissent la question plus profonde de savoir pourquoi elles s'y trouvent, et ce que cette distance signifie réellement pour la compréhension humaine, comme une invitation ouverte pour de futures recherches.