Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models
这项探索性研究揭示了在两个 Transformer 模型中，具有特定文化属性的日语概念呈现出一种非单调、依赖于层级的模式，即相对于英语基准的表征距离逐渐增加，尽管由于提示词设计中的混杂变量，研究结果未能将文化不对称性确定为独立的诱因。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的数字大脑内部，存在着一个广阔而无形的景观，在那里，词汇和思想并非以定义的形式存储，而是作为空间中的点而存在。研究人员将这些点称为“表示”（representations）。当计算机阅读一个句子时，它会将文本转化为一长串数字，用以描述该句子的含义相对于它所知晓的一切事物的关系。如果两个想法非常相似，它们在空间中的位置就会靠得很近；如果它们不同，则会相距较远。多年来，科学家们已经知道这些机器可以实现信息在不同语言之间的迁移，将一个想法从英语翻译成日语或西班牙语，而不丢失其核心形态。但一个悬而未决的问题仍然存在：机器对待一个具有文化独特性的概念的方式，是否与对待一个标准概念的方式相同？文化的特定风味——其独特的社会规则和价值观——是否会在机器“看待”这些词汇的方式上留下独特的印记，还是说机器仅仅将这些差异抹平了？
这个问题驱动了一项最近的研究，该研究通过观察两个流行的人工智能模型，来观察它们如何处理二十个深深植根于日本文化的特定概念。这些不仅仅是普通的词汇；它们是像“义理”（giri，描述一种深层的社会责任感）或“和”（wa，指代群体的和谐）这样的术语。研究人员想要知道，当这些概念以其母语日语呈现时，与以英语或西班牙语进行描述时相比，机器内部的思想地图是否发生了变化。他们并不是在询问机器能否正确翻译这些词汇，而是想了解随着信息在计算机大脑的不同层级间传递，这些想法之间的距离是如何变化的。
为了找到答案，研究人员使用两个不同的 AI 模型（其中一个比另一个稍大）设计了一个精密的实验。他们选取了二十个这类具有文化特性的日本概念，并为每个概念创建了四个不同版本的提示词。第一个是原始的日语句子。第二个是对该日语句子的直接、逐词的英语翻译。第三个是基于标准英语基准的西班牙语翻译。第四个是日语文本的乱序版本，通过打乱计算机内部代码的顺序来破坏其含义，同时保留相同的字母和声音。通过将这四个版本输入模型，团队可以测量生成的内部点距离标准英语基准有多远。他们在模型处理的每一个步骤，即每一个“层级”（layer）都测量了这种距离，从文本被读取的第一刻到生成答案前的最后一刻。
结果揭示了一个无论语言或具体概念如何，都表现得异常一致的模式。随着信息在模型的层级中移动，想法之间的距离并非简单地呈线性缩小或扩大。相反，它遵循一条曲线。距离从高处开始，在过程的极早期下降到一个低点，然后随着信息向末端移动而再次上升。这种“先降后升”的现象出现在日语提示词、西班牙语提示词、字面英语翻译，甚至包括乱序的日语文本中。由于乱序文本本身没有实际意义，却展现出了相同的模式，这表明这种行为是这些模型处理任何 token 序列的一种基本属性，而非文化深度的特殊签名。
然而，当研究人员关注模型层级的特定中间部分时，一个明显的差异出现了。在这一范围内，包含这些文化特定概念的日语提示词，始终比其他版本的提示词距离英语基准更远。无论是将日语与字面英语对比，还是将日语与西班牙语对比，这些日本概念所占据的位置都更为遥远。这种差异是可测量且显著的，日本概念明显位于更外围的位置。这在所测试的所有二十个概念及两个模型中均成立。数据表明，机器并未将这些具有文化底蕴的思想视为与其英语描述完全等同的东西；它保持了一个明显的距离，这表明日语输入的文化框架或特定的语言结构在表示上留下了持久的印记。
尽管存在这种明显的距离，但该研究并未断言机器无法理解文化或无法翻译含义。研究人员谨慎地指出，日语提示词与英语提示词的区别不仅在于文化，还在于语言、句子结构以及文本中所描述的具体动机。由于有许多因素同时发生了变化，目前无法确定这种额外的距离是否完全是由文化的独特性引起的。同样，由于乱序文本也表现出了早期的下降和后期的上升，这意味着非单调模式并不是文化意义的独特指纹。
研究结论认为，虽然这些模型在如何表示具有文化特性的日本概念方面表现出依赖于层级的差异，但造成这些差异的原因仍是语言、结构和文化交织在一起的，仅凭本次实验无法将其完全分离。机器并未简单地将所有文化细微差别扁平化为一个点；它为这些特定想法保持了一个可测量的距离。然而，这种距离并不证明机器失去了含义，也不代表它正在挣扎于理解文化。它仅仅表明，这些模型的内部几何结构是复杂且对概念呈现方式高度敏感的。这些发现为这些想法在机器思维中处于何处提供了一张精确的地图，但对于为什么它们会处于那里，以及这种距离对人类理解究竟意味着什么，则留下了对未来研究的开放性邀请。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。