Visual–semantic coherence of Chinese colour metaphor lexemes: What interpretable visual features reveal about multimodal meaning stability
本研究表明，中文色彩隐喻词汇的视觉-语义连贯性显著受可解释视觉特征（尤其是水平对称性和一致的视觉变异性）的预测，而非仅仅取决于中心图像倾向，这揭示了多模态意义的稳定性依赖于视觉模式在多样化数字实例化过程中的可识别性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字时代，词语很少孤立存在。当我们在线搜索一个术语时，迎接我们的往往不仅仅是文本，还有涌入眼帘的图像，我们的大脑会瞬间尝试将这些图像与词义进行匹配。这种语言与视觉的配对是我们理解世界的基本方式，但这种匹配并不总是完美的。有些词，如“苹果”或“山”，会唤起非常清晰、一致的画面；而另一些词，尤其是那些在复杂的文化或隐喻方式下使用的词，可能会召唤出看似毫无关联的混乱图像组合。研究人员早已知道，具体的物体比抽象的概念更容易被构思成图像，但一个新的问题出现了：当一个词确实具有视觉联系时，是什么让这种联系变得强或弱？是词本身的含义，还是我们在搜索它时所发现的图片特征？
一组研究人员通过考察在隐喻方式下使用的中文色彩词汇，试图回答这个问题。在中文中，像“红”或“黑”这样的色彩术语不仅仅是指光波长，它们还承载着沉重的文化分量。“红”可以象征革命或吉祥，而“黑”可能暗示非法或不正当。“红”构成了一个丰富的复合词网络，例如表示革命音乐的“红歌”，或表示非法贸易的“黑市”。研究人员想知道，在现代数字世界中，这些隐喻词是否拥有稳定的视觉身份。当你搜索这些词时出现的图像，是否真的符合这些词的含义，还是这种联系已经断裂？为了查明真相，他们构建了一个包含184个此类基于色彩的词汇的海量数据集。对于每个词，他们从一个主要的中文搜索引擎中收集了100张图像，并从大规模数字文本库中收集了100个该词在句子中的使用实例。
他们调查的核心是衡量一个词的视觉意义与文本意义的匹配程度。他们使用了一个经过训练、能够理解图像和语言的高级计算机系统，该系统可以分配一个分数，指示图像的“概念”与文本的“概念”之间的对齐程度。如果得分高，则说明该词具有稳定的视觉-语义联系；如果得分低，则说明图像与文本正在脱节。但研究人员并未止步于仅仅测量得分。他们想了解为什么有些词得分高，而有些词得分低。他们从图像本身提取了数十种具体的、可测量的属性——例如图像的对称性、图像集内色彩的变化程度、图像的繁杂或凌乱程度，以及视线自然被吸引到的位置。随后，他们询问这些视觉属性是否可以预测对齐得分。
结果揭示了关于数字时代意义是如何构建的一个令人惊讶的事实。研究人员发现，图像的视觉属性解释了词语与图片匹配程度的大部分差异。事实上，这些人类可解释的视觉特征比计算机模型自身的内部复杂数学表示更能解释这种联系。最强大的预测因子不是图像平均看起来是什么样的，而是它们的一致性。当一个词关联的图像共享一种可识别的视觉模式时（即使这种模式很简单），该词就能实现强有力的连接。例如，那些关联图像显示出高度水平对称性或平衡的视觉注意力分布的词，其文本与图像意义之间的联系往往要强得多。
相反，研究表明，缺乏视觉一致性是意义构建的主要障碍。当一个词对应的图像彼此之间差异巨大时——有的对称，有的混乱，有的明亮，有的黑暗——无论该词的定义多么清晰，它与视觉意义之间的联系都会削弱。这一发现挑战了“意义仅仅是脑海中一个固定画面”的旧观念。相反，它表明意义是一种动态的稳定性。一个词之所以能维系其视觉意义，并非因为每一张图像都完全相同，而是因为这组图像能唤起一种连贯且可识别的视觉体验。研究还排除了计算机模型自身的“黑箱”特征是这种稳定性最佳解释的观点；图像中简单、可观察的特征（如对称性和色彩平衡）讲述了一个更清晰的故事。
最终，这项工作为语言与视觉在现代世界中如何相互作用提供了一份具体的地图。它表明，为了让隐喻词在数字环境中保持稳定的意义，它们所吸引的图像必须具备视觉一致性。如果一个词周围的视觉世界变得过于混乱或不一致，即使文本保持不变，该词的意义也会开始破碎。研究人员证明，我们可以通过观察图像本身的基本构建模块来理解这种复杂的联系。在数字时代，一个词意义的稳定性，与其说取决于词的定义，不如说取决于它所栖身的视觉世界的和谐程度。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。