Seeing Through Words: Recovering Visual Information from Chinese Word Use
本研究表明，可以从中文词汇的使用模式中恢复视觉信息，通过展示文本衍生的表征能够成功预测视觉原型，且这种准确性受到感觉运动联结和词汇使用稳定性的影响，从而支持了符号相互依赖假说。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
语言通常被认为是一个声音和符号的系统，一种描述世界而不一定接触世界的方式。然而，几十年来，研究人员一直在思考，词语本身是否携带了关于那个世界的隐藏地图。一个著名的观点，被称为“符号相互依赖假设”（Symbol Interdependency Hypothesis），认为由于我们使用语言来谈论真实的事物，因此词语出现的模式必然编码了关于这些事物看起来如何、感觉如何以及行为如何的信息。如果这是真的，那么我们在句子中使用一个词的方式，应该包含足以重建其意义之心理图像的线索，即使从未见过该物体的照片。这个问题处于语言学和认知科学的交汇点，探究语言的抽象结构是否可以作为通往我们物理世界感官体验的桥梁。
香港城市大学的一个研究小组致力于通过针对中文的研究来测试这一想法。他们提出了一个简单但困难的问题：如果你只给计算机中文词汇在数百万个句子中使用的文本，那台计算机能否弄清楚这个词长什么样？为了找到答案，他们并没有依赖人类的直觉或预设的规则。相反，他们构建了一个能够从数据本身进行学习的系统。他们收集了超过2500个常用中文词汇，并分析了它们在网络文本中留下的庞大数字足迹。对于每个词，研究人员还收集了一组独特的网络图像，创建了一个代表该词在现实世界中典型外观的视觉原型。
他们实验的核心是一场匹配游戏。研究人员训练了一个计算机模型，利用列表中的大部分词汇来学习文本与图像之间的关系。然后，他们一次隐藏一个词，并要求模型仅根据它从其他词汇中学到的文本模式来预测该词的视觉外观。模型会生成一个预测，然后研究人员会检查该预测是否能成功地从包含数千张其他图像的库中选出正确的图像。这是一个严谨的测试，旨在验证一个词的语言描述是否持有足够具体的细节，以将其视觉目标从所有其他可能性中区分出来。
结果非常明确且强有力。该模型能够显著优于随机概率地识别出正确的视觉目标。当计算机必须从2571个候选对象中选择正确的图像时，它的成功率远高于仅仅基于词语的一般类别（例如它是名词还是动词）进行猜测的情况。更令人印象深刻的是，即使竞争变得更加激烈，该系统仍然可以区分出正确的图像：即模型必须在与目标词在意义和用法上都非常相似的二十个词之间进行选择。这表明语言使用的模式包含了超越宽泛类别的细粒度视觉外观细节。
然而，这项研究也揭示了这种“透过文字看世界”的能力并非对每个词都一样。研究人员发现，预测的成功很大程度上取决于该词所描述的经验性质。与视觉体验联系紧密的词汇最容易被恢复。有趣的是，与嗅觉相关的词汇也显示出与视觉恢复的强关联，这表明对气味的描述往往指向特定的、可见的物体。相比之下，与内在身体感受（如饥饿或疼痛）相关的词汇在视觉定位上则较为困难。数据呈现出一种负相关关系，这意味着一个词与内在感觉的联系越紧密，仅凭文本揭示清晰、具体图像的可能性就越低。
词汇使用的连贯性也起到了关键作用。当一个词在许多不同的语境和情境中被使用时，视觉预测就会变得更弱。这在直觉上是合理的：如果一个词被用来描述各种各样的场景，那么文本就会变成不同图像的模糊混合，从而难以分离出一个单一的视觉原型。相反，当一个词相关的图像在不同样本中保持稳定和一致时，基于文本的预测就会变得更加精准。研究还发现，一个词的视觉清晰度与其图像表示的稳定性有关；具有更可靠视觉总结的词汇更容易从文本中恢复。
这些发现为语言如何连接世界提供了细致入微的视角。它们证实了语言关系确实提供了获取感知信息的途径，支持了我们的词汇深深植根于感官体验这一观点。但它们也表明，这种获取并非均匀分布；它取决于词汇所唤起的经验类型，以及该词被使用和描绘的一致性程度。研究表明，虽然语言可以作为通往视觉世界的一扇窗户，但透过这扇窗户看到的景象对于我们所见和所闻的事物，以及对于以稳定、一致方式描述它们的事物而言，是最清晰的。对于内在的感觉或高度多样化的用途，这扇窗户则显得更加模糊，这提醒我们，词语与图像之间的桥梁是由我们日常生活中具体且反复出现的模式所构建的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。