🤖 AI

Lexical discovery in unknown environments orchestrated by Large Language Models

本文提出了神经符号词汇发现（NSLD）框架，在该框架中，基于大语言模型的智能体通过将新的“异类”词汇锚定到自然语言（通过语义嵌入的邻近性），自主地为未知的视觉实体开发并收敛出共享词汇，从而为自主探索任务实现部署前规划。

原作者： Rafael Sendra-Arranz, Iñaki Dellibarda Varela, Eduardo Rocon, Álvaro Gutiérrez, Manuel Cebrian

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Rafael Sendra-Arranz, Iñaki Dellibarda Varela, Eduardo Rocon, Álvaro Gutiérrez, Manuel Cebrian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一群探险家降落在一个没有任何事物被命名的星球上。那里没有地图，没有字典，也没有人类用来描述那些奇异发光岩石或漂浮生物的词汇。他们该如何彼此交流关于这些新事物的看法？这就是“符号落地”（symbol grounding）的谜题。简单来说，它是将一个虚构的声音或符号与你所能看到或触摸到的真实事物相连接的挑战，而不是仅仅将一个词链接到另一个词上。通常，机器人和人工智能通过阅读人类的书籍或观看人类的视频来学习，因此它们只知道人类已经命名的事物的名称。但当它们遇到全新的、在任何人类语言中都不存在的事物时，会发生什么呢？这篇论文深入探讨了这一谜团，探讨了一群人工智能智能体是否可以为未知事物发明属于它们自己的共享语言，并随后将其教给我们。

这项研究背后的研究人员拉斐尔·森德拉-阿兰斯（Rafael Sendra-Arranz）及其团队建立了一个数字实验，以观察一群人工智能机器人能否自行解决这个问题。他们创建了一个名为“神经符号词汇发现”（Neuro-Symbolic Lexical Discovery, NSLD）的框架。把它想象成一群机器人在探索一个奇异外星世界时玩的一场“传声筒”游戏。在这个世界里，机器人遇到了十种不同的视觉物体——比如奇怪的、有纹理的岩石或外星生物——这些物体经过专门设计，使其完全是全新的，因此人工智能无法仅凭其训练数据来猜测它们的名称。

这些机器人配备了一个特殊的“大脑”，结合了视觉系统（用于观察物体）、记忆库（用于存储名称）和语言模型（用于思考和交谈）。它们玩着这样一个游戏：一个机器人作为“说话者”，挑选一个物体并尝试给它起个名字。另一个机器人作为“听话者”，看到同一个物体，并且必须猜出那个名字。如果他们选择了相同的虚构词汇，就会获得一个置信度分数；如果他们选择了不同的词汇，则会失去分数并必须重新思考他们的选择。经过数百轮之后，机器人开始争论、达成一致，并最终为这十种奇异物体中的每一种都确定了一个单一的、共享的名称。

真正酷的地方在于，机器人不仅仅是就一个随机的声音达成一致。因为它们使用了一个聪明的视觉系统，它们的新名称是“锚定”在物体的实际外观上的。论文显示，机器人甚至可以根据物体外观的相似程度，将它们的新外星词汇与人类的英语单词联系起来。例如，如果一块新的外星岩石看起来有点像一块巨石，人工智能可能会将它的新外星词汇与英语单词“rock”（岩石）联系起来。这意味着机器人不仅仅是在制造胡言乱语；它们正在在它们的新发现与我们现有的语言之间搭建一座桥梁。

该团队在规模从仅有两个到二十个机器人不等的群体中进行了这些模拟，他们发现无论群体规模多大，机器人总能就共享词汇达成一致。然而，群体越大，达成一致所需的时间就越长。在最小的群体（两个机器人和三个物体）中，它们在大约16轮内就解决了问题。但在最大的群体（二十个机器人和十个物体）中，它们花费了近4600轮才达到完美的共识。研究人员还创建了数学公式，可以精确预测一个机器人群体达成一致所需的时间，这可以帮助工程师在任务启动前进行规划。

需要注意的是，整个故事都发生在计算机模拟之中。机器人并没有真正走在星球上，而那些“外星人”也只是计算机生成的图像。论文并不声称这在现实世界的机器人中是一个已解决的问题，但它表明这种方法在受控的数字环境中运作得非常好。作者认为，这是一个重要的进步，因为它表明人工智能可以学习为它从未见过的东西命名，而无需人类介入去教它们每一个单词。这是迈向未来的一步，届时我们的机器人探险家可以从深海或遥远卫星归来，并说：“我们发现了这个奇怪的东西，这就是我们对它的称呼。”

技术摘要：神经符号词汇发现 (Neuro-Symbolic Lexical Discovery, NSLD)

1. 问题陈述

本文探讨了在部署大型语言模型（LLM）智能体于真正未知环境（例如行星或深海探索）时面临的关键瓶颈。虽然 LLM 擅长自然语言交流，但它们缺乏将新符号锚定在没有任何人类语言名称的可观测参照物上的机制。现有方法要么产生语义模糊的标记，要么需要人类直接参与词汇构建。这造成了“符号接地问题”（Symbol Grounding Problem, SGP），即智能体无法在缺乏先验语言表征的情况下，对分布外（OOD）实体实现视觉接地，也无法将这些新的“外星”符号与已知的自然语言单词联系起来以报告发现。作者认为，为了实现机器人的有效部署，LLM 必须能够自主开发出一套针对无先验语言表征的、共享且有落地的词汇表。

2. 方法论：神经符号词汇发现 (NSLD) 框架

作者提出了 NSLD 框架，这是一个神经符号系统，其中一组基于 LLM 的智能体通过进行“接地指称博弈”（Grounding Referential Game）来使一套共享的外星词汇实现自组织。

2.1 智能体架构

每个智能体由三个集成组件组成：

感知（视觉）： 一个冻结的 CLIP 视觉编码器 (ViT-B/32)，负责将视觉输入投影到共享的 512 维嵌入空间中。该模块与推理引擎解耦，以确保对内部语义向量的透明访问。
记忆（落地词汇表）： 一个私有的 FAISS 向量索引，作为持久化的词汇记忆。它包含两个分区：
1. 静态感知基座： 约 3,000 个通过 CLIP 文本编码的英语名词/形容词，作为通往自然语言的桥梁。
2. 动态外星词汇索引： 每个智能体私有，存储与新创造的“外星”单词相关的 CLIP 图像嵌入。
推理（LLM）： 一个纯文本 LLM（实验中具体使用 gpt-oss:20b），负责决策、词汇选择和游戏策略。它通过受控的工具接口（例如 observe_environment、add_alien_word、check_confidence）与视觉和记忆模块进行交互。

2.2 接地指称博弈

该框架通过涉及“说话者”（Speaker）和“听者”（Hearer）的迭代轮次运行：

说话者阶段： 说话者观察一组 OOD 视觉参照物（合成的外星生物、岩石、人工制品），选择其中一个，并产生一个“外星单词”（一个源自固定音系的三音节字符串，确保与自然语言不重叠）。该单词通过将其与参照物的 CLIP 嵌入相关联来实现落地。
听者阶段： 听者观察相同的参照物（共同注意力），并必须从其自身的词汇表中选择一个单词来指代它。
反馈与更新：
- 成功： 如果单词匹配，两个智能体都会增加该单词的置信度分数（+0.25）。
- 失败： 如果单词不同，置信度会降低（-0.20）。智能体随后利用这些置信度分数来决定是保留自己的单词还是采用对方的单词，并据此更新其 FAISS 索引。

2.3 实验设置

数据集： 使用 Nano Banana Pro 生成的 10 个合成 OOD 视觉参照物，这些参照物被设计为对 CLIP 和 LLM 训练语料库而言是不可识别的。
规模： 模拟实验中的智能体数量 ( $n_a$ ) 范围为 2 到 20，实体数量 ( $n_e$ ) 范围为 3 到 10。
约束： 外星单词受到严格的音系限制，以防止预训练语言捷径的使用。

3. 关键结果

3.1 词汇收敛

系统在所有测试配置下均能可靠地实现共识。

动态过程： 早期轮次显示出高度的发散性，存在许多独特的、瞬态的单词。随着时间的推移，一种“胜者全得”的动态机制显现，最终为每个参照物产生一个唯一的共享外星单词。
性能： 在 5 个智能体、5 个参照物的场景下，大约在 165 轮后达到了共识（定义为 $G \ge 0.95$ ）。
扩展性： 收敛时间 ( $T_{0.95}$ ) 随人口规模和实体数量呈单调增长。最快的配置（ $n_a=2, n_e=3$ ）在 $16 \pm 9$ 轮内收敛，而最慢的配置（ $n_a=20, n_e=10$ ）则需要 $4572 \pm 472$ 轮。

3.2 语义接地与人机对齐

至关重要的是，发现的外星单词并非语义孤立的。由于它们锚定在 CLIP 嵌入空间中，因此继承了与静态英语感知基座的语义接近性。

可解释性： 每个外星单词都根据向量接近度与连贯的英语描述符（如“岩石”、“生物”）相关联，这使得人类操作员无需直接观察视觉参照物即可理解智能体的词汇。
接地性： 系统成功创建了“外星语到英语”的链接，这些链接是具有感知落地的，有效地扩大了人类的词汇量。

3.3 分析建模

作者提出了三个表征收敛动态的数学模型，均实现了 $R^2 > 0.95$ ：

直接模型： 一个逻辑函数，用于预测在给定轮次 $T$ 下，基于 $n_a$ 和 $n_e$ 的接地共识程度 $G(T)$ 。
逆向模型： 估计达到特定共识阈值 $\theta$ 所需的轮次数。
词汇模型： 预测全局词汇量 $V(T)$ 的演变，捕捉了初始阶段独特单词的爆发式增长以及随着共敛达成而进行的精简阶段。

4. 核心贡献

针对 OOD 接地的创新框架： NSLD 框架证明了 LLM 智能体可以对没有任何先验语言表征的参照物获得原生的感知接地，挑战了 LLM 仅通过语言语料库拥有间接接地的假设。
自主词汇共同开发： 该系统实现了共享的人机词汇，且无需人类干预，解决了此前被确定为人类-机器交互开放问题的挑战。
通过嵌入空间实现的可解释性： 通过将外星符号锚定在共享的嵌入空间中，该框架通过与自然语言描述符的语义接近性，使涌现的通信对人类具有可解释性。
预测性规划工具： 推导出的分析模型为自主探索任务提供了预部署规划的第一步，允许基于人口和环境复杂性进行资源估算（轮次/时间）。

5. 意义与主张

论文声称 NSLD 代表了相对于经典命名游戏（naming games）和先前涌现通信研究的质的飞跃。以往的研究证明了向共享任意标记的收敛，而 NSLD 证明了向共享落地符号的收敛，这些符号与对话上下文脱钩，并锚定在持久的感知记忆中。

作者将这项工作定位为机器人领域解决符号接地问题的一个具体的工程解决方案，超越了哲学辩论，证明了 LLM 可以原生获取新的接地能力。其意义在于使自主智能体能够在真正未知的环境中运行，开发出一套针对无法命名的实体的共享词汇，并使用具有语义落地的词汇向人类报告这些发现。作者承认了局限性，指出目前的实验是基于模拟的，受限于单一 LLM 后端，并使用了全连接的人口拓扑结构，并将这些列为未来的研究方向。