🤖 machine learning

Native Hierarchical and Compositional Representations with Subspace Embeddings

本文提出了一种新颖的表示学习方法，该方法利用可微线性子空间取代传统的向量嵌入，通过几何包含关系和线性代数运算实现对层级结构、组合性及逻辑蕴含的本质建模，同时保持与高效向量检索的兼容性。

原作者： Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图组织一个庞大的思想图书馆。几十年来，计算机处理这类任务的标准方式是将每个概念——比如“狗”、“车辆”或“悲伤”——转化为一个巨大的、平面的地图上的一个点。这种方法在寻找相似事物（比如当你寻找“狗”时找到“贵宾犬”）方面表现出色，但当你试图理解像“狗是一种动物”或“一只不在吠叫的狗”这样的关系时，它就会遇到瓶颈。

在平面地图上，“狗”和“动物”只是两个靠得很近的点。地图无法轻易展示出“狗”是包含在更大的“动物”之内的。它在处理“不”这类逻辑时也表现挣扎，经常会产生混乱，甚至去思考那个你想要排除的事物。

这篇论文提出了一种全新的组织这些思想的方式：与其使用点，不如使用房间。

核心理念：从点到房间

作者建议不要将概念表示为单个的点，而是表示为线性子空间。简单来说，把一个概念想象成建筑中的一个房间，而不是地板上的一个特定位置。

规模的重要性（泛化性 vs. 特殊性）：
- 一个非常具体的概念，比如“名叫麦克斯的金毛寻回犬”，是一个狭小、拥挤的房间。
- 一个更宽泛的概念，比如“狗”，是一个可以容纳“麦克斯”房间的大房间。
- 一个更宽泛的概念，比如“动物”，是一个可以容纳“狗”房间的巨大大厅。
- 神奇之处： 计算机学习到，更大的房间（更高的维度）代表通用的想法，而较小的房间（较低的维度）代表具体的想法。
层级结构（俄罗斯套娃效应）：
- 因为这些是房间，所以你可以将一个房间放入另一个房间之中。如果“狗”的房间在“动物”的房间内，计算机就能瞬间理解每一只狗都是一种动物。这解决了“平面地图”的问题，即那种仅仅是模糊接近的关系。
逻辑（思维的几何学）：
- 与（合取）： 如果你想寻找既是“狗”又是“正在吠叫”的事物，计算机就会寻找“狗”的房间和“吠叫”房间的交集。那是这两个房间重叠的一小块空间。
- 或（析取）： 如果你想要“狗”或者“猫”，计算机会将这两个房间合并为一个覆盖两者的巨大空间。
- 非（否定）： 这是该论文最大的突破。如果你想要“一只不在吠叫的狗”，计算机会观察“狗”的房间，并找到它之外的空间（正交补）。
- 结果： 标准的计算机模型通常在“非”查询任务上表现不佳，往往会被它们本该忽略的词汇所干扰。而这种新的“房间”方法能自然地处理“非”逻辑，就像人类一样，无需针对每种可能的否定句进行专门训练。

他们是如何实现的

你可能会问：“如果房间的大小不断变化，你如何教计算机去构建这些房间？”

通常情况下，改变房间的大小（维度的数量）是一个计算机难以轻松解决的数学问题，因为它涉及在整数之间跳转（你不能拥有 3.5 个维度）。作者发明了一个巧妙的技巧，使用了**“软”投影矩阵**。

你可以把这想象成控制房间维度大小的调光开关。与其强迫计算机决定“这个房间恰好有 5 面墙”，不如让计算机学习每面墙有多“亮”或多“重要”。它可以将一面墙的亮度调暗到几乎为零（如果不需要），或者如果概念很复杂，就将其调亮。这使得计算机能够自动学习每个概念的最佳大小，同时仍能使用标准的、快速的数学工具。

他们的发现

作者在多个任务上测试了这种“房间法”（他们称之为子空间嵌入）：

层级结构： 它在重建词汇家族树（如 WordNet）方面表现极其出色，超越了以往尝试使用弯曲空间或方框的方法。
逻辑与否定： 当被要求寻找“不是某物”的东西时（例如“不是红色的汽车”），标准模型会跌落至接近随机猜测的水平。而“房间法”保持了高度的准确性，能够在没有被明确教授“非”规则的情况下，正确理解逻辑。
速度： 尽管这些“房间”听起来很复杂，但作者展示了它们可以被压缩并像旧的“点”方法一样快速搜索。事实上，它们比一些使用弯曲几何学的竞争性先进方法快了近 8 倍。

总结

这篇论文介绍了一种让计算机理解语言的方式，这种方式感觉更像人类的思维方式：使用空间与包含，而非仅仅是点与距离。它让计算机能够自然地理解“贵宾犬”是在“狗”之内、“狗”又是在“动物”之内，并且能够轻松处理复杂的“非”逻辑。

最重要的是，它在实现这一切时并没有降低效率，在保持现代搜索引擎速度的同时，增加了一层更深层次的理解。

技术摘要：具有子空间嵌入的原生层次与组合表示

问题陈述

传统的稠密向量嵌入将概念表示为欧几里得空间中的单个点，这在建模自然语言时面临着根本性的几何限制。虽然这些嵌入通过内积有效地捕捉相似性，但欧几里得空间的平坦且对称的结构并不适合处理诸如蕴含（entailment）和上下位关系（hyposnymy）这类具有层次性和非对称性的关系。标准的余弦相似度无法区分方向性关系（例如，“狗”蕴含“动物”，但“动物”并不蕴含“狗”）。此外，向量空间缺乏用于逻辑合取（conjunction）、析取（disjunction）和否定（negation）的原生算子。因此，模型往往默认采用加性组合（将短语视为词袋），导致“否定盲视”（negation blindness）问题，即嵌入无法排除特定概念，从而降低了处理涉及逻辑否定的查询时的性能。现有的替代方案，如双曲嵌入（hyperbolic embeddings）或基于区域的概率模型（如框、锥体），要么强加了僵化的结构先验，要么在所有逻辑运算下缺乏封闭性，或者牺牲了与高效欧几里得检索管线的兼容性。

方法论

作者提出了**子空间嵌入（Subspace Embeddings）**框架，在该框架中，概念不再被表示为点，而是高维空间 $\mathbb{R}^d$ 中的线性子空间（区域）。

核心几何原理

表示： 一个概念由一组潜在基向量 $\mathbf{X} \in \mathbb{R}^{d \times n}$ 的张成空间定义。子空间 $\mathcal{S}$ 由其正交投影算子 $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$ 表示，其中 $\mathbf{U}$ 是一个正交基。
层次与泛化性：
- 维度： 子空间的有效维度（秩）编码了语义泛化程度。较宽泛的概念（如“动物”）占据更高维的子空间，而具体概念（如“狗”）则占据嵌套在其中的低维子空间。
- 包含关系： 层次结构通过子空间包含关系（ $\mathcal{S}_A \subseteq \mathcal{S}_B$ ）进行建模，该关系通过基于投影矩阵乘积迹（trace）的归一化包含得分（Normalized Inclusion Score, NIS）来量化。
逻辑运算： 逻辑关系直接映射为子空间上的线性代数运算：
- 合取 ( $\land$ )： 子空间交集 ( $\mathcal{S}_A \cap \mathcal{S}_B$ )。
- 析取 ( $\lor$ )： 子空间的线性和（张成空间） ( $\mathcal{S}_A + \mathcal{S}_B$ )。
- 否定 ( $\neg$ )： 正交补 ( $\mathcal{S}^\perp$ )。

技术实现：可微子空间

一个主要挑战是子空间的秩是离散且不可微的。为了实现端到端训练，作者引入了软投影算子（Soft Projection Operators）：

软投影器： 他们没有使用硬投影，而是使用 Tikhonov 正则化定义了一个软投影器 $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$ 。
可微性： 超参数 $\lambda$ 作为温度系数，将投影器的特征值平滑到 $[0, 1)$ 范围内。这使得模型能够通过梯度下降学习每个子空间的有效维度，从而使子空间能够动态地“增加或减少”基向量。
子空间投影头（SPH）： 一个将 Transformer 隐藏状态转换为张成子空间的一组潜在向量的神经模块。它利用多头注意力机制（M-HA）进行池化，利用 MLP 进行秩扩展（通过打破线性依赖以实现满秩），并计算软投影器。

训练策略

该框架使用标准目标进行端到端训练：

层次重建： 基于子空间相似性的 InfoNCE 损失。
链路预测： 基于 NIS 得分的边际损失（Margin loss）。
自然语言推理 (NLI)： 一种混合方法，通过 NIS 得分的 Beta 分布对蕴含/矛盾进行建模，并通过 MLP 分类器对中性情况进行建模。

核心贡献

可微子空间学习： 一种新型方法，用于学习作为线性子空间的语言表示，具有数据驱动的、可学习的维度，克服了离散秩不可微的问题。
涌现的组合结构： 证明了逻辑运算（合取、析取、否定）可以在无需对逻辑规则进行显式监督的情况下，从表示的几何结构中自然产生。
可扩展性与兼容性： 该方法保留了与标准欧几里得向量搜索管线（最大内积搜索）的兼容性，从而实现了高效的大规模检索，这与非欧几里得替代方案不同。

实验结果

作者从三个维度验证了该框架：

层次建模 (WordNet)：
- 重建： 子空间嵌入（SE）在 WordNet 重建方面达到了最先进的性能，在平均精度均值（mAP）和平均排名（MR）上均优于欧几里得（R128）和双曲（Poincaré P10, Lorentz H10）基线。
- 特异性相关性： 学习到的子空间有效秩与概念的分类学等级呈现出强烈的 Spearman 相关性 ( $\rho \approx 0.68$ )，证实了维度可以作为语义特异性的涌现度量。
- 链路预测： SE 模型在稀疏监督设置（0%–25% 边覆盖率）下显著优于基线，F1 分数高达 95.9%。
自然语言推理 (SNLI)：
- 子空间嵌入在标准的双向和三向蕴含分类任务上，能够匹配或略微超过强大的双编码器基线（如 all-MiniLM-L6-v2, mpnet-base-v2）。
组合蕴含（零样本）：
- 否定处理： 这是最关键的发现。标准向量基线在涉及否定的假设时性能会退化到接近随机水平（49–69% AUC）。相比之下，子空间嵌入在无需显式否定逻辑训练的情况下，在否定查询上仍能保持高判别能力（>90% AUC）。
- 对比： 在否定任务上，子空间优于框嵌入（Box Embeddings），因为框的补集不是框，而子空间的正交补仍然是同一空间内的有效子空间。
效率：
- 检索速度： 通过将包含得分公式化为向量化投影矩阵之间的点积，该方法能够使用快速近似搜索库（如 FAISS）。SE128 的速度几乎比使用暴力搜索的 10 维 Poincaré 基线快 8 倍。
- 压缩： 学习到的子空间表现出快速的光谱衰减，允许通过截断 SVD 进行 4 倍压缩，且性能损失微乎其微。

意义与主张

本文声称，子空间嵌入提供了一种具有几何基础的蕴含模型，它将向量检索的效率与自然语言的层次及组合结构统一起来。

原生逻辑： 与需要权宜之计或在否定任务上失效的以往方法不同，子空间嵌入通过线性代数运算原生地捕捉逻辑组合。
可解释性： 子空间的有效维度作为信息量和语义特异性的可解释度量，直接从训练几何中涌现。
实用性： 该框架并未牺牲可扩展性；它仍然与标准的欧几里得搜索基础设施兼容，使其在规模化应用中具有可行性。

作者总结道，这种方法为开发更具表达力和可解释性的表示学习系统提供了一条充满前景的路径，特别是对于需要对层次化和否定概念进行推理的任务。