💬 NLP

Do Reasoning Models Enhance Embedding Models?

本文表明，使用具备推理增强能力的 LLM 来初始化嵌入模型并不会比使用基础模型带来性能优势，因为带有可验证奖励的强化学习（RLVR）保留了全局语义流形，使得随后的对比学习无论初始化如何都能重新对齐表示。

原作者： Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：有了“思考”，地图会变得更好吗？

想象你拥有一张巨大且细节极其丰富的世界地图（这就是大语言模型）。这张地图能帮你寻找路径、理解城市间的关系，并穿越复杂的地形。

最近，科学家通过教模型在回答之前进行**“深度思考”**，创造了一个新版本的地图。他们使用了一种叫做 RLVR（带有可验证奖励的强化学习）的方法。这就像是给地图配了一位严厉的教练，教练会对地图说：“不要只是猜测路线；要计算好每一步，检查你的数学运算，并且只有在你百分之百确定正确时才能移动。”

作者提出的核心问题是：如果地图学会了更好地“思考”，那么这张地图本身作为一个导航工具，会变得更好吗？

具体来说，他们想知道这些“思考型”模型是否能做出更好的嵌入（Embeddings）。简单来说，嵌入是将一个句子转化为地图上的一个点。如果两个句子的意思相同，它们的点应该紧挨在一起。

令人惊讶的答案：地图没有变化

为了测试这一点，作者将这些“思考型”模型转化成了嵌入工具。他们将其与原始的、不会“思考”的模型进行了对比。

结果是： “思考型”模型的表现与原始模型完全一样。

类比： 想象你有一个 GPS 应用。你升级了应用，让驾驶员在开车时能解决复杂的数学题。你可能会预期驾驶员能规划出更好的路线。但当你测试这个 GPS 时，发现规划出的路线是完全相同的。所谓的“思考”并没有改变地图本身。

这非常令人惊讶，因为人们普遍认为，如果一个模型在推理方面变得更聪明，它的内在语言理解能力（即它的“地图”）也一定会随之提升。

侦探工作：为什么会这样？

为了查明性能没有变化的原因，作者发明了一种名为 HRSA（分层表示相似性分析）的新工具。你可以把 HRSA 想象成一台三层结构的 X 光机，它能从不同的角度观察模型的“大脑”：

坐标系（表示层/Representation Level）： 地图的轴线指向是否一致？
地形（几何层/Geometry Level）： 山脉和山谷的形状是否相同？
目的地（功能层/Function Level）： 模型是否仍然知道如何到达同样的地方？

他们的发现：“流形重对齐”（Manifold Realignment）

通过这台 X 光机，他们发现了一个迷人的现象，叫做**“流形重对齐”**。

“思考”过程（RLVR）就像一名徒步旅行者：
当模型学习如何“思考”（RLVR）时，它并不会重新绘制整张地图。它不会移动山脉，也不会改变海洋。相反，它只是学会了在现有的地形上走一条更好的路径。
- 全局形状： 世界的整体轮廓（“全局几何结构”）保持完全不变。
- 局部形状： 然而，徒步旅行者会重新排列脚下的那些小灌木和碎石（“局部几何结构”），让特定的旅程变得更容易。
“嵌入”过程（对比学习）就像一个指南针：
当他们将这些模型转化为嵌入工具时，使用了一种叫做“对比学习”的训练方法。这就像一个指南针，强迫地图与标准网格对齐。
- 因为“思考型”模型只改变了小灌木（局部几何结构）而没有改变山脉（全局几何结构），所以指南针可以轻易地重新对齐这张地图。
- 指南针忽略了那些微小的重新排列，并将“思考型”模型的地图重新校准，使其与原始模型的地图完美对齐。

对比：“思考” vs. “记忆”

作者还将这种方法与另一种称为 SFT（监督微调）的方法进行了比较，后者就像是强迫模型去死记硬背一份特定的答案列表。

SFT 就像是用锤子去敲打地图。它砸碎了山脉，重塑了山谷。这创造了一张完全不同的地图，这也是为什么 SFT 模型在嵌入任务上的表现往往会有所不同（有时甚至更差）。
RLVR（思考） 则很温和。它保持了地图结构的完整，只是优化了行进路线。

结论

论文得出结论：RLVR（“思考型”训练）并不能从根本上改善底层的“地图”。

它优化了轨迹（模型解决问题时采取的路径）。
但它并没有重构景观（模型理解语言的根本方式）。

因此，如果你想要一个更好的嵌入模型（一张用于寻找相似文本的更好地图），仅仅训练模型去“思考”得更深并不能奏效。你需要改变的是地图本身，而不仅仅是改变模型在上面行走的方式。“思考型”模型只是在走同一张旧地图，只不过它们采取了一条略有不同、更加谨慎的路线，去往同一个目的地。

技术摘要：推理模型是否增强了嵌入模型？

问题陈述

最先进的文本嵌入模型越来越多地通过对比学习将解码器架构的生成式大语言模型（LLM）进行适配来构建。与此同时，一类新的“推理模型”应运而生，这类模型通过强化学习与可验证奖励（RLVR）进行训练，以实现卓越的复杂问题解决能力。由此产生了一个自然的假设：当这些模型作为嵌入任务的骨干网络时，其增强的推理能力是否会转化为更优越的语义表示空间？直觉上，一个“思考”更深的模型应该能更有效地构建语义关系。然而，初步的实证观察表明存在一个悖论：在经过对比学习训练后，从 RLVR 微调后的骨干网络初始化的嵌入模型，在统计学表现上与从基础模型初始化的模型几乎完全一致，尽管这些推理模型在推理任务中展现出了质的飞跃。

方法论

为了解决这一悖论并诊断这些表示的内部动态，作者引入了分层表示相似性分析（HRSA），这是一个扩展了表示相似性分析（RSA）的框架。HRSA 将模型的相似性分解为三个嵌套的抽象层次，每个层次都具有特定的不变性特征：

表示层（Representation Level）： 关注坐标基底和特征对应关系。指标包括维度相关性（测试轴对齐的特征匹配）和正交普罗克鲁斯特分析（测试通过正交变换实现的全局线性等价性）。该层对坐标系的旋转和置换敏感。
几何层（Geometry Level）： 关注潜在流形的形状，对坐标基底的变化具有不变性，但对形变敏感。指标包括用于全局几何的**线性中心核对齐（Linear CKA）**以及用于局部几何保持的 k-最近邻（k-NN）重叠度。
功能层（Function Level）： 关注输入-输出映射以及下游任务的可解性。这通过**跨模型线性探测（Cross-Model Linear Probes）**进行评估，即在一个模型上训练线性读取器，并在另一个模型上进行测试，以确定相同的决策边界在不同表示之间是否仍然有效。

实验设置：
作者进行了一项系统的基准测试研究，对比了基础 LLM ( $M_{base}$ ) 与其经 RLVR 微调后的推理对应模型 ( $M_{reason}$ )。他们使用相同的架构和对比学习配方（InfoNCE 损失）将这些多样化的骨干网络微调为嵌入模型（ $M_{Emb}^{base}$ 和 $M_{Emb}^{reason}$ ）。评估在 MTEB（多语言和代码）及 BRIGHT 基准测试上进行。研究还包括了经过监督微调（SFT）的模型作为对照组，以突出不同优化策略之间的差异。

核心结果

1. 对嵌入性能的零效应

与“增强推理能提升嵌入质量”的假设相反，结果显示出零效应（Null Effect）。从 RLVR 微调后的骨干网络初始化的嵌入模型，在所有基准测试（MTEB 多语言、MTEB 代码和 BRIGHT）中的表现均与从基础模型初始化的模型持平。性能差距 ( $\Delta$ ) 接近于零，而 SFT 微调的骨干网络通常表现出显著偏差。

2. HRSA 发现：流形重对齐

HRSA 揭示了 RLVR 与 SFT 之间截然不同的结构行为：

表示层： RLVR 在很大程度上保留了坐标基底。维度相关性保持在高位，且正交普罗克鲁斯特分析产生的矩阵接近置换矩阵（低特征混合）。相比之下，SFT 会导致破坏性的特征混合。
几何层：
- 全局几何： RLVR 表现为一种近等距变换，保留了潜在流形的全局形状（高 Linear CKA）。
- 局部几何： RLVR 诱发了不可逆的局部邻域结构重组（中等 k-NN 重叠度），这表明在不改变全局语义图的情况下，对推理步骤进行了重新聚类。
功能层： 跨模型线性探测显示出强大的迁移性，表明任务相关的线性读取方向在 RLVR 下保持稳定。

3. 流形重对齐现象

一个关键发现是流形重对齐（Manifold Realignment）。当 RLVR 微调后的骨干网络通过对比学习被适配为嵌入模型时，训练过程驱动了基础初始化模型与推理初始化模型之间的强对齐。这种重对齐有效地纠正了在长时间 RLVR 训练中观察到的可逆坐标基底漂移，从而产生了难以区分的最终嵌入空间。

核心贡献

系统性基准测试： 首次通过受控比较证明，当前的 RLVR 方法本身并不会提高作为骨干网络的嵌入质量，尽管它们在推理任务中取得了成功。
HRSA 框架： 一个统一的分层诊断工具（表示、几何、功能），能够解构坐标基底漂移、流形几何变化和功能读取稳定性。该框架为未来的可解释性研究提供了工具包。
发现流形重对齐： 识别出 RLVR 是在现有的语义景观内优化轨迹，而非从根本上重构景观。具体而言，RLVR 保留了全局几何和线性读取方向，同时重组了局部邻域，且随后的对比学习可以覆盖掉可逆的漂移，从而实现流形的重对齐。

意义与主张

本文主张，RLVR 主要是在现有的语义景观内执行轨迹优化，而非对其进行根本性的结构重组。与监督微调（SFT）可能导致的破坏性混合和全局重构不同，RLVR 在保留预训练阶段建立的丰富世界知识和全局语义关系的同时，精炼了模型遍历潜在流形的策略。

作者认为，“增强的推理能力”是通过重组局部几何（即相邻状态如何相互关联）并优化决策轨迹来实现的，同时保持了大规模坐标系统和线性读取方向基本不变。因此，对于依赖全局语义相似性的任务（如嵌入和检索），RLVR 的优势并不体现为更优越的嵌入空间，而体现为对基础模型表示骨干的稳健保持。本文指出，“流形重对齐”可能是表示学习中的一种普遍现象，其范围不仅限于文本，还可扩展至视觉和音频领域，并提出类似的行为可能通过结合几何感知正则化的 SFT 来实现。