💬 NLP

J-CoT: Chain-of-Thought in J-Space

本文介绍了 J-CoT，这是一种循环推理框架，它通过将中间状态作为“J空间”坐标系中以词表为索引的系数进行传播，从而改进了现有的潜层推理方法，进而实现了无需完全语言化的逻辑过程或稠密隐藏状态循环的高效计算。

原作者： Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

思考机器的秘密语言

想象一下，你正试图教一个超级聪明的机器人如何解决一个棘手的谜题。在过去，教导它的最佳方式是强迫机器人“大声思考”。它必须在给出最终答案之前，用完美的英语句子写下其推理过程中的每一个步骤。这被称为思维链（Chain-of-Thought），它之所以有效，是因为它让机器人慢了下来，从而能够检查自己的工作。但问题在于：强迫机器人说出完整的句子，就像要求人类在完成一个念头之前，必须先把整个内心独白小声对朋友说一遍一样。这既缓慢，又会在仅仅需要进行数学或逻辑运算时，在语法和叙事上浪费能量。

在光谱的另一端，一些科学家尝试让机器人进行完全沉默的思考，在步骤之间传递秘密且不可见的信号。这被称为潜层推理（Latent Reasoning）。这种方式更快，但就像是在课堂上传递一张纸条，上面的代码极其密集且混乱，以至于没人知道哪些信息才是真正重要的。机器人可能会迷失在一片数字的海洋中，缺乏组织思想的清晰方式。

因此，研究人员面临的一个重大问题是：是否存在一个中间地带？我们能否给机器人一种传递思考的方式，使其既有组织、清晰，又不会因为将每个微小的想法都转化为完整的句子而浪费时间？这就是论文《J-COT：J空间中的思维链》旨在解决的问题。

论文的核心思想：“J-思想”

作者引入了一种名为 J-CoT（J-思维链）的新方法。J-CoT 并没有强迫机器人编写故事或传递混乱的数据块，而是使用了一个聪明的中间人——J-思想（J-thought）。

把机器人的大脑想象成一座拥有数百万本书籍的巨大图书馆。当机器人思考时，它通常会取出整本书（句子）来进行阅读和书写。但 J-CoT 建议，在步骤之间，机器人不需要取出整本书，它只需要传递一张带有特定页码和高亮内容的图书借阅卡。

以下是他们在“J空间”系统中运作的方式：

词汇索引：想象机器人口袋里的每一个单词在它的大脑中都有一个唯一的地址。
J-思想：在一个思考步骤结束时，机器人并不写句子。相反，它观察自己的大脑并说：“我正在关注与这些特定‘词汇地址’相关的概念，以下是我的关注强度。”它创建了一个附着在这些词汇地址上的短列表（系数）。
交接：这个列表就是 J-思想。它被传递到下一步。它不是一个句子，所以很快。但因为它与特定的词汇挂钩，所以它是组织有序且具有意义的。
下一步：机器人获取这个列表，在它的大脑中查找这些“地址”，并利用这些信息继续思考。这样它就可以在给出最终答案之前，在它完整且复杂的脑内进行所有的重度运算，而不必被迫开口说话。

他们的发现

研究人员在一些非常困难的任务上测试了这个想法，例如解决复杂的数学问题、回答科学问题以及编写计算机代码。他们将 J-CoT 与旧有的“大声思考”方法以及“秘密代码”方法进行了对比。

结果非常令人鼓舞。他们发现，J-CoT-Zero（一个不需要额外训练的版本）已经与他们测试过的最好的“秘密代码”方法一样出色，甚至有时更优。它在他们尝试过的每一个基准测试中（从数学谜题到编程挑战）都达到了顶尖水平或超越了顶尖水平。

更棒的是，当他们训练了一个名为 J-CoT-Train 的版本，使其更擅长阅读和书写这些“图书借阅卡”时，它成为了无可争议的赢家。它在所有测试的数学、科学、编程和逻辑任务中都获得了最高分。例如，在一次名为 MATH-500 的艰深数学测试中，经过训练的版本从之前的最佳成绩 50.4% 跃升至 54.0%。

为什么这很重要（以及它不是什么）

论文指出，这种“J空间”接口是一个平衡点。它证明了你不需要强迫机器人用完整的句子来表达才能使其思考清晰，但你也不需要让它在无形的数字迷雾中徘徊。通过使用这种基于词汇索引的列表，机器人可以在没有语法开销的情况下保持其思想的组织性。

然而，作者也谨慎地表示，这并不是解决所有问题的万能灵药。他们指出，其结果是基于特定的测试和模型。他们还指出，虽然“J-思想”是一个极佳的中间地带，但机器人仍然需要在其大脑内部进行重度计算；J-思想仅仅是信使。

简而言之，这篇论文表明，通过改变机器人将思想从一步传递到下一步的方式——从完整的句子转变为智能的、基于词汇的列表——我们可以让它在解决难题时变得更聪明、更快、更高效。这就像是意识到，要在拥挤的房间里传递信息，你不需要大声朗读一段话，也不需要低声传递秘密代码；你只需要举起一个写有关键词的牌子即可。

技术摘要：J-CoT：J-空间中的思维链

1. 问题陈述

大型语言模型（LLMs）目前依赖于两种主要的循环推理范式，两者都存在局限性：

显式思维链 (Explicit Chain-of-Thought, CoT)： 这种方法使用自然语言作为循环接口。虽然有效，但它迫使每一个中间状态都被序列化为离散的 token。这要求模型即使在不需要进行下一步推理时，也必须致力于语法形式、话语连贯性和显式解释。它将传递在循环之间的状态限制在特定的语言解释之中。
稠密潜空间推理 (Dense Latent Reasoning)： 如 Coconut 等方法，在计算步骤之间传播连续的隐藏状态，从而避免了语言化的需求。然而，这些方法将整个稠密隐藏向量作为整体进行传递。这种接口缺乏一种明确的机制来选择和组织下一步推理所需的特定信息，可能会携带无关或无结构的噪声。

本文提出需要一种既具有语言基础（锚定在模型的词表中），又具有非句法性（不需要解码出句子）的中间接口，从而允许在循环内进行完整的隐藏空间计算，同时为循环提供结构化的状态。

2. 方法论：J-CoT

作者引入了 J-CoT，这是一个在 J-空间（一种源自模型隐藏表示的词表索引坐标系）内运行的循环推理框架。

2.1 核心概念：J-思想 (J-Thought)

J-CoT 传递的不是解码后的 token 或稠密向量，而是一个 J-思想：一个词表索引的系数状态。

J-空间构建： 该方法通过对下游雅可比矩阵（Jacobian）取平均值，将最终层词表方向回溯到每一层 $\ell$ ，从而构建出一个字典。这创建了一个跨越不同层几何结构的共享词表索引。
提取与重构：
- 写入 (Extraction)： 在指定的写入层，模型通过弹性网络分解（elastic-net decomposition），从特定的“载体”（carrier）位置提取 J-空间字典上的非负系数。这形成了 J-思想矩阵 $A_t$ 。
- 读取 (Reconstruction)： 在指定的读取层，这些系数被重构到残差流中，使用读取层字典。一个学习到的读取门控（read gate）调节该状态与提示词条件基准（prompt-conditioned baseline）的整合。
载体位置 (Carrier Positions)： 模型在输入中附加了 $M$ 个非语言性的载体位置。这些位置参与标准的自注意力（self-attention）和前馈计算，但永远不会被解码。它们作为 J-思想的读/写位置。

2.2 循环机制

J-CoT 循环运行如下：

初始化： 提示词和中性载体嵌入被传播到读取层。
读取： 上一个 J-思想在读取层被重构，并以门控方式整合到载体激活值中。
计算： 载体和提示词通过中间 Transformer 层（从读取层到写入层）进行传播，使用稠密的、不受限制的隐藏表示。
写入： 在写入层，新的系数从载体激活值中提取，以形成下一个 J-思想。
终止： 当 J-思想趋于稳定（Frobenius 范数变化较低）或达到最大循环预算时，循环停止。最终状态为答案的自回归解码提供条件。

2.3 配置

J-CoT-Zero： 一种使用固定接口组件（平均预训练嵌入、单位读取强度）的无需训练配置。它不需要针对 J-CoT 进行特定的优化。
J-CoT-Train： 一种可训练变体，通过优化载体嵌入和读取门控，同时保持底层 Transformer 和 J-透镜（J-lens）字典冻结。

3. 核心贡献

J-CoT 框架： 引入了一种循环推理框架，该框架通过携带词表索引的 J-思想状态跨越循环，弥合了显式语言推理与稠密潜空间递归之间的鸿沟。
模型原生读写机制： 开发了一种利用 J-空间坐标传输状态的机制，无需解码理性说明（rationales）或进行全量隐藏状态递归，使模型能够在保留难以用自然语言表达的信息的同时，维持一个结构化接口。
经验验证： 在数学推理、科学问答、代码生成和结构化路径推理等八个基准测试上进行了全面评估，证明 J-CoT 能够匹配或超越强基准模型。

4. 实验结果

实验在 Qwen3-8B-Base 主干网络（并扩展到更大规模的模型）上进行，涵盖八个基准测试：GSM8K, MATH-500, AIME 2024, GPQA-Diamond, HumanEval+, MBPP+, LiveCodeBench, 和 CRUXEval。

性能对比基准：
- J-CoT-Train 在所有评估任务中均取得了最高分，优于最强的潜空间推理基准（SIM-Coconut），平均领先 2.7 个百分点（50.2% vs. 47.5%）。
- J-CoT-Zero（无需训练）在每个基准测试中都匹配或超过了 SIM-Coconut，在没有进行任何 J-CoT 特定优化的情况下，将平均得分提升至 47.9%。
- 两种 J-CoT 变体均显著优于标准的语言 CoT 和 PS+ 基准。
缩放性 (Scaling)： J-CoT 在模型容量（从 7B 到 405B 参数）和推理深度（自适应循环预算）方面均表现出正向缩放特性。更大的模型能从更多的推理循环中获益更多。
接口光谱 (Interface Spectrum)： 在稠密潜状态 ( $\lambda=0$ )、J-思想 ( $\lambda=0.5$ ) 和显式语言状态 ( $\lambda=1$ ) 之间的插值实验揭示了一个非单调趋势。性能在 J-CoT 配置 ( $\lambda=0.5$ ) 处达到顶峰，这表明它在保留替代推理路径（不同于显式 CoT）与减少无效路径持续（不同于稠密潜状态）之间提供了最佳平衡。
消融实验： 移除 J-思想读取或将 J-思想塌陷为单个载体会导致性能显著下降，验证了多载体、词表索引设计的必要性。

5. 意义与主张

论文声称，J-CoT 证明了模型原生循环接口作为一种优于完全语言化和完全稠密中间状态的替代方案的可行性。

无需语言化的语言基础： 结果支持了以下假设：词表索引的坐标系统（J-空间）允许提取和复用内部计算，而无需承担生成流畅中间文本的开销。
效率与结构： 通过避免在每一步都做出特定的语言解释，J-CoT 允许模型比显式 CoT 更有效地携带不确定或分布式的计算，同时词表索引提供了稠密潜方法中所缺失的选择机制。
无需训练的潜力： J-CoT-Zero 的强劲表现表明，预训练的 Transformer 已经包含了一个可用的 J-空间坐标系统，无需额外的训练即可利用这种循环能力。

作者总结道，J-CoT 为进一步研究此类接口提供了动力，为实现大型语言模型中更高效、更结构化的推理提供了一条路径。