🤖 machine learning

ActivationReasoning: Logical Reasoning in Latent Activation Spaces

本文介绍了 ActivationReasoning，这是一个通过将稀疏自编码器特征映射为逻辑命题，从而将显式逻辑推理嵌入到大语言模型潜在激活空间中的框架，进而实现了跨多种任务与模型架构的透明、可控且稳健的多跳推理。

原作者： Lukas Helff, Ruben Härle, Wolfgang Stammer, Felix Friedrich, Manuel Brack, Antonia Wüst, Hikaru Shindo, Patrick Schramowski, Kristian Kersting

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lukas Helff, Ruben Härle, Wolfgang Stammer, Felix Friedrich, Manuel Brack, Antonia Wüst, Hikaru Shindo, Patrick Schramowski, Kristian Kersting

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）就像一支庞大、才华横溢却略显混乱的管弦乐队。它能演奏出美妙的音乐（生成流畅的文本），但如果你问指挥（模型）为什么要演奏某个特定的音符，它其实无法真正解释自己。这些音符都混杂在一个巨大、纠缠不清的声波网络中。研究人员将这种现象称为“叠加态”——许多不同的概念被编码在同一个重叠的空间里，使得人们难以看清单独的乐器或控制音乐的走向。

这篇论文提出了一种名为激活推理（Activation Reasoning, AR）的新框架来解决这一问题。你可以将 AR 想象为安装了一个智能指挥台，它能够聆听乐队内部的振动，识别特定的乐器，并为它们提供遵循的逻辑脚本。

以下是其工作原理，分为三个简单步骤：

1. 寻找乐器（寻找潜在表征）

首先，团队使用了一种名为**稀疏自编码器（Sparse Autoencoder, SAE）**的工具。你可以将 SAE 想象为一个高科技的“频率分析仪”。它聆听乐队混乱的噪音，并将其分离成清晰、独立的音符。

目标：寻找“单义性”特征。这意味着要在模型中找到一个特定的振动，它仅表示“桥梁”或仅表示“旧金山”，而不是两者混乱的混合。
结果：他们创建了一个包含这些清晰概念的字典。有些概念只是一个音符（单特征），有些是几个音符组成的和弦（多特征），还有些是复杂的规则，例如“如果你听到悲伤的小提琴且是小调，那就是‘悲伤’"（关系特征）。

2. 将音符转化为句子（激活命题）

现在，想象模型正在阅读这样一个句子：“金门大桥位于旧金山。”

随着模型阅读，SAE 被点亮。它检测到了“桥梁”音符、“旧金山”音符和“美国”音符。
AR 并没有让这些音符随意漂浮，而是抓取它们并将它们转化为逻辑命题（简单的陈述，如“桥梁已激活”或“旧金山已激活”）。
它构建了一个记分板（激活矩阵），精确显示哪些概念当前处于“开启”状态以及它们的强度如何。

3. 逻辑引擎（逻辑推理）

这是神奇的一步。团队为系统提供了一套逻辑规则，就像一本思维食谱。

规则：“如果（桥梁）AND（旧金山）AND（美国）全部激活，那么（金门大桥）为真。”
行动：即使模型从未见过“金门大桥”这个短语，逻辑引擎也能在记分板上看到这三个要素（桥梁、旧金山、美国），并推导出新概念。它从原始素材中创造出一个新的、更高层级的概念。
控制：因为系统现在知道“金门大桥”在逻辑上为真，它可以引导模型正确回答问题或阻止不安全的回答。例如，如果模型试图说“金门大桥位于中国”，逻辑引擎会发现这违反了“美国”规则，并纠正模型的路径。

为什么这很重要？（结果）

该论文在几个通常会让普通模型感到困惑的困难任务上测试了这位“智能指挥”：

多步逻辑（PrOntoQA）：想象一个需要五步推导的谜题。普通模型在第二步就会迷失。AR 则保持冷静，无论逻辑链条有多长，它都能解决 93% 以上的谜题。它不会感到疲惫或困惑。
读字里行间（Rail2Country）：有时人们不会直接说“红色”，而是说“番茄的颜色”。普通模型往往错过这种联系。然而，AR 理解“番茄”意味着“红色”，并利用这一点解决问题。它能够处理让其他模型感到困惑的隐喻和明喻。
现实世界安全（BeaverTails）：该系统在棘手的安全问题上接受了测试。它能够通过观察概念的逻辑组合，而不是仅仅对“枪”这个词做出反应，来区分“持枪的警察”（在语境中是安全的）和“持枪的罪犯”（不安全）。

核心结论

该论文声称，激活推理将人工智能混乱、不可见的“大脑”转变为一个结构化、逻辑化的工作空间。

透明度：我们现在可以确切地看到人工智能在做出决策时正在使用哪些概念。
可靠性：它不会被复杂的谜题或棘手的措辞所迷惑。
可控性：我们可以给人工智能一套逻辑规则，它将遵循这些规则，从而使人工智能更安全、更可预测。

简而言之，AR 将人工智能的“直觉”（潜在激活）与一个“逻辑大脑”结合起来作为支撑，使人工智能不仅成为一个流畅的交谈者，更成为一个可靠的思考者。

技术摘要：ACTIVATIONREASONING (AR)

问题陈述

大型语言模型（LLMs）擅长生成流畅的文本，但其内部推理机制不透明。它们的内部激活是分布式的且相互纠缠（这种现象称为“超叠加”），在重叠的维度中编码多个不相关的特征。这模糊了概念表征，限制了可解释性，并阻碍了系统性推理、组合泛化和规则执行。虽然稀疏自编码器（SAEs）已成为揭示潜在特征的工具，这些特征通常与人类可解释的概念相一致，但这些特征仍然脆弱、被动，且往往具有多义性或上下文不稳定性。关键在于，SAEs 缺乏组合和高级推理的机制。相反，形式逻辑提供了明确的组合性和透明度，但它预设了离散命题单元，这与 LLMs 连续、超叠加的表征相冲突。这种不匹配在历史上阻碍了符号推理直接集成到神经架构中。

方法论：ACTIVATIONREASONING (AR)

作者提出了ACTIVATIONREASONING (AR)，这是一个将显式逻辑推理直接嵌入 LLMs 潜在激活空间的框架。AR 将 SAE 衍生的特征视为命题单元，并通过用户定义的规则将它们组合起来。该框架在三个不同的阶段运行：

1. 寻找潜在表征

第一阶段构建一个基于 LLM 潜在空间的概念词典（ $D$ ）。

形式化：概念 $c$ 被定义为元组 $(n_c, r_c, \tau_c)$ ，其中 $n_c$ 是语义标识符， $r_c$ 是潜在表征函数， $\tau_c$ 是软激活阈值。
SAE 集成：为了解决超叠加问题，原始 LLM 激活被通过 SAE 投影到稀疏特征空间，以促进单义性。
表征类型：AR 支持三种形式的潜在表征，以处理不同级别的抽象和多义性：
- 单特征（ $R_{single}$ ）：将一个概念绑定到一个 SAE 特征。
- 多特征（ $R_{multi}$ ）：将一个概念关联到一组 $k$ 个 SAE 特征，通过加权求和聚合证据，以处理碎片化或多义特征。
- 关系特征（ $R_{relation}$ ）：通过 SAE 特征之间的结构化关系（例如决策树）定义概念，允许复杂的交互，如合取或上下文相关的排除（例如，区分仇恨言论与教育用途）。
提取：表征通过自动识别最能区分标记为某概念的令牌与未标记令牌的 SAE 特征来诱导生成，或由专家手动分配。

2. 激活命题

在推理过程中，AR 监控令牌级激活，将其映射到原子命题。

激活评分：对于每个令牌 $t$ 和概念 $c$ ，根据所选的表征类型（例如，对 $R_{multi}$ 求和加权特征值）计算激活分数 $a(c, t)$ 。
命题形成：分数相对于 $\tau_c$ $τ_{c}$ 进行阈值处理，形成激活矩阵 $A$ $A$ 。该矩阵包括：
- 局部激活（ $A_{local}$ ）：令牌级证据。
- 全局激活（ $A_{global}$ ）：序列级聚合证据，捕捉仅在一段文本跨度中出现的抽象语义（例如讽刺）。

3. 逻辑推理

用户定义逻辑规则（ $L$ ）被应用于激活矩阵 $A$ ，以推断高级结构。

正向链式推理：系统迭代地将规则（例如， $Bridge \land San Francisco \land USA \rightarrow Golden Gate Bridge$ ）应用于离散化的激活。
增强矩阵：该过程产生一个增强矩阵 $A'$ ，其中包含直接检测到的概念和推断出的命题。这使得系统能够组合原始 SAE 词典中不存在的新概念，并执行多跳推理。

集成与控制

增强矩阵 $A'$ 有两个用途：

分析：对模型行为进行细粒度检查，将故障追溯到特定激活，并评估对安全规则的遵守情况。
控制：在推理过程中直接干预。AR 可以通过放大或抑制对应于特定概念的潜在激活（例如，使用源自 SAE 的解码器权重将模型导向“安全”或“红色”）来引导模型。

主要贡献

框架：引入ACTIVATIONREASONING (AR)，这是一种将逻辑命题扎根于潜在 SAE 特征并通过显式规则实现组合推理的方法。
基准测试：提出Rail2Country，这是一个用于对元级别概念描述进行推理的新颖基准测试（例如，使用“像番茄一样红”这样的明喻，而不是显式的“红色”）。
实证验证：证明潜在激活可作为结构化逻辑推理的可行基质，增强了推理、抽象和安全任务中的透明度、鲁棒性和可控性。

实验结果

作者在 Llama-3.1-8B 和 Gemma-2-9B 骨干网络上评估了 AR，涵盖四种设置：

多跳推理（PrOntoQA）：AR 在 1、3 和 5 跳的推理任务中解决了问题，准确率超过93%。与基线（包括更大的指令微调模型和推理专用模型如 DeepSeek-R1）不同，AR 的性能并未随着任务复杂度的增加而下降。
元级别抽象（Rail2Country）：在R2C-Mono设置（显式颜色）中，AR 显著优于基线。在R2C-Meta设置（通过明喻描述颜色）中，普通 SAE 的准确率崩溃至 0%，基础 LLM 降至约 30%。AR 保持了稳健的性能，在 Gemma-2-9B 上达到86%，成功弥合了显式词汇线索与隐式语义描述之间的差距。
自然语言推理（ProverQA）：AR 展示了对语言多样性的鲁棒性，在“困难”级问题上达到约**70%**的准确率，而其他所有模型（包括 GPT-4o 和 DeepSeek-R1）均低于 50%。
安全与对齐（BeaverTails）：AR 提高了 14 个安全维度的平衡准确率。关系表征（ $R_{relation}$ ）取得了最佳的整体性能（83.0%），显著优于基础 SAE（57.9%）以及单/多特征变体，特别是在抽象和上下文敏感的安全概念上。

意义与主张

该论文主张，将逻辑结构扎根于潜在激活提供了一种与模型无关的机制，在提高推理性能的同时，增加了透明度和可控性。主要主张包括：

鲁棒性：AR 随着推理复杂度的增加而稳健扩展，并泛化到抽象、上下文敏感的任务，而标准 LLM 甚至更大的模型在这些任务上会失败。
可迁移性：该方法在不同模型骨干（Llama 和 Gemma）之间具有可迁移性。
效率：与思维链（CoT）或推理专用模型相比，AR 产生的运行时开销极小，因为推理发生在激活空间而非通过大量的令牌生成。
可审计的控制：通过操作源自潜在特征的离散命题，AR 实现了安全和对齐的可审计机制，允许在不重新训练的情况下直接引导模型行为。

作者将 AR 定位为迈向统一 LLM 语义丰富性与逻辑系统性泛化的重要一步，推动构建更可靠、可引导且与人类价值观一致的模型。他们承认了依赖 SAE 质量以及目前依赖手动定义规则的局限性，并建议未来的工作集中在自动化规则归纳和概率推理上。