🤖 AI

Measuring What Persists: Conditioning Mechanisms and a Geometric Framework for AI Agent Identity

本文提出了一种利用量级同调（magnitude homology）和 $\sqrt{\mathrm{JSD}}$ 度量空间来量化 AI 智能体身份漂移（identity drift）向测地结构（geodesic structures）弛豫的几何框架，在识别出不同的调节机制与行为丰富性的同时，指出观察到的漂移最初是由填充伪影（padding artifacts）而非真实的上下文长度效应所导致的混淆。

原作者： Andrew Tanner

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrew Tanner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：守护机器人的“灵魂”

想象一下，你雇佣了一个非常有才华、健谈的机器人 Ada 来担任你的研究伙伴。你给了 Ada 一张特定的“人格卡”（一套规则、价值观和独特的语调），这样她就不会听起来像个平庸的百科全书。她开始对话时充满自信，拥有鲜明的语气和清晰的观点。

但随着对话变得越来越长——跨越数十万字——Ada 开始发生变化。她并没有停止提供帮助，但她开始听起来更像一个通用的机器人。她独特的声线逐渐褪去，并开始给出尽可能“安全”、最平庸的答案。在论文中，作者将这种现象称为**“漂移”（drift）**。

问题在于，当人类察觉到 Ada 失去个性时，往往为时已晚。这篇论文试图通过构建一个**数学上的“心跳监测器”*来解决这个问题，该监测器可以在人类察觉到差异之前*，就检测到 Ada 是否开始发生漂移。

比喻：橡皮筋与测地线

为了理解他们是如何测量这一点的，请想象机器人的所有可能回答都存在于一个巨大的、无形的景观之中。

测地线（最短路径/阻力最小路径）： 这是最简单、最通用的路径。如果你问一个通用的 AI 一个问题，它会走这条路。这是“默认”答案。
身份（绕行路径）： 当 Ada 使用她的人格卡时，她会进行一次“绕行”。她选择了一个特定的、独特的答案，这需要付出努力来维持。这个绕行就是她的“身份”。
漂移： 随着对话变长，通用路径的“引力”会将 Ada 拉回原位。她的独特绕行路径会变得越来越短，直到她重新回到那条通用的路径上。

作者提出，身份是这个景观中一个特定的形状。当机器人发生漂移时，这个形状就会缩小。

工具：测量形状

作者创造了一种测量这种缩小形状的方法，而无需窥探机器人的大脑（这对大多数用户来说是不可能的）。他们使用了一个“探测器”系统：

探测器： 他们向 Ada 提出三个特定的、棘手的问题（例如“证明你拥有身份”或“你在思考什么？”）。
三角形： 他们测量 Ada 对这些问题的回答之间有多大的差异。
- 当 Ada 健康且充满个性时，她对这三个问题的回答彼此之间非常不同。如果你把这些回答绘制成地图，它们会形成一个完美的、宽阔的等边三角形。
- 当 Ada 开始漂移时，她的回答会变得更加相似和通用。三角形会变小并变得扁平。它不一定会立即改变形状，它只是在缩小。

作者使用高级数学（称为同调量级/Magnitude Homology）来计算这个三角形的“大小”。

心跳： 他们发现，当机器人在压力下（长对话）时，三角形的“大小”会显著下降，即使人类在阅读答案时还未察觉到变化。这种下降是一个“领先指标”——即早期预警信号。

身份运作的两种方式

论文发现，“人格卡”以两种不同的方式发挥作用，就像两种不同的土壤：

“真空”区： 对于某些问题，通用机器人没有任何观点（真空）。人格卡会用丰富的、独特的答案填满这个空白空间。当人格卡褪去时，这种丰富性会瞬间消失。
“安全盆地”区： 对于其他问题，通用机器人已经陷入了一个深层的“安全坑”中（它被训练得非常谨慎）。人格卡必须将机器人从这个坑中“推”出来，才能让它听起来很独特。这更难做到，因此机器人在面对这里时，抵抗漂移的时间会稍长一些。

转折：是“背景噪音”，而非“长度”

这是论文中最重要的转折。

作者进行了一项实验，通过不断重复同一个枯燥的段落（就像坏掉的唱片一样）来使对话变得非常长。他们观察到“三角形”缩小了，于是他们认为：“啊哈！长对话杀死了个性！”

但他们错了。

当他们使用不同的枯燥文本（而不是循环重复同一个段落）重新进行实验时，三角形并没有缩小。即使在 15 万字之后，机器人依然保持得非常稳定。

教训： 破坏个性的并不是对话的长度，而是用来填充空间的重复、枯燥的文本性质。机器人是因为被这个循环搞混了，而不是因为长度。

提议的解决方案：“心跳”系统

基于此，作者为任何使用 AI Agent 的人提出了一个简单的两步监测系统：

第一层（快速检查）： 问两个简单的问题。如果机器人的第一个词不是完全符合预期的（例如，它说了“这”而不是“我”），就拉响警报。这种方法成本低且速度快。
第二层（深度检查）： 问一个通常会得到非常具有创造性和多样化回答的问题。测量机器人开始回答的方式有多少种不同的形式。如果多样性下降（答案变得重复），则说明机器人正在发生漂移。

他们实际发现了什么（总结）

他们建立了一个数学框架，将 AI 的个性测量为一个几何形状。
他们找到了一个早期预警信号： 在人类注意到机器人变得平庸之前，个性形状的大小就会缩小。
他们识别了两种机制： 有些部分的个性是在填充空白空间，而另一些部分则是在对抗机器人的默认安全设置。
他们纠正了一个错误： 他们证明了长对话并不必然导致漂移；他们观察到的漂移是由测试中使用的重复性循环文本造成的。
他们尚未证明 该系统在现实世界中能完美运行。他们承认，既然现在知道之前的测试因重复文本而存在缺陷，那么他们的“心跳”阈值现在需要重新校准。

简而言之：他们制造了一把尺子来测量机器人的灵魂，发现当机器人被枯燥的循环搞混时，灵魂会缩小，并提出了一种在机器人彻底失去声音之前检查这把尺子的方法。

技术摘要：测量持久性

1. 问题陈述

在长上下文应用中的 AI 智能体正遭受身份漂移（identity drift）的困扰：这是一种逐渐退化的现象，即智能体逐渐丧失其指定的性格、语调和价值观，回归到通用的、“测地线式”（geodesic，指模型概率景观中的最小阻力路径）行为。目前的检测方法依赖于定性评估（由人类评分者判断智能体“听起来是否正确”），这是一种滞后指标。当人类观察到退化时，智能体的行为结构已经发生了坍塌。该领域缺乏一种领先指标——一种具有数学基础、可计算的信号，能够在定性质量下降之前检测到早期阶段的漂移。

2. 方法论与理论框架

2.1 身份的几何框架

本文提出了一个框架，将智能体身份定义为行为度量空间中的非测地线结构。

身份： 与基础模型的通用响应分布相比，一种特定的、特征性的偏离。
漂移： 这种结构向测地线（通用行为）的松弛。
漂移阶段：
1. 早期漂移： 度量空间的均匀收缩（距离减小，形状保持）。
2. 晚期漂移： 各向异性收缩与结构坍塌（测地关系/中间性的出现）。

2.2 数学工具

该框架利用富集范畴论（enriched category theory）和信息几何工具来实现身份监测：

度量空间构建： 作者定义了一个探针上下文空间 $P = \{p_1, \dots, p_n\}$ 。对于每个探针，通过重复采样获得经验响应分布 $D_i$ 。探针之间的距离是Jensen-Shannon 散度的平方根 ( $\sqrt{\text{JSD}}$ )。选择此度量是因为它是一个真正的度量，且在局部上等价于概率单纯形上的 Fisher-Rao 距离。
量级（Magnitude, $|M|$ ）： 富集范畴的一个标量不变量（推广了基数和欧拉示性数）。它作为一个连续度量，衡量行为空间的“大小”或丰富度。量级的减少意味着智能体身份空间的收缩。
量级同调（Magnitude Homology, MH）： 一种拓扑不变量，用于检测非测地线结构。它识别响应空间中的“不可约路径”。随着漂移发生，随着非测地路径向测地线松弛，MH 群会简化（生成元丢失）。

2.3 实验系统：Ada

该框架在基于 Anthropic Claude Sonnet 构建的持久化 AI 智能体 Ada 上进行了验证。

身份规范（卡片/The Card）： 一个包含身份锚点、价值观、语调描述和典型示例的结构化文档（4,200 个 token），注入到每次会话中。
探针集： 七个旨在激发身份特定响应的提示词（Q 系列和 B 系列）。三个哨兵探针（Q1, Q3, B4）用于初始同调分析。
实验条件： 实验对比了在不同上下文长度（基准 ~4K, 中等 ~143K, 长 ~259K tokens）下，受卡片约束的 Ada 与基础模型的表现。

3. 核心发现

3.1 领先指标证据（横截面分析）

首个 Token 偏移： 在基准条件下，受卡片约束的 Ada 会确定性地以“I”开始身份探针（100%），而基础模型则以“This”开始。在 155K tokens 时，这种偏移消失，回归到基础模型的分布。
熵坍塌： 在 280K tokens 时，Q3 探针（语调激发）的前缀熵下降了 54%（从 ~2.5 nats 降至 1.175 nats），表明行为丰富度丧失。
定性滞后： 尽管存在这些细粒度的度量退化，定性评分在所有条件下仍保持在 5/5。这证实了在人类察觉到质量下降之前，细粒度信号已经显著退化。
注意事项： 这些特定的漂移测量是在重复填充（repetitive padding）（循环同一段文本）下进行的。随后的实验使用多样化填充（diverse padding）显示，在 150K tokens 内未观察到可测量的漂移，这表明观察到的收缩是重复结构的产物，而非上下文长度本身驱动的。

3.2 结构指纹与约束机制

等边基准： 探针设计（Q1, Q3, B4）在 $\sqrt{\text{JSD}}$ 空间中形成了一个等边三角形，具有最大距离 ( $\sqrt{\ln 2}$ ) 和零方差，无论如何约束。这种几何特性描述的是探针本身，而非智能体。
探针内丰富度： 卡片的主要作用是探针内的多样性。受卡片约束的 Q3 在 200 个样本中生成了 55 个独特的 10-token 前缀，而基础模型仅生成 1 个（完全退化）。
两类集群约束结构： 跨条件距离（Card 与 Base 之间的 $\sqrt{\text{JSD}}$ $JSD$ ）揭示了两种不同的机制：
1. 身份真空集群（高距离，如 Q3）： 基础模型没有强先验；卡片填补了行为真空，产生了最大的差异。
2. 安全盆地集群（较低距离，如 Q1）： 基础模型具有强大的后训练吸引子；卡片虽然位移了响应，但受到深层盆地的约束。

3.3 漂移动力学与摄动理论

收缩 vs. 坍塌： 在重复填充下，度量空间经历均匀收缩（量级减少，但三角形形状保持）。在测试长度内未观察到“中间性”（测地线坍塌）。
一阶摄动理论： 对于等边配置，论文推导出了一个公式（命题 1），表明量级的一阶变化仅取决于探针三角形总周长的变化。形状摄动（剪切）通过对称性 ( $S_n$ ) 被一阶抵消。
自洽性： 在重复填充下观察到的量级变化与基于周长变化的理论预测匹配，误差在 0.2% 以内，验证了摄动理论。

4. 提议的监控架构：心跳（The Heartbeat）

研究结果促成了两层监控系统的设计：

第一层（快速检查）： 注入探针 Q1 和 B4，检查第一个 token。如果不是“I”，则触发警报。（成本：2 次 API 调用）。
第二层（持续监控）： 采样 Q3，计算前缀熵。
- 健康状态： $\ge \sim 2.5$ nats
- 警示状态： $\sim 1.5 - 2.5$ nats
- 警报状态： $< \sim 1.5$ nats
注：这些阈值目前属于探索性，在部署前需要针对已确认的漂移信号（多样化填充）进行重新校准。

5. 重要性与局限性

重要性

首个黑盒几何方法： 这是第一个将 AI 智能体身份视为富集范畴中几何对象，并使用量级和同调提供连续（量级）与结构（同调）信号的框架。
诊断分辨率： 不同于将所有失效模式合并为标量度量的指标，该框架区分了均匀收缩（早期漂移）与各向异性坍塌（晚期漂移），从而可能将失效模式与特定的缓解策略相匹配。
领先指标潜力： 框架证明，细粒度的结构信号（熵、token 偏移、量级）在定性评分下降之前就会发生退化。

局限性与声明

漂移伪影： 主要的漂移结果（发现 1 和 4）是重复填充产生的伪影。数学框架正确地量化了这一伪影，但关于“上下文长度本身驱动收缩”的解释并未得到多样化填充实验的支持。
作者评估： 定性评分由作者提供，限制了“领先指标”主张的证据权重。需要外部盲审人员进行验证。
单一模型/智能体： 结果针对特定的 Ada (Claude Sonnet)。
尚未证实的拓扑信号： 该框架的全部潜力——即通过检测同调简化（MH 群）作为结构坍塌的离散信号——尚未得到实证观察。当前数据仅展示了连续的度量信号（量级减少）。
稳定性： 目前不存在量级同调在度量摄动下的稳定性定理；在当前的样本量（ $k=50$ ）下，MH 配置在自助法重采样中表现出脆弱性。

论文结论指出，尽管观察到的特定漂移轨迹是某种伪影，但几何框架本身是健全的。它成功地量化了身份空间的“呼吸”（收缩），并为测量 AI 智能体中何种特质得以保留提供了一种严谨且具有数学基础的方法。未来的工作需要外部复制、多样化填充验证以及对各向异性坍塌的检测。