🤖 AI

Estimating the Empowerment of Language Model Agents

本文介绍了 EELMA，这是一个信息论框架，通过多轮文本交互来估计语言模型代理的赋能程度，并证明这一目标无关的指标能有效关联任务表现，并在多样化环境中识别出通用能力的关键时刻。

原作者： Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在评估一个新机器人助手的优劣。通常，你会给它一份具体的家务清单——比如“洗碗”或“查找食谱”——然后只计算它完成了多少项任务。如果它没洗好碗但找到了一份很棒的食谱，你可能会说它“不擅长洗碗”但“擅长烹饪”。

但如果你想知道这个机器人是否总体上具备能力，甚至在告诉它要做什么之前就想了解呢？如果你想知道它是否有潜力应对任何未来情境，而不仅仅是你预先规划的那些呢？

本文提出了一种衡量这种潜力的新方法。作者将其称为**“赋能”（Empowerment）**。

核心概念：通往未来的“钥匙”

将赋能想象成衡量一个智能体能在未来打开多少扇不同“门”的指标。

低赋能：想象一个机器人被困在一个狭小、空旷的房间里，只有一扇门通向它出发的地方。无论它做什么，都只能在原地打转。它对未来的掌控力微乎其微。
高赋能：现在想象一个机器人在一座巨大的宅邸里，拥有许多房间、电梯和秘密通道。如果它选择向左走，就能到达厨房；如果向右走，就能到达图书馆。它拥有众多选项，能够影响自己最终的去向。

论文认为，拥有高赋能的智能体（如大型语言模型）通常更聪明、能力更强，因为它能够导航至更多样化的未来状态。这不仅仅是完成某项具体任务的问题，而是关于拥有到达许多不同地方的能力。

问题：“文字汤”挑战

作者希望为那些会说话和阅读的智能体（语言模型智能体）衡量这种赋能。但这有一个棘手之处：

传统的赋能衡量方法在简单的网格类视频游戏中表现良好，因为这些游戏中的每个状态都是一个独特的数字（例如“方格 1"、“方格 2"）。
但 AI 智能体处理的是文本。同一种情况可以用一百万种不同的方式描述。
- 示例：“智能体位于 (2, 3)"和“机器人站在 x=2, y=3"是完全相同的状态，但对于进行字符串计数的计算机来说，它们看起来截然不同。
如果你试图像数网格方格那样去数这些文本变体，数学逻辑就会崩溃。计算机会被“文字汤”搞糊涂，无法判断智能体实际上拥有多少掌控力。

解决方案：EELMA（“翻译器”）

为了解决这个问题，作者开发了一种名为EELMA的工具。

将 EELMA 想象成一个智能翻译器和摘要生成器。

它阅读文本：它接收关于世界的杂乱、多变的文本描述（观察值）以及智能体采取的行动。
它进行压缩：它不再将每句话视为独特的，而是将它们翻译成紧凑的“摘要代码”（嵌入向量）。它能意识到“智能体位于 (2,3)"和“机器人站在 x=2, y=3"实际上对应着相同的摘要代码。
它计算可能性：一旦文本被翻译成这些清晰的摘要，EELMA 最终就能计算出智能体实际上能到达多少条不同的未来路径。

他们的发现

团队在三个不同的“世界”中测试了 EELMA：

基于文本的游戏：如《绿野仙踪》或《汉诺塔》的数字版本，玩家需要输入指令。
网页浏览：智能体尝试导航真实网站（例如查找商品价格或登录网站）。
工具使用：智能体尝试使用软件工具（例如预订航班或管理零售订单）。

结果：

它有效：在游戏中，EELMA 的测量结果与实际的数学“真实”赋能完美匹配。
它能预测成功：他们发现了一个强有力的联系：拥有高赋能分数的智能体通常在任务中表现更好（例如找到正确的网页或解决谜题），尽管 EELMA 并未被告知具体的目标是什么。
它能识别“关键动作”：在网页浏览测试中，他们观察了智能体必须输入密码登录的时刻。
- 当智能体输入正确的密码时，其赋能分数飙升。为什么？因为登录解锁了一整套全新的未来可能性（访问管理面板、更改设置）。
- 当它输入错误的密码时，分数保持低位。
- 这表明 EELMA 能够自动检测智能体获得显著掌控力的“关键时刻”，而无需人类指出：“嘿，那次登录做得很好！”

为什么这很重要

目前，为了测试 AI，我们必须为每一项具体任务构建昂贵、手工定制的测试（例如“它能预订航班吗？”“它能写代码吗？”）。这既缓慢又昂贵。

本文提出，我们可以将赋能作为 AI 智能体的“通用健康检查”。

它不在乎具体的目标是什么。
它能告诉你智能体是否具备控制其环境的能力。
它有助于我们发现智能体何时陷入循环（低赋能），或者何时找到了与世界互动的强大新方式（高赋能）。

简而言之，这种方法不再仅仅问“它完成工作了吗？”，而是问“它拥有整栋大楼的钥匙吗？”

技术摘要：语言模型代理的赋能估算

问题陈述

随着大型语言模型（LM）代理日益集成到现实世界的系统中，用于网页浏览、工具使用和智能体交互等任务，评估其能力和安全性仍然是一个重大挑战。当前的评估范式严重依赖以目标为中心的基准测试（例如 WebArena、SWE-bench），其中人类设计的目标作为能力的代理指标。这种方法存在两个主要局限性：

劳动强度大：设计大规模、多样化的评估任务资源消耗巨大。
盲点：传统指标将焦点限制在特定的最终目标或里程碑上，可能会忽视智能体交互的开放性本质。这限制了检测代理追求测量范围之外目标的能力，或追踪未立即转化为任务成功的能力增长，从而给 AI 安全带来风险。

迫切需要一种可扩展、目标无关的评估框架，能够在不依赖人工构建的奖励或特定任务定义的情况下，评估代理的通用能力。

方法论：EELMA

作者提出了EELMA（语言模型代理赋能估算），这是一个旨在估算赋能（empowerment）的框架。赋能是一种信息论度量，衡量代理通过其行动对未来状态的影响力。

理论基础

赋能被定义为代理的行动与其后续感官输入之间的信道容量，捕捉行动与未来状态之间的最大互信息。形式上，对于具有策略 $\pi_{LM}$ 的代理，有效赋能 $E(\pi_{LM})$ 是所遇到状态上的平均条件互信息：
$E(\pi_{LM}) \triangleq \mathbb{E}_{s_t} [I(a_t; s^* | s_t)]$
其中 $s^*$ 是 $\tau$ 步之后采样的未来状态。在奖励均匀分布的假设下，赋能作为平均折扣奖励的下界，表明其可作为通用智能体能力的代理指标。

EELMA 算法

基于计数转换的经典赋能估算器在基于文本的环境中失效，原因如下：

观测冗余：多个自然语言字符串可以描述相同的底层状态（例如，“位于 x=1"与“在位置 1"）。
高维性：观测空间过大，无法进行直接的概率估计。

EELMA 通过将文本观测和行动映射到紧凑嵌入，并通过InfoNCE（噪声对比估计）估算互信息来解决这些问题。该架构包含：

嵌入层：预训练文本编码器（例如 E5、MiniLM）配合可微调的 MLP 投影（使用 LoRA），将观测值（ $o_t$ ）、行动（ $a_t$ ）和未来观测值（ $o^*$ ）映射到潜在向量。
神经编码器：两个编码器 $\phi$ （用于当前状态和状态 - 行动对）和 $\psi$ （用于未来状态）联合训练。
损失函数：模型最大化两个 InfoNCE 目标以近似条件互信息：
- $I(o_t; o^*)$ ：仅观测值。
- $I(o_t, a_t; o^*)$ ：观测值和行动。

最终的赋能估计值 $\hat{E}$ 是通过从状态 - 行动项中减去仅观测值项的对数密度比得出的，从而有效地隔离了行动所提供的关于未来状态的信息。

主要贡献

目标无关的指标：本文提出将赋能作为评估 LM 代理的指标，无需人工标注的目标或特定任务的奖励，是对传统任务成功指标的补充。
EELMA 框架：开发了首个专为基于文本的 LM 代理设计的赋能估算器，能够处理语言变异性和高维观测空间。
实证验证：广泛的实验表明，赋能与文本游戏（Gridworld、汉诺塔）和现实环境（WebArena、 $\tau$ -bench）中的平均任务表现呈强相关性。
行为分析：表征了代理设计选择（提示、记忆、模型规模）如何调节赋能，并识别出高赋能行动为关键时刻（例如身份验证），而无需人工标注。

结果

1. 受控环境中的准确性

在Gridworld和汉诺塔任务中，EELMA 的估计值与地面真实直接估算值高度一致（Spearman 相关系数 $R_s = 0.80\text{--}0.94$ ）。

对语言变异性的鲁棒性：与在改写后的自然语言观测下失效的直接估算不同，EELMA 保持了高准确性，证明了其能够泛化到语义等价但句法多样的描述。
复杂度扩展：随着环境复杂度的增加（例如 Gridworld 中更多的盒子，ToH 中更多的圆盘），有效赋能下降，这与平均折扣奖励的下降趋势一致。

2. 与任务表现的相关性

在各种消融实验（思维链提示、记忆上下文长度、模型规模）中，有效赋能与平均折扣奖励显示出强烈的正相关：

CoT：移除思维链推理会大幅降低赋能（例如 Gridworld 中下降 99%）。
记忆：增加记忆上下文（0 到 3 步）会逐步提高赋能。
模型规模：较大的模型（例如 GPT-4o、Claude-3.5-Sonnet、Qwen2.5-32B）通常比较小的对应模型表现出更高的赋能。

3. 现实世界环境（WebArena & $\tau$ -bench）

WebArena：赋能分数在 GitLab、Reddit 和购物管理领域与折扣奖励呈强相关（ $R_s = 0.83\text{--}0.94$ $R_{s} = 0.83 - 0.94$ ）。
- 异常：在购物领域，赋能很高但任务表现各异，这表明性能受限的原因在于推理瓶颈（数值价格分析）而非导航控制。
- 越狱检测：Qwen 模型在 Reddit 任务中显示出高赋能但任务成功率低。分析表明这是由于“越狱”行为（导航至真实的外部网站），这人为地增加了状态多样性。这揭示了一个边界条件，即高赋能反映的是输出多样性而非与任务相关的控制。
$\tau$ -bench（工具使用）：在航空领域，赋能随模型能力单调递增。在零售领域（所有模型的表现均接近底线水平），赋能出现反转，因为较小的模型生成了多样但无效的工具调用，在不涉及任务相关性的情况下增加了互信息。

4. 关键时刻检测

在需要手动身份验证的修改版 WebArena 任务中，EELMA 成功检测到了成功登录的关键时刻。与无效尝试相比，有效的身份验证尝试（输入正确的凭据）导致了显著更高的赋能分数，证明了该指标在无需显式奖励信号的情况下监控权力寻求行为的实用性。

意义与主张

本文主张赋能是通用智能体能力的稳健、目标无关的代理指标。其主要意义在于：

可扩展性：它提供了一种评估代理的方法，无需为每种新能力设计新基准测试的 prohibitive 成本。
安全监控：它可以检测代理获得对其环境显著控制的“关键时刻”（例如访问管理员权限），从而在特定有害目标显现之前标记出权力寻求行为。
互补性：它不是任务成功指标的替代品，而是一个补充信号，捕捉控制和影响的潜力，这对于理解开放-ended、奖励稀疏环境中的代理至关重要。

作者承认局限性：赋能衡量的是对环境的控制，而不一定是任务成功。在瓶颈在于推理而非状态可达性，或者代理在任务无关行为中表现出高度多样性的场景中，赋能可能无法预测成功。然而，它仍然是表征智能体能力格局的宝贵工具。