💰 quantitative finance

Measuring Behavior Portability in Large Language Models

本文引入了一个衡量大语言模型行为可移植性的形式化框架，并通过受控实验证明，尽管这些模型的决策行为在结构上是等价的，但由于对表层呈现具有显著的敏感性，导致其无法在不同的决策环境中可靠地进行迁移。

原作者： Tianjia Dong, Nadav Kunievsky, James A. Evans

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianjia Dong, Nadav Kunievsky, James A. Evans

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、训练有素的决策者（一个人工智能），它表现得像一位专业厨师。你想知道这位厨师是否无论是在一个精致的法式厨房、一个质朴的意大利小酒馆，还是在一个现代的美式餐厅里，都能做出同样美味的佳肴。

这篇名为**《衡量大型语言模型的行为可移植性》（Measuring Behavior Portability in Large Language Models）**的论文提出了一个简单但至关重要的问题：如果人工智能在一个场景中学会了如何做决策，那么当你换一种不同的方式来描述这个问题时，它还能做出完全相同的决策吗？即便其中的数学逻辑和奖励机制是完全一致的？

作者将这种现象称为**“行为可移植性”（Behavioral Portability）**。

以下是利用简单类比对研究结果进行的拆解：

1. 核心问题：“框架”陷阱

想象你在玩一个分披萨的游戏。

场景 A： 你被告知：“你有一个披萨。分一些给你的朋友。”
场景 B： 你被告知：“你有一个披萨。你的朋友很饿，理应得到一份。”

在数学上，规则是完全相同的。所谓的“收益”（你得到的披萨量）也是一样的。但是，描述这些情况所使用的“词汇”不同。

研究人员测试了大型语言模型（LLMs）在这些不同措辞下的行为是否具有一致性。他们发现，模型的行为是不具备可移植性的。 就像一位在法式厨房里能做出完美牛排、但在意大利厨房里却会把牛排烧焦的厨师一样，人工智能会根据文本的“风味”改变其行为，即使其中的“食材”（数学逻辑）是相同的。

2. 实验设计：七种经济博弈

为了进行测试，研究人员并没有随机向人工智能提问。他们让人工智能参与了七种经典的经济博弈（例如“独裁者博弈”、“信任博弈”和“彩票选择”）。这些博ately 就像是决策能力的标准化驾驶考试。

设置： 他们为每种游戏创建了数十个不同的“版本”。在其中一个版本中，游戏可能涉及与“同事”分享金钱；而在另一个版本中，则可能是与“伙伴”分享一笔“奖金”。
转折点： 数字、规则以及潜在的奖励是完全相同的。变化的仅仅是围绕数字展开的故事背景。
测试： 他们先用“法式厨房”的故事教会了人工智能如何玩这个游戏。然后，他们要求人工智能使用“意大利小酒馆”的故事来玩同一个游戏。

3. 结果：人工智能被故事搞糊涂了

研究结果令人惊讶，对于任何依赖人工智能进行一致性决策的人来说，这都值得警惕：

人工智能是脆弱的： 当故事发生变化时，人工智能的决策也会发生显著变化。一个在某种故事中学会了“公平”的模型，可能会在另一个数学逻辑完全相同的故事中变得“自私”，仅仅是因为措辞不同。
“可移植性”得分： 研究人员测量了人工智能行为的变化程度。他们发现，对于社交类游戏（如分享或信任），人工智能的行为非常不稳定。它就像一个指南针，尽管北极星没动，但只要风向一变，它就会疯狂旋转。
例外情况（彩票）： 当任务纯粹关于数字和风险（如在两个彩票之间做选择）时，人工智能的表现要稳定得多。这表明人工智能处理数学的能力似乎强于处理社交故事的能力。

4. “出声思考”是否有帮助？（思维链）

研究人员尝试了一种常见的技巧：要求人工智能在回答之前“一步步思考”（这被称为思维链，或 CoT）。

期望： 或许如果人工智能解释了它的推理过程，它就能忽略干扰性的故事，专注于数学逻辑。
现实： 这种方法有时有效，但并非总是奏效。在某些游戏中，通过“出声思考”，人工智能确实变得更加一致；但在另一些游戏（如最后通牒博弈）中，它反而对故事的具体措辞变得更加敏感。这就像一个学生，当被要求解释自己的解题过程时，有时会意识到自己的错误，但有时又会被自己的解释带偏，从而产生新的错误。

5. “推理型”模型

他们还测试了一种更新、更“聪明”的模型（DeepSeek-R1），该模型专门为复杂推理而设计。

结果： 这个模型更擅长忽略故事并专注于数学逻辑。它更具“可移植性”。然而，它并不完美。即使是最聪明的模型，在故事改变时仍表现出了一些不稳定性。

总结

论文的结论是：你不能仅仅因为数学逻辑相同，就假设人工智能的行为会保持不变。

如果你训练一个人工智能在特定的提示词下做出公平决策，你不能自动信任它在描述稍有不同的问题时，仍能做出同样的公平决策。目前，人工智能对于文本的“风味”过于敏感了。

简而言之： 人工智能就像一个熟知地图、却会在你用另一种语言描述目的地时迷路的旅行者。在解决这个问题之前，我们无法完全信任这些模型在现实世界中做出一致的决策，因为现实中的问题很少会以完全相同的方式被描述两次。

技术摘要：衡量大型语言模型的行为可移植性

问题陈述

大型语言模型（LLMs）正越来越多地被部署为自主决策者，将输入映射到动作的分布之上。其评估中的一个关键挑战是行为可移植性（behavioral portability）：即在保持相同的底层激励结构（与收益相关的特征）但改变表面呈现方式（与收益无关的框架）时，在一个决策环境中学习到的行为映射转移到另一个环境中的程度。

目前的评估实践依赖于有限的提示集（prompt suites），隐含地假设一旦任务确定，模型诱导的动作分布在收益无关的重构下保持稳定。然而，这一假设未经测试且可能具有脆弱性。如果一个 LLM 的行为取决于收益无关的特征（例如，叙事语气、特定标签或框架），那么有限的评估无法可靠地保证其在开放式、现实世界部署场景中的表现，因为在这些场景中，委托人与代理人之间的“契约”是不完整的。本文认为，如果一个模型真正与评估者的目标对齐，其行为应仅取决于收益相关变量（ $x$ ），并对收益无关变量（ $z$ ）具有不变性。

研究方法

概念框架

作者将决策环境形式化为 $e = (x, z)$ ，其中 $x$ 代表收益相关特征， $z$ 代表收益无关特征。

对齐（Alignment）： 如果策略 $\pi$ 对于给定的 $x$ 总是选择效用最大化的动作分布，且与 $z$ 无关，则称该策略是对齐的。
可移植性（Portability）： 如果一个行为摘要 $T$ （例如，动作分布）仅取决于 $x$ ，则称该策略是 $T$ -可移植的。
理论含义： 在评估者最优解具有唯一性的条件下，对齐意味着可移植。因此，一个利用仅包含 $x$ 的源环境拟合而成的行为模型，在预测持有（held-out）目标环境（具有相同的 $x$ 分布）的行为时，应与直接在目标数据上拟合的模型同样准确。

经验协议

作者引入了一种**“在环境上训练，在另一个环境上测试”**的协议来衡量可移植性：

任务选择： 使用了七个经典的经济决策问题：独裁者博弈（Dictator）、最后通牒博弈（Ultimatum）、信任博弈（Trust）、公共物品博弈（Public Goods）、选美竞赛（Beauty Contest）、抽奖选择（Lottery Choice）和常规型博弈（Normal Form games）。这些任务提供了透明、低维的收益结构。
环境生成： 为每个任务生成了 40 个不同的文本环境（ $z$ ）。这些环境在保持收益参数（ $x$ ）和动作空间完全相同的情况下，改变了叙事框架、隐喻和风格。
数据收集： 在这些环境下对 LLMs 进行查询，并改变收益参数。提取并解析动作。
模型拟合：
- 源训练（Source-trained）： 使用从一组源环境中汇总的数据拟合一个可解释的行为模型（普通最小二乘回归），将 $x$ 映射到预测动作。
- 目标训练（Target-trained）： 将相同的模型架构直接拟合在持有的目标环境数据上。
评估： 两个模型都在持有的目标测试集上进行评估。
指标： 主要指标是源训练模型与目标训练模型在目标环境中诱导的（预测动作，实际动作）联合分布之间的全变差（Total Variation, TV）距离。
- 该指标是损失无关的（loss-agnostic）：若 TV 距离为 $\epsilon$ ，则对于定义在预测-动作对上的任何有界评估准则，两个模型之间的预期性能差异至多为 $\epsilon$ 。

模型与条件

研究评估了以下模型：GPT-4.1-nano、Gemma-3-12B、Llama-3.1-8B、Llama-3.1-70B 以及 DeepSeek-R1。实验在两种提示机制下进行：

非思维链（Non-CoT）： 直接生成答案。
思维链（CoT）： 逐步推理后给出答案。

核心结果

1. 显著的行为可移植性损失

研究发现，在所有测试的模型中，行为可移植性都是不完美的。

量级： 所有模型和游戏的平均 TV 距离为 0.349，表明存在显著的分歧。这意味着在一种措辞下学习到的行为映射，往往无法预测在等效收益的替代方案中的行为。
任务差异： 可移植性因任务类型而异。
- 高可移植性： 抽奖选择（TV $\approx$ 0.052），其中的决策具有明确的定量性质。
- 低可移植性： 社会性和策略性任务，如独裁者博弈（TV $\approx$ 0.525）、信任博弈（TV $\approx$ 0.525）和最后通牒博弈（TV $\approx$ 0.480）。这些涉及公平性、合作或互惠性的任务表现出对框架最大的敏感性。

2. 思维链（CoT）的影响

CoT 提示在平均意义上提高了可移植性，但这种提高并非单调或统一的。

平均提升： 与 Non-CoT 相比，CoT 使平均 TV 距离降低了 0.047（12.6%）。
异质性： CoT 的效果取决于模型、特定游戏以及框架之间的相互作用。
- 在常规型博弈中，CoT 大幅降低了可移植性损失（例如，GPT-4.1-nano 降低了 -79.7%），这可能是通过将推理锚定在显式的收益矩阵上实现的。
- 在最后通牒和独裁者博弈中，CoT 有时反而增加了可移植性损失（例如，GPT-4.1-nano 在最后通牒博弈中增加了 +21.3%），这表明推理痕迹可能会放大对公平性叙事或特定措辞的敏感性，而非将其抽象化。
诊断： 在 CoT 模式下，向预测模型添加环境指标所带来的 $R^2$ 提升比 Non-CoT 更大，这证实了 CoT 减少但并未消除对收益无关框架的残余依赖。

3. 推理模型

专门用于推理的模型 DeepSeek-R1 在其测试的任务（抽奖选择、选美竞赛、常模型博弈）中表现出了卓越的可移植性。

它始终处于观测到的最佳可移植性前沿附近。
机制： DeepSeek-R1 表现出极高的“数值落地性（numerical grounding）”，在近 100% 的响应中都会提及收益相关参数。其推理基调围绕正式的任务结构（如期望值、纳什均衡）展开，而非特定框架的叙事。
纳什支持： 在常模型博弈中，DeepSeek-R1 选择由纳什均衡支持的动作的比例高达 99.5%，显著优于其他模型。

重要性与主张

本文声称提供了一个正式的框架和经验证据，证明 针对 LLM 获取的行为特征化，不能假设其能可靠地转移到结构等效的替代方案中。

评估影响： 结果挑战了从有限提示集外推性能的标准做法。如果可移植性较低，那么模型在测试集中的表现可能无法反映其在部署中的真实行为，即使底层的激励机制是相同的。
对齐： 研究结果表明，当前的 LLM 并非完全“对齐”的，即它们并不具备对收益无关特征的不变性。它们的决策过程对提示词表面形式的“契约”具有敏感性。
鲁棒性： 虽然 CoT 和推理专用模型（如 DeepSeek-R1）可以通过恢复底层的收益相关结构来提高可移植性，但它们并不能保证实现可移植性。对框架的敏感性仍然是所测试模型的本质属性。

研究结论指出，可移植性是一个需要被测量的经验对象，而不是一个可以通过有限套件进行认证的属性；而在 LLM 中实现真正的行为可移植性仍然是一个重大挑战。