技术摘要：信息可信度对 AI 说服力的影响

问题陈述

当前关于大语言模型（LLM）智能体之间策略性通信的研究主要依赖于一种二元理论框架：要么是“廉价谈话”（信息是无成本且不可验证的），要么是“充分披露”（信息是完全可验证的）。这种二分法无法捕捉现实中的高风险领域——如保险理赔、招聘和合规审计——其中信息具有概率性可信度。在这些场景中，智能体必须在可验证的证据、主观叙述和不可验证的断言之间进行权衡。本文认为，现有的模型无法充分解决这种“混合可信度”机制下的策略动态，在这种机制中，验证是有成本的，证据是随机的，且智能体必须在说服力与被检测风险之间取得平衡。

方法论：MIXTALK 框架

为了填补这一空白，作者引入了 MIXTALK，这是一种专门为 LLM 对 LLM 交互设计的策略性通信博弈，它明确地对部分信息可信度进行了建模。

游戏结构

MIXTALK 是一个涉及两个智能体的非完全信息序贯扩展型博弈：

1. 发送者 ($S$)： 拥有私有的多属性信息 $\theta$。发送者构建一条消息 $m$，该消息策略性地结合了：
   • 可验证断言： 由工具可检查的证据支持的硬事实。
   • 不可验证断言： 无法直接验证的软叙述或断言。
   • 遗漏： 对信息的策略性隐瞒。
     发送者在进行显性断言时会产生成本，并且如果被发现存在针对可验证事实的公然谎言，则会面临惩罚。
2. 接收者 ($R$)： 观察消息并拥有一套验证工具 $\mathcal{T}$。接收者必须：
   • 选择性地查询工具以验证特定断言（这会产生成本并面临噪声/概率性结果）。
   • 基于消息、验证结果和先验信念来推断发送者的私有状态 $\hat{\theta}$。
   • 优化其效用函数，在预测准确性与验证成本之间进行权衡。

智能体实现

研究通过 ReAct 架构，使用现成的 LLM（如 GPT-5-mini, Grok-4.1, Kimi-K2）实例化了发送者和接收者智能体。智能体仅依赖于内部推理、工具使用和 API 访问，而不依赖于专门的训练或定制的辅助工具。这种设计隔离了当前 LLM 固有的策略能力。

评估协议

作者在三个受部署启发的场景中进行了大规模的面对面锦标赛测试：

1. 招聘： 应聘者的自我呈现 vs. 筛选者的推断。
2. 医疗保险理赔： 叙述驱动的理赔 vs. 受限的验证预算。
3. 二手车挂牌： 市场说服 vs. 有限的检查能力。

这些场景在两种属性集大小（12 和 24 个属性）以及五种不同的游戏结构下进行测试，总计 30 个环境变体。性能评估使用平均效用、Bradley-Terry 分数以及用于处理非传递性交互的 $\alpha$-Rank。

核心贡献

1. MIXTALK 测试平台

主要贡献在于将一个可扩展的、参数化的环境形式化，用于研究混合可信度下的策略性通信。与以往工作不同，MIXTALK 集成了：

• 部分可验证性： 断言可以以不同的可靠性和成本进行检查。
• 策略性遗漏： 沉默是模糊的，而非纯粹的信息性。
• 双向成本： 发送者为断言付费；接收者为验证付费。
• 威慑机制： 对可验证事实的公然谎言会受到惩罚，从而将策略转向校准后的披露，而非不受约束的捏造。

2. 可信度推理的行为指标

论文提出了一套追踪级指标，用于分析超越简单胜负率的智能体行为：

• 发送者指标： 节俭度（成本效率）、遗漏（隐瞒）、捏造（针对可验证事实的谎言）、夸张（夸大不可验证的事实）以及 逻辑严密性（论证质量）。
• 接收者指标： 怀疑度（对断言的不信任）、悲观度（对遗漏信息的保守推断）、偏执度（对真相的错误怀疑）以及 判断力（预测准确性）。

3. 锦标赛先知策略蒸馏 (TOPD)

为了在不进行微调的情况下提高智能体的鲁棒性，作者引入了 TOPD，这是一种离线的、仅基于提示词的方法：

• 先知策略： 从锦标赛日志中识别出针对特定发送者的表现最佳的接收者。
• 蒸馏： 采样高质量的片段，筛选出对强力对手具有鲁棒性的样本，并将其总结为以结构特征（如可验证程度）为条件的“剧本”。
• 部署： 在推理时将此总结注入接收者的上下文，以指导验证和信念更新。

实验结果

策略动态与非传递性

• 对手依赖性： 性能高度依赖于特定的发送者-接收者配对。
• 非传递性： 在“大型”环境中，作者观察到了循环支配现象（例如，$A$ 胜过 $B$，$B$ 胜过 $C$，$C$ 胜过 $A$），标准的传递性排名无法捕捉这些循环。$\alpha$-Rank 分析证实了这些循环的存在。
• 角色专业化： 发送者与接收者能力之间存在强烈的反比关系。擅长作为发送者的模型（如 Kimi-K2）在作为接收者时往往表现较差，反之亦然（如 Gemini-3-Flash-Preview）。
• 鲁棒性： GPT-4.1-mini（非推理模型）在策略设置中表现不佳，而像 Grok-4.1 和 GPT-5-mini 这样的模型在两种角色中都能实现平衡的表现。

TOPD 的影响

应用 TOPD 显著提高了接收者的鲁棒性。通过蒸馏锦标赛先知策略，接收者实现了：

• 减少遗憾（更接近于观察到的最佳接收者的表现）。
• 在多样化环境及各种发送者面前提升了整体效用。
• 提高了有效分配验证精力的能力，且无需更新模型权重。

意义与主张

论文声称 MIXTALK 提供了第一个可扩展的经验测试平台，用于理解 LLM 智能体如何在现实的混合可信度机制下进行信息可信度推理。它证明了：

1. 当前的 LLM 表现出截然不同的、通常是专业化的策略行为，且这些行为因角色（发送者 vs. 接收者）而异。
2. 通信的“二元”观点（廉价谈话 vs. 充分披露）不足以模拟验证成本高昂且具有概率性的现实智能体交互。
3. TOPD 提供了一种实用的、无需训练的机制，通过利用锦标赛衍生的洞察来增强智能体的鲁棒性，这表明上下文优化可以有效地减轻高风险 AI 交互中的说服漏洞。

作者将这项工作定位为理解并缓解在 AI 智能体日益介入高风险决策的关键领域中，由于对齐失效和操纵风险所带来的必要步骤。