论文技术总结：电子表格中 AI 代理行动的审计与控制 (Auditing and Controlling AI Agent Actions in Spreadsheets)

1. 研究背景与问题定义 (Problem)

随着 AI 代理（AI Agents）在知识工作（如数据分析、代码生成、文档管理）中的能力不断提升，它们能够自主完成复杂的多步骤任务。然而，现有的 AI 代理系统存在一个核心缺陷：“黑盒”执行模式。

• 缺乏透明度：用户通常只能在任务完成后看到最终结果，无法在中间过程中观察代理的决策逻辑、假设或中间状态。
• 事后审查的局限性：当错误在早期步骤发生并随后续步骤传播时，事后审查（Post-hoc review）往往难以发现根本原因，因为中间推理过程已被“压缩”或隐藏。
• 电子表格的特殊性：在电子表格环境中，代理的决策直接写入用户拥有的单元格中，计算逻辑（公式）与最终产物（数值）是同一对象。如果代理错误地修改了公式或数据依赖关系，用户不仅难以追溯，还可能需要承担错误的责任。
• 现有研究的不足：虽然已有工作尝试通过可视化中间状态或分解任务来辅助用户，但大多数仍假设用户是“输出审查者”而非“执行参与者”。用户缺乏在决策发生时进行干预、修正或探索替代方案的能力。

核心问题：如何在电子表格等结构化知识工作环境中，设计一种机制，使用户能够在代理执行过程中（而非结束后）进行有意义的监督、审计和干预，从而建立校准的信任（Calibrated Trust）并防止错误传播？

2. 方法论 (Methodology)

研究团队提出了 Pista，一个专为 Microsoft Excel 设计的 AI 代理插件，旨在将代理的执行过程分解为可审计、可控制的步骤。

2.1 系统设计：Pista

Pista 的核心理念是“留下痕迹”（Path/Trail），将一次性的任务执行转化为一系列可追溯、可 steer（引导）的步骤。系统包含以下关键设计目标（Design Goals, DG）和特征（Features, F）：

• DG1: 使代理执行可追溯且易于消化

  • F1 分解代理执行 (Decomposing Agent Execution)：代理不再一次性完成所有操作，而是在修改数据、计算逻辑或做出影响后续步骤的决策时暂停。每个步骤被打包为一个逻辑单元。
  • F2 原位解释 (In-situ Explanations)：在每个步骤暂停时，系统提供自然语言解释，说明代理做了什么以及为什么这样做。
  • F3 揭示计算逻辑 (Surfacing Computation Logic)：直接展示底层公式、数据依赖关系和影响的数据范围，而不是仅仅高亮受影响的单元格。这被称为“语义差异（Semantic Diff）”——展示驱动变化的逻辑单元（如公式），而非表面变化（如 500 个单元格）。

• DG2: 支持细粒度干预与探索性优化

  • F4 局部编辑 (Localized Editing)：用户可以在特定步骤直接通过自然语言修正代理的决策（例如：“将增长率保留 3 位小数”），而无需重新提示整个任务。
  • F5 分支探索 (Branching Exploration)：当编辑改变了下游步骤依赖的逻辑时，Pista 会自动创建一个新的执行分支。用户可以像浏览树状图一样在不同分支间切换，比较不同决策路径的结果，同时保留原始分支。

• DG3: 脚手架任务规范与引导探索

  • F6 脚手架任务构建 (Scaffolded Task Formulation)：在执行前，系统生成可编辑的决策列表（如如何处理缺失值），帮助用户明确意图和约束。
  • F7 脚手架问题 (Scaffolding Questions)：在解释下方主动提供追问建议，或在编辑框中提供候选修改方案，帮助用户发现“未知的未知”并探索替代方案。

2.2 研究流程

研究采用了混合方法，包括形成性研究（Formative Study）和总结性评估（Summative Evaluation）：

1. 形成性研究 (N=8)：

   • 目的：识别现有代理在电子表格中的痛点。
   • 方法：构建了一个包含“分解执行”和“局部编辑”功能的原型技术探针（Technology Probe）。
   • 发现：用户面临三大鸿沟：
     • 评估鸿沟：无法深入探究代理的决策理由，难以验证底层逻辑。
     • 执行鸿沟：不敢编辑，因为无法预测修改对后续步骤的级联影响。
     • 构想鸿沟：难以在任务开始前明确约束，或在执行中不知道该如何提问。

2. 总结性评估 (N=16)：

   • 设计：受试者内设计（Within-subjects），每位参与者分别使用 Pista 和 基线代理（Baseline，即功能对等但无分步、无解释、无分支功能的传统代理）完成两个财务分析任务。
   • 任务：基于 SpreadsheetBench 的真实世界电子表格任务（涉及公式构建、数据清洗、条件格式等）。
   • 指标：
     • 理解深度：通过“有声思维”（Think-aloud）分析用户解释的丰富度（过程、机制、公式、错误、具体细节）。
     • 可引导性：检测到的错误数量、修正次数、提示词（Prompt）的数量和长度。
     • 主观感受：通过 Likert 量表评估控制感、信任度、心理努力等。

3. 主要贡献 (Key Contributions)

1. Pista 系统原型：首个将 AI 代理执行分解为可审计、可分支、可局部编辑步骤的电子表格代理系统，实现了从“输出审查”到“过程参与”的范式转变。
2. “语义差异”（Semantic Diff）设计原语：提出了一种新的交互设计模式，即展示驱动变化的计算单元（公式、规则），而非仅仅展示受影响的表面元素（单元格、像素）。这解决了代理单位变化与用户理解单位不匹配的问题。
3. 实证研究证据：通过对照实验证明，让用户参与执行过程（而非仅审查结果）能显著提升：
   • 用户对代理决策的理解深度。
   • 错误检测率和修正效率。
   • 用户的控制感和共同所有权（Co-ownership）意识。
   • 校准的信任（Calibrated Trust）：信任建立在参与和验证过程中，而非盲目接受结果。

4. 研究结果 (Results)

在 N=16 的对比研究中，Pista 相比基线代理表现出显著优势：

• 理解与透明度：

  • Pista 用户提供的解释包含显著更多的定性代码（Mean=4.38 vs 2.94, p=0.015），涵盖了更多机制性解释和公式逻辑。
  • 用户报告能更容易地识别 AI 的更改、理解其背后的理由，并追踪变化（统计显著性 p<0.01）。
  • 用户认为 Pista 的步骤更符合他们自己的思维过程（Process Congruence）。

• 可引导性与效率：

  • 错误检测：Pista 组每会话检测到的问题更多（2.12 vs 1.75）。
  • 交互效率：Pista 组使用的提示词数量显著更少（3.18 vs 4.00），且提示词长度显著更短（12.90 vs 27.63 词）。这是因为“局部编辑”允许用户针对特定节点进行修正，而基线组需要重写整个提示词。
  • 分支探索：94% 的参与者使用了“分支探索”功能，中位使用次数为 3 次，表明用户乐于尝试替代方案。

• 信任与所有权：

  • 用户报告对 Pista 的信任度更高，且这种信任源于“见证构建过程”而非结果本身。
  • 12/16 的参与者表示 Pista 让他们对最终输出有更强的“共同所有权”感，而基线组则感觉像是被动接受“黑盒”产物。
  • 有趣的是，更仔细的检查并没有降低信任，反而增强了信心（Verification-reinforced confidence）。

5. 意义与启示 (Significance)

• 重新定义人机协作：研究挑战了"AI 执行，人类审查”的传统模式，提出在知识工作中，有意义的监督需要人类参与执行过程。这种“共同旅程”（Shared Journey）比单纯的“目的地”（Destination）更重要。
• 信任的构建机制：信任不应是事后的判断，而应是通过交互过程中的透明度和参与感逐步累积的（Accrued Trust）。
• 通用设计原则：
  • 语义差异：对于任何产生结构化产物的 AI 代理（代码、文档、设计），界面应展示驱动变化的逻辑单元，而非表面修改。
  • 持续的构想支持：解决“构想鸿沟”（Gulf of Envisioning）不应仅在任务开始时，而应贯穿整个执行过程，提供上下文相关的修正建议。
• 领域扩展：虽然本研究聚焦于电子表格，但其核心原则（分步执行、语义透明、分支探索）可推广至代码生成、文档写作、数据分析等任何涉及复杂多步骤决策的 AI 应用场景。

总结：Pista 证明了通过设计让 AI 代理“慢下来”并“留下痕迹”，不仅能提高任务的准确性和安全性，还能从根本上改变用户对 AI 的认知和态度，使人类从被动的审核者转变为主动的协作者。