"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction

该论文通过两项研究揭示了当前 AI 代理在协同创作中缺乏对并发用户动作的实时理解能力，进而提出了能解析协作意图并实时自适应的 CLEO 系统，并通过决策模型阐明了人类与代理在委托、指导及并发协作等模式间的动态切换机制。

要点

这篇论文探讨了一个非常有趣的问题：当人类和 AI 一起搞创作（比如设计网页）时，我们该如何配合？

想象一下，你正在和一个超级助手一起装修你的梦想房子。

1. 以前的模式：像“点外卖”

在传统的 AI 模式下，你就像在点外卖。

• 你：告诉 AI“我要一个红色的按钮，放在左上角”。
• AI：关起门来，在厨房里（后台）默默干活。你什么都看不见，只能干等着。
• 结果：AI 端上来一个盘子，你一看：“哎呀，我要的是深红，不是粉红！而且位置偏了！”
• 问题：这时候你只能把盘子退回去，重新点。整个过程是串行的（你等它，它做完你再动），效率很低，而且你完全失去了对过程的掌控感。

2. 论文的核心发现：我们需要“开放式厨房”

这篇论文的研究人员发现，人类之间的合作（比如两个人一起用 Figma 画图）之所以高效，是因为透明和同步。

• 你能看到对方正在画哪条线。
• 你能看到对方正在思考什么。
• 如果对方画歪了，你可以立刻伸手帮他扶正，或者自己顺手在旁边加个装饰，不用等对方停下来。

研究人员问：如果 AI 也能像真人搭档一样，让我们看到它正在“画”什么，并且允许我们在它干活的时候直接插手，会发生什么？

3. 实验过程：从“透明”到“懂你”

第一阶段：只给“透明厨房”（Study 1）

研究人员做了一个原型，让 AI 在屏幕上一步步地展示它是怎么画图的（比如先画个框，再填色）。

• 发现：这很好！设计师们不再瞎等，他们能看到 AI 的意图，甚至能提前准备下一步。
• 新问题：但是，当设计师想趁 AI 还在画的时候，自己顺手改一下颜色，AI 就懵了。AI 分不清设计师是在“提建议”（帮它改错），还是在“自己干别的”（比如设计师自己在旁边画个别的图）。结果 AI 经常把设计师的修改给覆盖掉，或者搞混了。

第二阶段：给 AI 装上“读心术”（Study 2 - Cleo）

于是，他们开发了一个叫 Cleo 的新 AI 助手。Cleo 不仅让你看到它在干活，还能读懂你同时在做的事情。

• Cleo 的能力：
  • 如果你盯着它看，它知道你在观察。
  • 如果你直接动手改它画的按钮，它知道你在纠正它（“嘿，这个颜色不对，改成蓝色”）。
  • 如果你把它画好的图复制走，自己在那边接着改，它知道你在借用它的成果，它会继续干别的。
  • 如果你突然开始忙自己的事，不理它了，它知道你可以放手让它自己干。

4. 关键发现：人类和 AI 的“共舞”

研究人员记录了 214 次互动，发现人类和 AI 的配合并不是非黑即白的（要么全权委托，要么完全控制），而是像跳舞一样，有五种灵活的舞步：

1. 放手（Hands-off）：你太忙了，或者完全信任它，直接让它自己跳完这支舞。
2. 围观（Observational）：你一边忙自己的，一边时不时瞥一眼，看看它跳得对不对。
3. 指令（Directive）：你发现它跳错了，大声喊停或给个口头指令：“停！往左一点！”
4. 终止（Terminating）：它跳得太烂了，你直接把它踢下舞台，自己来。
5. 共舞（Concurrent）：这是最精彩的！ 你们同时在舞台上。
   • 场景 A：它在画背景，你顺手把前景的装饰加上了。
   • 场景 B：它画了一半，你觉得这个配色不错，直接把它“抢”过来自己微调，让它继续去画别的。
   • 场景 C：你直接动手改它正在画的线条，它立刻明白你的意图，顺着你的修改继续画。

数据表明：在 214 次互动中，有 31.8% 的时间，人类和 AI 是同时在工作的。这打破了“一人一句”的死板模式。

5. 什么时候该放手？什么时候该插手？（决策模型）

论文总结了一套“决策地图”，解释了设计师是如何在“放手”和“插手”之间切换的：

• 触发点（Trigger）：
  • 灵感迸发：看到 AI 画的中间效果，你突然有了新点子，于是立刻上手改。
  • 方向跑偏：AI 理解错了，你赶紧喊停或纠正。
  • 质量下降：AI 做得太慢或太丑，你直接接管。
• 决定因素（Enabling Factors）：
  • 心里有数吗？：如果你刚用 AI，你会一直盯着看（围观）；如果你很熟，你就敢放手。
  • 谁更重要？：如果你手头有急事，你就让 AI 自己干（放手）；如果你没事干，你就去帮它（共舞）。
  • 怎么改最顺手？：有时候直接动手改比说话解释更简单，你就会选择“共舞”。

6. 总结与启示

这篇论文告诉我们，未来的 AI 助手不应该只是一个“执行命令的机器”，而应该是一个懂眼色、能配合的合作伙伴。

• 好的 AI 应该像那个懂你的舞伴：当你想自己跳时，它退后一步；当你需要它领舞时，它立刻跟上；当你想改动作时，它能瞬间理解并调整，而不是把你推开。
• 核心价值：这种**“并发协作”**（Concurrent Interaction）让创作过程变得像人类之间的默契配合，既保留了 AI 的效率，又保留了人类的创造力和掌控感。

一句话总结：
未来的 AI 设计，不是让你对着它发号施令然后干等，而是让你和它并肩作战，它干活时你能随时插手修正，你忙时它能独立搞定，大家像真正的搭档一样，在同一个画布上同时挥洒创意。

技术摘要

这篇论文《"When to Hand Off, When to Work Together": Expanding Human-Agent Co-Creative Collaboration through Concurrent Interaction》（何时放手，何时协作：通过并发交互扩展人机共创协作）深入探讨了人机协作从传统的“轮流交互”（Turn-taking）向“并发交互”（Concurrent Interaction）转变的可能性与机制。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状局限： 在人类之间的协作（如 Figma、Google Slides）中，协作伙伴通过过程可见性（Process Visibility）和工作空间感知（Workspace Awareness）进行动态协调，能够实时看到对方的操作并即时干预。然而，现有的 AI 代理（Agents）通常仅提供最终输出，或者仅展示只读的执行过程（如规划、推理文本），无法理解用户在共享工件上的并发操作。
• 核心挑战： 现有的 AI 代理缺乏协作情境感知（Collaborative Context Awareness）。它们无法区分用户是在提供“反馈/修正”（需要代理适应），还是在进行“独立并行工作”（应被保留），亦或是在进行“共同编辑”。这导致用户难以在代理执行过程中进行实时干预，限制了人机共创的流畅性。
• 研究目标： 探索 AI 代理能否超越“只读过程透明”，实现真正的协作情境感知，即实时解释用户在共享工件上的并发操作并动态调整执行策略。

2. 方法论 (Methodology)

研究采用了两个阶段的设计探针（Design Probes）和两项用户研究：

研究 1：初步技术探针 (Study 1)

• 系统原型： 在 Figma 中实现了一个具备过程透明性的代理系统。
  • 交互模式： 语音指令 + 对象引用。
  • 过程透明： 代理通过执行具体的 Figma 工具操作（如画矩形、调整样式）逐步展示工作过程，而非直接生成结果。
  • 存在感感知： 代理在画布上显示虚拟光标和状态，让用户知道代理正在关注哪个区域。
• 参与者： 10 名专业 UI/UX 设计师。
• 任务： 完成细粒度（单页面部分）和粗粒度（整个落地页）的设计任务。
• 发现： 过程透明性让用户能够预判代理行为并适时干预，但系统无法区分用户的“反馈”和“独立工作”，导致冲突。用户期望在代理执行时能直接介入（并发协作），但现有系统缺乏理解这种意图的能力。

研究 2：Cleo 系统与深入分析 (Study 2)

• 系统原型 (Cleo)： 基于 Study 1 的反馈，开发了 Cleo (Collaborative Linked Executive Operator)。
  • 核心创新： 引入了协作情境感知模块。
  • 技术架构改进： 在 ReAct 代理架构中增加了三个关键模块：
    1. 用户变更检测模块 (User Change Detection)： 实时监测代理响应期间画布上的变化。
    2. 归因变更模块 (Attribution Change)： 区分操作是代理执行的还是用户修改的。
    3. 计划更新模块 (Plan Update)： 根据用户修改（冲突或新方向）动态更新代理的后续执行计划。
  • 功能： 支持用户随时终止、并发编辑同一元素、或通过语音/直接操作进行干预。
• 参与者： 10 名具有 2 年以上经验的专业设计师。
• 流程： 为期两天的研究。
  • 第一天： 用户与 Cleo 协作完成两个设计任务（封闭式和开放式），系统记录交互日志。
  • 第二天： 基于可视化的交互日志进行刺激回忆访谈 (Stimulated Recall Interviews)，深入分析用户行为背后的动机。
• 数据分析： 对 214 个交互回合 (Turns) 进行了定性编码，分析用户行为模式、触发因素和促成因素。

3. 关键贡献 (Key Contributions)

1. 并发人机交互的行为模式分类： 定义了用户在代理执行期间的 5 种行为模式和 10 种具体代码：
   • 放手 (Hands-off)： 完全委托，不干预。
   • 观察 (Observational)： 监控但不干预。
   • 终止 (Terminating)： 停止代理工作。
   • 指令 (Directive)： 通过语音指令调整方向。
   • 并发 (Concurrent)： 核心贡献。包括现场共同编辑 (In-situ co-editing)、机会性接管 (Opportunistic takeover)、工件接管 (Artifact takeover) 和基于演示的引导 (Demonstration-based steering)。
2. 人机协作决策模型： 提出了一个包含 6 个交互循环 (Interaction Loops) 的决策模型。该模型解释了用户如何基于 6 种触发因素（如：灵感迸发、任务理解偏差、执行质量下降等）和 4 种促成因素（如：心智模型、任务优先级、干预偏好、对代理能力的预期）在“放手”、“指令”和“并发”模式之间动态切换。
3. 设计启示 (Design Implications)： 为构建自适应协作代理提供了具体指导，包括：
   • 通过执行里程碑实现时间协调。
   • 支持多粒度的干预（细粒度编辑 vs. 粗粒度接管）并解读其信号意义。
   • 利用视口和光标信号预测干预意图并主动暂停。
   • 将代理的光标/存在作为显式的协作信号。
4. 数据集发布： 公开了包含 214 个交互回合的标注数据集，包含操作日志、触发因素和设计者理由。

4. 主要结果 (Results)

• 交互分布： 在 214 个交互回合中：
  • 放手 (Delegation)： 70.1%（用户完全信任并让代理独立工作）。
  • 并发工作 (Concurrent Work)： 31.8%（用户与代理同时操作同一工件）。
  • 指令干预 (Directive Intervention)： 28.5%（通过语音或指令调整）。
  • 注：一个回合可能包含多种行为模式（例如先观察，后并发）。
• 触发因素分析：
  • 并发触发： 代理工作激发新灵感、需要早期结果可见性、准备进行精细化细节调整。
  • 混合触发： 任务理解偏差、执行质量下降（可导向并发、指令或终止）。
  • 终止/指令触发： 出现新任务需求。
• 促成因素分析： 用户是否具备代理的心智模型、当前任务的优先级、偏好的干预方式（语音 vs. 直接操作）以及对干预效果的预期共同决定了用户选择何种模式。
• 动态性： 协作不是静态的。用户会根据代理的进展和自身任务的变化，在“放手”和“观察/干预”之间流畅切换。例如，当用户忙于自己的高优先级任务时会选择“放手”，一旦任务完成或代理出现偏差，立即切换为“并发”或“指令”。

5. 意义与影响 (Significance)

• 理论突破： 挑战了人机交互中传统的“提示 - 输出”循环，证明了在创意领域，并发交互是可行且必要的。它揭示了人机协作与人人协作的异同（如人机协作中“低成本修正”和“随意终止”的独特优势）。
• 技术方向： 强调了 AI 代理必须具备实时情境感知能力，能够区分“反馈”与“独立工作”，并据此动态调整执行计划，而不仅仅是被动执行命令。
• 设计实践： 为 Figma、编程助手等创意工具的开发提供了具体蓝图。未来的代理不应只是“黑盒”生成器，而应是透明的、可干预的、具备共同工作空间感知能力的合作伙伴。
• 跨领域扩展： 提出的原则（如将中间产物实体化为可操作对象）可推广至代码生成、写作、网页浏览等其他领域，尽管具体表现形式需根据领域调整。

总结： 该论文通过构建具备情境感知能力的 Cleo 系统，实证了人机共创中并发交互的可行性，并建立了一套完整的理论模型和设计指南，推动了 AI 从“工具”向“协作伙伴”的范式转变。