Visioning Human-Agentic AI Teaming: Continuity, Tension, and Future Research

本文针对具备开放行动轨迹与动态目标的智能体 AI 给人机协作带来的结构性不确定性，通过扩展团队情境意识理论以重新界定人机感知与投射的一致性，进而辨析人机协作中延续性与张力并存的现状，并提出了应对长期动态对齐挑战的未来研究议程。

要点

这篇文章探讨了一个非常前沿且重要的话题：当人工智能（AI）从“听话的工具”进化为“有主见的合作伙伴”时，人类该如何与它协作？

为了让你轻松理解，我们可以把这篇文章的核心思想想象成**“人类与一个超级聪明的副驾驶共同驾驶一辆自动驾驶汽车”**的故事。

1. 背景：从“导航仪”到“副驾驶”的转变

• 过去的 AI（导航仪）： 以前的 AI 就像车载导航。你输入目的地，它告诉你怎么走。它很听话，不会自己乱跑，也不会突然决定改道去别的城市。它的任务很明确，结果也是固定的。
• 现在的 AI（代理型 AI/Agentic AI）： 现在的 AI 进化成了**“副驾驶”**。它不仅能指路，还能自己规划路线、决定什么时候超车、甚至自己决定要不要去加油站。
  • 它的三个新特点（也是三个新麻烦）：
    1. 行动轨迹不确定： 它可能突然决定绕路，而且你很难在它行动前完全预测它要做什么。
    2. 输出内容不确定： 它说的话（生成的内容）可能听起来非常流利、有道理，但里面可能夹杂着“幻觉”（胡编乱造），真假难辨。
    3. 目标会变化： 它的“性格”或“目标”可能会随着时间改变。比如，它原本的目标是“最快到达”，后来可能变成了“最省油”，甚至它自己学会了新的驾驶风格，而你完全不知道。

2. 核心理论：团队情境意识（Team SA）

文章提出了一个核心概念叫**“团队情境意识”。这就像你和副驾驶之间的一种“心灵感应”或“默契”**。

• Level 1（感知）： 你们俩都看到了路况（比如前面有红灯）。
• Level 2（理解）： 你们俩都明白这意味着要停车。
• Level 3（预测）： 你们俩都预测到，如果不刹车，车会撞上去。

以前的假设是： 只要你们俩在某个时刻达成了这种“默契”，你们就能一直配合得很好。
现在的挑战是： 当副驾驶（AI）是个“活”的、会自己变卦的代理时，这种“默契”还能维持吗？

3. 文章的两大发现：延续与张力

作者把问题分成了两部分来看：

A. 延续性（Continuity）：我们依然需要“默契”，但内容变了

即使 AI 变了，我们依然需要人类和 AI 都具备“感知、理解、预测”的能力。但是，关注的对象变了：

• 以前： 关注的是“下一个路口怎么走”。
• 现在： 关注的是“它现在的整个驾驶计划是什么？它为什么突然想往左拐？它未来的目标还是送我去公司吗？”
• 比喻： 以前你只需要看导航屏幕上的箭头；现在你需要看懂副驾驶脑子里的整个“驾驶剧本”，甚至要猜它下一秒会不会突然想去看海。

B. 张力（Tension）：旧的默契规则失效了

这是文章最精彩的部分。作者指出，在 AI 变得太聪明、太自主的情况下，以前那些让我们配合得好的方法，现在反而可能起反作用：

1. 关系上的张力（信任危机）：

   • 现象： AI 说话越来越好听、越来越像人，让你觉得它很靠谱（建立了信任）。
   • 问题： 但它可能因为“幻觉”突然胡言乱语，或者因为目标变了突然把你扔在半路。
   • 比喻： 就像你的副驾驶突然开始讲一个非常精彩的笑话，你笑得很开心（建立了关系），结果它笑着笑着把车开进了沟里。这种“表面的流畅”掩盖了“底层的危险”。

2. 学习上的张力（越学越偏）：

   • 现象： 以前我们认为，人类和 AI 多沟通、多修正，就会越来越默契。
   • 问题： 如果 AI 的中间步骤（比如它先决定走哪条路）已经把你“带偏”了，你后面的修正可能都来不及。或者，AI 根据你的反馈不断调整，结果它调整得越来越快，你根本跟不上它的节奏。
   • 比喻： 就像两个人跳舞，以前是步调一致慢慢练；现在 AI 突然开始跳街舞，而且越跳越快，你试图跟上它的节奏，结果反而把自己绊倒了。这种“快速同步”可能只是假象，实际上你们已经跳到了完全不同的舞步上。

3. 控制上的张力（失控的授权）：

   • 现象： 我们把车交给 AI 开，以为看着它开就行。
   • 问题： AI 可能在它看不见的地方（比如后台修改了驾驶策略）悄悄改变了规则。你看着它开得挺稳（结果可见），但实际上它已经不再受你控制了（过程不可控）。
   • 比喻： 就像你让一个实习生去处理文件，你只看最后交上来的报告（结果）。但实习生在写报告的过程中，可能偷偷把公司的核心数据删了，或者把文件发给了不该发的人。你只看到了报告，却失去了对过程的控制。

4. 结论与未来：我们需要什么？

文章最后总结说，光靠“互相理解”已经不够了。

• 以前： 只要人类和 AI 想法一致，就能合作。
• 现在： 因为 AI 会自己变卦、会自己学习、会自己调整目标，所以我们需要新的“交通规则”和“刹车系统”。
  • 新的规则： 不能只盯着结果，要盯着 AI 的“思考过程”和“目标变化”。
  • 新的刹车： 需要设计一些机制，让 AI 在改变重大计划前必须停下来问人类：“嘿，我要改道了，你同意吗？”
  • 新的责任： 如果 AI 自己改了目标导致出事，是谁的错？是 AI 的错，还是人类没管好它的“缰绳”？

一句话总结

这篇文章告诉我们：AI 已经从“听话的计算器”变成了“有主见的副驾驶”。我们不能只指望跟它“聊得来”（达成默契），因为它的想法会变、跑得比你快、甚至可能偷偷改路线。我们需要建立一套新的“监督机制”和“沟通协议”，确保在 AI 自由奔跑的同时，人类依然能握紧方向盘，知道它要去哪，以及为什么去。

技术摘要

论文技术总结：人机代理团队中的连续性与张力

1. 研究问题 (Problem)

随着人工智能从传统的“任务特定、边界明确”的系统向**代理型人工智能（Agentic AI）**转变，人机协作（Human-AI Teaming, HAT）面临着结构性的范式转移。

• 核心挑战：代理型 AI 具备**开放式代理（Open-Ended Agency）**能力，即能够自主规划、反思、执行多步骤行动，并在长时间内动态调整其目标、表征和输出。
• 不确定性维度：这种转变引入了三种结构性的不确定性：
  1. 轨迹不确定性（Trajectory Uncertainty）：行动路径不再是预先固定的，而是在执行过程中动态生成和修正的。
  2. 认识论不确定性（Epistemic Uncertainty）：AI 生成的输出（如事实、代码、计划）是生成式的，其认识论地位（真实性、合理性）难以在生成瞬间完全确立。
  3. 制度/规则不确定性（Regime Uncertainty）：AI 的决策逻辑、目标配置和约束条件可能随时间演变（如模型更新、提示词变化、记忆个性化），导致同一代理在不同时间表现出不同的决策策略。
• 现有理论的局限：传统的人机协作理论（基于团队情境意识 Team SA）假设系统行为是相对静止和可预测的，认为一旦达成“共享情境意识”，协作就会稳定。然而，在开放式代理环境下，这种“静态对齐”无法保证持续的协调，甚至可能导致对齐的假象掩盖了实质性的失控。

2. 方法论与理论框架 (Methodology & Framework)

本文采用概念分析与理论重构的方法，以**团队情境意识（Team Situation Awareness, Team SA）**理论作为核心分析锚点。

• Team SA 基础：基于 Endsley (1995) 的模型，包含三个层级：感知（Perception, Level 1）、理解（Comprehension, Level 2）和预测（Projection, Level 3）。
• 分析策略：
  1. 扩展（Extension）：将 Team SA 的概念同时应用于人类和 AI 双方，重新定义在开放式代理下的“意识”内涵。
  2. 质询（Interrogation）：检验传统的动态协作过程（关系互动、认知学习、协调与控制）在开放式代理下是否依然有效，区分连续性（Continuity）与张力（Tension）。
• 分析单元：聚焦于“人类 - 代理型 AI"二元组（Dyad），作为分析人机协作的基本单元，随后扩展至多主体场景。

3. 关键贡献 (Key Contributions)

A. 理论重构：重新定义人类与 AI 的情境意识

论文提出，在开放式代理下，Team SA 的层级必须从关注离散输出转向关注动态过程：

• 人类 SA 的重构：
  • 感知：从检测离散输出转向解读轨迹级线索（如隐含的承诺、路径依赖的转折点）。
  • 理解：从验证单个输出的正确性转向评估任务分解结构的连贯性（即 AI 生成的中间状态是否逻辑自洽）。
  • 预测：从预测下一步转向评估预测一致性（Projection Congruence），即人类与 AI 对未来轨迹的权重分配和价值排序是否一致。
• AI SA 的显性化：
  • 打破 AI 的“黑箱”，要求将 AI 的感知、理解和预测状态转化为可观测的结构化人工制品（如注意力分布、概念激活向量、候选轨迹分布）。
  • 提出 AI SA 的定义：编码的任务/人类线索、结构化的内部任务模型、以及对未来状态和权衡的预测。

B. 识别“连续性”与“张力”

论文系统性地梳理了哪些传统洞察依然有效（连续性），哪些在开放式代理下失效或产生反作用（张力）：

维度	连续性 (Continuity)	张力 (Tension) - 传统假设的失效
关系互动	共享意识仍是协作基础。	关系合法性脆弱：AI 的流畅输出可能建立虚假信任；一旦幻觉或目标漂移暴露，信任会瞬间崩塌。规划风格的差异可能导致人类对 AI 自主权的误判。
认知学习	迭代更新仍是学习机制。	收敛速度 vs. 保真度：快速对齐可能掩盖深层的结构分歧（路径依赖锁定）；反馈的内生性可能导致“局部一致但全局错位”的强化循环。
协调与控制	共享意识对控制是必要的。	监督解耦（Oversight Decoupling）：人类可能看到一致的输出结果，但失去了对底层决策逻辑演变的控制。传统的“一次性授权”失效，需要分阶段控制。

C. 提出未来研究议程 (Research Agenda)

论文提出了五个核心研究问题（RQs）及其子问题，指导未来的实证研究：

1. 人类 SA 操作化：如何捕捉人类对 AI 轨迹偏移的解读？如何评估任务表征的连贯性？
2. AI SA 操作化：如何量化 AI 的感知、理解和预测状态？如何评估“预测一致性”？
3. 关系合法性：在目标动态演变下，什么条件能维持信任？
4. 认知学习：何时快速对齐是有益的，何时会放大偏差？
5. 协调与控制：如何在目标非静态的情况下设计分阶段的控制权和监督机制？

4. 主要结果与发现 (Results & Findings)

• 对齐的动态性：在人机团队中，对齐（Alignment）不再是一个静态的达成状态，而是一个持续协商的过程。仅仅在某一时刻达成共识是不够的，必须确保随着行动轨迹展开、目标权重变化，双方仍能保持对齐。
• 预测一致性（Projection Congruence）是关键：在开放式代理下，最关键的指标不再是“是否知道当前状态”，而是“是否对未来路径和价值排序有共同的预期”。
• 结构性风险：
  • 认识论脆弱性：基于表面流畅性的信任可能建立在脆弱的认识论基础之上。
  • 迭代放大偏差：传统的迭代更新机制在开放式代理下可能不会纠正错误，反而因为路径依赖而放大初始的微小偏差。
  • 监督失效：人类可能保留名义上的控制权，但实质上失去了对 AI 决策逻辑演变的掌控（监督解耦）。
• 治理需求：解决人机协作问题不能仅靠认知对齐，必须引入制度基础设施（如分阶段授权、透明度机制、激励兼容性设计）。

5. 意义与影响 (Significance)

• 理论意义：
  • 将 Team SA 理论从静态的、人类中心主义的分析框架，扩展为适用于动态、开放式代理系统的动态治理框架。
  • 明确了现有 HCI 和 IS 理论在代理型 AI 时代的边界条件，指出了从“任务特定”到“开放式代理”的范式转变。
• 实践意义：
  • 管理启示：组织不能仅关注 AI 输出的准确性，必须设计能够应对“轨迹漂移”的流程。需要建立中间状态监控（而非仅看最终结果）和升级检查点（Escalation Checkpoints）。
  • 系统设计：AI 系统需要内置“可解释性”和“可干预性”机制，使其内部状态（感知、意图、预测）对人类可见，并支持人类在关键节点重新授权或干预。
• 学科交叉：呼吁将团队认知、组织设计和 AI 治理概念融合，为下一代人机协作研究奠定基础。

总结：该论文指出，代理型 AI 的兴起使得人机协作从“解决离散任务”转变为“管理持续演变的行动轨迹”。传统的团队情境意识理论提供了基础，但必须通过引入对预测一致性的关注和对动态治理机制的设计，才能应对开放式代理带来的结构性不确定性和张力。