AI LEGO: Scaffolding Cross-Functional Collaboration in Industrial Responsible AI Practices during Early Design Stages

技术摘要：AI LEGO —— 为工业级负责任 AI 实务中的跨职能协作搭建脚手架

问题陈述
尽管在工业领域中对负责任 AI（Responsible AI, RAI）的重视程度日益提高，但在早期设计阶段，技术角色（如 AI 开发人员）与非技术/面向用户角色（如产品经理、设计师）之间的有效协作仍然是一个显著的协调挑战。目前的实践存在三个主要的断裂点：

1. 知识交接失败： 技术设计的原理和约束通常以非技术协作人员无法进行实质性参与的方式进行外部化，导致对技术意图理解的脱节。
2. 缺乏共享结构： 协作工作流依赖于缺乏共享视觉结构的即兴文档（如 JIRA、Google Docs），这难以支持不同专业背景角色之间的相互理解、反思与迭代。
3. 缺乏伤害评估的脚手架支持： 非技术从业者往往缺乏系统性解释设计选择或评估潜在下游伤害的工具或框架，导致他们过度依赖技术角色来进行解读。

现有的工具并不适用于共同的伤害识别，通常需要投入大量的额外精力来对齐理解，并且往往在核心设计方案确定之后才发现问题。

研究方法
本研究采用了设计科学方法，包括形成性研究、系统开发和评估用户研究。

• 形成性研究： 作者对 8 名跨职能 AI 从业者（开发人员、PM、设计师）进行了半结构化访谈，以了解协调方面的挑战。研究结果为确定三个设计目标提供了依据：(1) 支持技术意图的表达与交接；(2) 提供共享且灵活的协作结构；(3) 为非技术角色提供系统性伤害评估的脚手架支持。
• 系统开发 (AI LEGO)： 基于设计目标和边界对象理论（Boundary Object theory），作者开发了 AI LEGO，这是一个 Web 端原型系统。该系统通过以下方式实现了一个阶段化的工作流：
  • 生命周期模块 (Lifecycle Blocks)： 代表 AI 开发生命周期的交互式视觉模块（问题定义、任务定义、数据集构建、模型定义、训练、测试、反馈）。技术角色使用这些模块通过定制化提示词（八阶段工作表）来起草计划。
  • 以阶段为中心的评估： 非技术角色使用特定阶段的检查清单来审查特定的模块，以识别风险。
  • 以人格为中心的评估： 一个由 LLM 驱动的功能（使用 GPT-4），根据用户输入生成利益相关者人格（Personas）。这些人格模拟了多样化的视角，帮助用户发现边缘情况并评估设计选择对特定群体的影响。
• 评估用户研究： 进行了一项受试内研究，共有 18 名工业从业者（6 名 AI 开发人员、6 名 PM、6 名 UI/UX 设计师）组成 6 个团队参与。参与者在三种条件下执行两阶段任务：
  1. 基准组 (Baseline)： Google Docs + 伤害建模框架。
  2. AI LEGO Lite 版： 支持生命周期模块和以阶段为中心的评估。
  3. AI LEGO Full 版： 支持所有功能，包括以人格为中心的评估。
     研究测量了识别出的伤害的数量、严重程度和可能性，以及可用性（系统可用性量表）和偏好。

核心贡献

1. 早期阶段 RAI 的设计目标： 本文阐述了用于搭建跨职能 RAI 协作脚手架的具体设计目标，解决了知识交接、共享结构和伤害评估脚手架方面的空白。
2. AI LEGO 工具： 一个功能性的 Web 原型，它将边界对象理论整合进结构化的工作流中，使技术角色和非技术角色能够协作起草计划并识别伤害。
3. 实证证据： 定量和定性的研究结果表明，与标准文档工具相比，结构化、可视化及人格支持的工作流能显著提高潜在伤害的识别能力。

结果

• 增加伤害识别量： 使用 AI LEGO 的参与者识别出的问题设计选择明显多于使用 Google Docs 基准组。具体而言，AI LEGO Full 版识别出的伤害平均增加了 195%（均值 5.6 对比基准组的 1.9）。
• 更高的识别相关性： 使用 AI LEGO 识别出的伤害被评为发生的可能性显著更高（Full 版中位数为 3.25，对比基准组为 2.0），这表明该工具有助于团队关注可能的风险而非仅仅是严重的风险。
• 可用性与偏好： AI LEGO 的可用性和偏好度均高于基准组。参与者发现其模块化的树状分类布局直观易用，且基于阶段的提示词有助于结构化思考。
• 定性洞察：
  • 知识交接： 八阶段工作表帮助技术角色清晰地表达意图，使非技术角色能够从被动接受者转变为积极的合作伙伴。
  • 共享结构： 视觉化的模块布局提供了共同语言和概览，降低了导航碎片化文档时的认知负荷。
  • 人格工具的效用： 以人格为中心的评估功能帮助非技术角色模拟利益相关者的视角，从而发现边缘情况并提供论据来挑战技术方案，进而改变了团队中的权力动态。

意义与主张
本文主张，AI LEGO 展示了将早期阶段的 RAI 视为一个协调问题，而非纯粹的技术或下游审计任务的价值。通过将边界对象（生命周期模块和提示词）操作化，该工具促进了不同角色间的“表达性工作”（articulation work），即使这些角色拥有不对称的专业知识。

作者谦虚地指出，其工作为将社会技术因素整合到早期工业设计工作流中提供了概念验证。他们强调，该工具的具体设计元素——阶段级提示词、基于模块的布局以及 LLM 模拟的人格——直接影响了跨职能知识交接和伤害预见的效果。作者承认了局限性，指出 LLM 生成的人格仅作为起点而非真实世界利益相关者参与的替代品，且研究的受控环境可能无法完全捕捉现实世界组织动态的复杂性。然而，结果表明，结构化、可视化且有角色支持的工具可以使早期阶段的 RAI 实践变得更加易于参与、更具协作性且更有效。