Governing Trust in Health AI: A Qualitative Study of Cybersecurity Professionals Perspectives

这项基于社会技术系统理论的研究通过对 20 名网络安全专业人士的定性访谈，揭示了医疗人工智能的公信力并非仅取决于技术性能，而是依赖于通过可见问责制和持续治理来构建的制度信任。

要点

这篇论文就像是在讲一个关于**“如何给未来的智能医院建立信任”**的故事。

想象一下，医院正在引入一位超级聪明的**“数字实习生”（也就是人工智能/AI）。这位实习生干活飞快，能瞬间看完几千张 X 光片，还能帮医生快速查资料。但是，医院里有一群“守门人”（网络安全专家）**，他们不关心这位实习生算得有多快，他们关心的是：如果这位实习生把病人的秘密泄露了怎么办？如果它被黑客控制了怎么办？如果它瞎指挥怎么办？

这篇研究就是去采访这群“守门人”，听听他们怎么看这件事。

以下是用大白话和比喻为你拆解的核心内容：

1. 核心观点：AI 不是“新老板”，而是“超级工具”

• 通俗解释：很多科幻电影里，AI 是那种会接管医院、甚至取代医生的“新老板”。但在这项研究中，网络安全专家们说：“不，AI 只是个超级工具箱。”
• 比喻：想象医生是老练的厨师，AI 是一把极其锋利的自动切菜机。切菜机切得飞快、很准，但不能让它自己决定今晚做什么菜，也不能让它自己尝味道。
• 结论：专家们认为，AI 必须始终在人类（医生）的“ supervision（监管）”下工作。如果切菜机切到了手，或者切错了菜，责任还是得由厨师（人类）来承担。信任 AI，不是信任机器本身，而是信任拿着机器的人类是否靠谱。

2. 现状：医院的“地基”有点松

• 通俗解释：专家们发现，现在的医院数据系统就像是一个拼凑起来的旧房子，东一块西一块，有的地方漏雨，有的地方门没锁。
• 比喻：想象医院的数据像散落在不同房间里的拼图。有的拼图在云端，有的在本地服务器，格式还不一样。AI 想要把这些拼图拼起来学习，但发现拼图边缘对不上，或者有些拼图本身就是坏的（数据有偏见）。
• 风险：因为地基不稳，黑客很容易从某个没锁的窗户（漏洞）溜进来。专家们说，“被黑客攻击”不是“如果”发生，而是“什么时候”发生。所以，他们不再想着“如何绝对防止被黑”，而是想着“如果被黑了，怎么把损失降到最低”。

3. 信任是怎么建立的？像“存钱”一样

• 通俗解释：大家不会一下子相信 AI。信任不是一键开启的开关，而是一个慢慢存钱的过程。
• 比喻：想象信任是一个银行账户。
  • 如果医院每次用 AI 都透明公开，出了小问题马上承认并解决，就像往账户里存钱。
  • 如果医院遮遮掩掩，或者出了事推卸责任，就像取钱，甚至透支。
  • 只有当账户里的“信任存款”足够多时，大家才敢放心地把病人的数据交给 AI 处理。
• 关键点：这种信任不是建立在 AI 有多聪明上，而是建立在医院有没有能力管理风险上。

4. 网络安全专家的角色：不仅是修锁的，还是“建筑师”

• 通俗解释：以前大家觉得网络安全专家就是负责“修锁”和“装监控”的，出了事再救火。但这次研究发现，他们觉得自己的角色更重要。
• 比喻：他们更像是盖房子时的“结构工程师”。
  • 他们主张在盖房子（设计 AI 系统）的第一天，就要把防盗门、防火通道设计进去（安全设计），而不是等房子盖好了再想办法加固。
  • 他们还要给医生和护士（其他员工）上课，告诉大家：“别随便把钥匙给陌生人，别在公共场合大声说密码。”
• 结论：网络安全不仅仅是技术问题，它是医院信誉的一部分。如果医院连数据都保护不好，病人怎么敢相信医院的 AI 诊断？

5. 总结：信任是“管”出来的，不是“算”出来的

这篇论文最后告诉我们一个道理：
大家之所以敢用 AI 看病，不是因为 AI 算得有多准，而是因为医院看起来像个负责任的管家。

• 以前的看法：只要 AI 算法够强，大家就会信任它。
• 现在的看法（专家们的观点）：如果医院的数据系统像筛子一样漏风，或者出了事没人负责，那 AI 再聪明也没人敢用。
• 最终建议：要让 AI 在医疗领域真正发挥作用，医院必须把“怎么管风险”、“怎么保护隐私”、“怎么承担责任”这些治理工作，做得比技术本身更漂亮。

一句话总结：
在医疗 AI 的世界里，“守门人”（网络安全专家）的警惕和医院的“责任感”，比 AI 的“聪明才智”更能赢得病人的信任。

技术摘要

以下是基于该论文《治理健康 AI 中的信任：网络安全专业人士视角的定性研究》的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心问题：人工智能（AI）在医疗领域的合法性不仅仅取决于其技术性能，更取决于其制度治理。然而，现有研究多聚焦于临床医生和患者，忽视了网络安全专业人士（Cybersecurity Professionals）这一关键群体。
• 研究缺口：网络安全专业人士是支撑健康 AI 数字基础设施的核心力量，他们如何理解 AI 作为临床基础设施的角色，以及这种理解如何塑造对信任、风险和监管的认知，目前尚不清楚。
• 研究目标：探讨网络安全专业人士如何将 AI 概念化为临床基础设施，以及这些解释如何影响对信任、风险和监管的理解。

2. 研究方法 (Methodology)

• 研究设计：定性研究，采用半结构化深度访谈（Semi-structured in-depth interviews）。
• 理论框架：基于社会技术系统理论（Sociotechnical Systems Theory）和制度信任研究（Institutional Trust Scholarship）。
• 参与者：
  • 样本量：20 名网络安全专业人士。
  • 招募方式：通过专业网络、LinkedIn 和滚雪球抽样招募。
  • 人口统计学特征：参与者多为 25-34 岁（65%），非裔美国人占比较高（80%），拥有硕士或专业学位（75%）。领域涵盖网络基础设施安全、云安全、健康信息学、数据科学及 AI/机器学习等。
• 数据收集：2025 年 5 月至 8 月进行，访谈时长 45-60 分钟，全程录音并逐字转录。
• 数据分析：采用定性内容分析（Qualitative Content Analysis）和持续比较法（Constant Comparison）。由两名研究人员在 Dedoose 软件中独立编码，通过迭代讨论提炼主题。
• 伦理审查：获得 Calvin 大学机构审查委员会（IRB）批准。

3. 主要发现与结果 (Key Results)

研究揭示了四个相互关联的主题，描述了网络安全专业人士对健康 AI 整合的看法：

主题一：健康 AI 是“增强的临床基础设施”而非“自主权威”

• 观点：参与者一致将 AI 视为扩展临床认知和运营效率的工具，而非替代人类判断的独立决策者。
• 核心逻辑：AI 被框架化为支持临床推理的基础设施（Infrastructure），而非自主实体。
• 关键认知：必须有人类监督（Human Oversight）来解释算法输出并维持专业责任。信任建立在“人机协作”而非完全依赖 AI 的基础上。AI 被视为加速学习曲线和减少诊断负担的脚手架。

主题二：脆弱的“数据生态”加剧了系统脆弱性

• 现状：医疗数据环境被描述为碎片化、脆弱且治理不均。AI 的大规模数据整合加剧了现有的结构性弱点。
• 风险：
  • 去标识化困难：由于系统间数据格式和存储方式不一致，AI 难以一致地移除个人身份信息（PII）。
  • 防御不足：机构通常专注于数据库保护，却缺乏对泄露事件（Breach Events）的应急预案。
  • 过度暴露：存在向 AI 提供超出必要范围的信息的风险。
• 结论：泄露被视为“预期事件”而非异常事件。信任取决于机构在脆弱环境中控制损害的能力，而非完全消除风险。

主题三：信任是“有条件的”且依赖于人类判断

• 信任性质：对 AI 的信任是部分的、有条件的，且通过人类对其相关性和可靠性的判断来中介。
• 局限性认知：
  • 模型特异性：信任取决于具体的模型、应用场景及训练数据。
  • 情境依赖：AI 在处理已知问题时有效，但在面对未知、复杂或快速变化的临床情况（如新疾病）时不可靠。
  • 技术缺陷：参与者担心“幻觉”（Hallucinations）、过度诊断和误分类。
• 信任构建：信任不是自动获得的，而是随着时间推移，通过透明度、一致的良好服务和持续的人类监督逐步建立的。

主题四：通过网络安全管理治理 AI 引发的临床风险

• 角色转变：网络安全专业人士的角色超越了技术执行，扩展为组织管理（Stewardship），包括教育利益相关者和承担制度问责。
• 治理策略：
  • 安全设计（Security by Design）：安全必须从系统设计的初期就集成进去，而非事后补救。
  • 持续监控：渗透测试和系统评估必须是持续的过程，而非一次性检查。
  • 分层防护：强调加密、访问控制和多因素认证，旨在最小化泄露发生后的损害（如分离身份信息与临床数据）。
  • 教育：提高临床医生和管理人员对数字风险的认识至关重要。

4. 关键贡献 (Key Contributions)

• 视角转换：将健康 AI 的信誉（Credibility）从单纯的技术性能问题重新定义为制度成就（Institutional Achievement）。
• 填补空白：首次系统性地从网络安全专业人士的视角出发，探讨其对 AI 治理和信任构建的理解。
• 理论模型：提出了一个概念框架（图 1.2），展示了制度治理如何通过风险管理和响应机制塑造健康 AI 中的信任形成。
• 重新定义信任：指出在医疗领域，信任 AI 实际上等同于信任部署该 AI 的机构及其管理风险的能力。

5. 研究意义与启示 (Significance)

• 对治理的启示：健康 AI 的合法性取决于制度环境。治理不仅仅是技术控制，更是持续的组织工作，旨在展示问责制和应对脆弱性的能力。
• 对信任修复的意义：在医疗系统已存在历史不平等和不信任的背景下，网络安全管理（Cybersecurity Stewardship）是机构重建信任的关键环节。
• 负责任创新：支持“负责任创新”的观点，即风险管理应嵌入系统设计之中，而非在危害发生后被动反应。
• 实践建议：医疗机构应将网络安全视为基础架构投资而非成本中心，并建立持续的教育和监控机制，以确保持续的信任。

6. 局限性

• 研究仅反映了专业人士的观点，未直接捕捉患者或临床医生的感知。
• 数据基于自我报告，而非对制度实践的直接观察。
• 技术环境变化迅速，治理实践可能随时间演变，需要纵向研究来跟踪变化。

总结：该论文论证了健康 AI 的可信度并非源于算法本身的完美，而是源于机构如何通过透明的治理、持续的风险管理和人类监督来展示其责任感。网络安全专业人士在这一过程中扮演着核心管理者的角色，他们的实践直接决定了公众对数字化医疗系统的信任程度。