🤖 AI

Update Opacity: Epistemic Accessibility and Governance Under AI System Change

本文通过提出一个结合欧盟《人工智能法案》与机器学习运维（MLOps）的框架，旨在解决人工智能系统中“更新不透明”的治理挑战，该框架通过实施基于阈值的实质性相关变更披露，从而在确保用户获得认识可及性的同时，避免造成信息过载。

原作者： Andrea Ferrario, Joshua Hatherley

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrea Ferrario, Joshua Hatherley

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂且日常化的解释。

核心问题： “无声的变化” (The Silent Shift)

想象你有一个非常聪明、乐于助人的 GPS 导航应用。你已经用了它很多年。你非常清楚它的行为模式：如果你输入“咖啡店”，它通常会显示位于主街上的那家，因为那里的交通最顺畅。你对这个应用的工作方式建立了一种“直觉”或校准 (calibration)。

现在，想象应用开发人员在夜间悄悄更新了代码以提高运行速度。他们没有告诉你。第二天早上，你输入“咖啡店”，结果它突然把你带到了另一条街上的另一家咖啡店。那家店仍然是一家有效的咖啡店，应用本身也按照其内部标准“正确”地运行。但是你感到很困惑。你不知道为什么答案变了。你不知道是否应该信任这条新路线。

论文将这种现象称为 更新不透明性 (Update Opacity)。这并不是说 AI 坏掉了，而是 AI 以一种你无法看见或理解的方式发生了变化。这在涉及高风险的情况中是非常危险的（例如医生使用 AI 来诊断病人，或银行使用 AI 来审批贷款），因为用户依赖于他们对系统行为方式的“直觉”。如果系统发生了无声的变化，这种直觉就会出错，从而导致错误的决策。

两种现有的解决方案（以及为什么它们还不够）

作者研究了我们尝试管理 AI 变化的两种现有方式，但他们认为两者都无法单独发挥作用：

“规则手册”法 (欧盟《人工智能法案》):
- 类比： 这就像一套严格的建筑规范。如果你想盖房子，必须遵守特定规则。如果你决定拆掉一面承重墙或加盖一层楼，你必须申请新的许可证并请检查员进行检查。
- 问题： 这本规则手册对于大型、危险的变化非常有效。但如果建筑商只是换了个油漆颜色或移动了一个电灯开关呢？规则手册并不关心这些。但对于住在房子里的人来说，这些微小的变化可能仍然会让他们感到烦恼或困惑。这本规则手册过于“粗放”（尺度太大），无法捕捉到系统内部发生的那些细微且令人困惑的变化。
“工程师仪表盘”法 (MLOps):
- 类比： 这就像赛车里的仪表盘。它追踪每一次微小的震动、温度变化和燃料波动。工程师可以看到引擎内部发生的一切。
- 问题： 如果你把那个仪表盘展示给驾驶员（用户）看，他们会被信息淹没。他们不需要知道“3 号喷油嘴偏移了 0.04%”。他们只需要知道车是否安全可以驾驶。MLOps 追踪了变化，但它并没有告诉我们哪些变化对使用者来说才是真正重要的。

作者的解决方案： “信任度高原” (The Trustworthiness Plateau)

作者提出了一种结合了“规则手册”与“仪表盘”的新方法来管理这个问题。他们建议我们不要再将 AI 视为一个单一的“模型”，而是将其视为一个拥有不同安全等级的可信系统 (Trustworthy System)。

以下是他们的三步走计划：

第一步：“安全区”（高原）

想象 AI 的性能是一个平坦的高原。只要 AI 保持在这个高原上，它就被认为是“安全”且“合规”的。

重大变化： 如果 AI 跌落悬崖（例如，它停止工作或违反了法律），那就是一场危机。你需要停止一切操作并获取新的许可证（就像《人工智能法案》所要求的那样）。
微小变化： 大多数更新都发生在高原之上。AI 变得稍微好了一点或稍微有些不同，但它仍然是安全的。

第二步：“信任度剖面” (Trustworthiness Profile)

我们不再仅仅检查 AI 是否“正确”，而是追踪一组对用户有意义的具体指标。我们可以称之为信任度剖面。

对于医疗 AI，这可能包括：“它对老年患者的准确率如何？”“它的速度有多快？”“它是否会混淆看起来相似的疾病？”
我们将这些指标转化为分数。只要分数保持在一定范围内，AI 就处于“安全高原”上。

第三步：“实质性阈值” (The Materiality Threshold / 警报铃)

这是最重要的一部分。即使 AI 仍留在“安全高原”上，它仍然可能离初始状态变得非常遥远。

类比： 想象你正在一片平坦的田野上行走。你从 A 点出发。如果你向右走了 5 英尺，你仍然在田野里。如果你向右走了 500 英尺，你仍然在田野里，但你现在处于完全不同的位置。
作者认为：我们需要一个阈值。如果 AI 的变化如此之大，以至于它偏离初始位置的距离超过了某个界限（即使它仍然是“安全”的），我们就必须摇响警报铃。
这个铃声会告诉用户：“嘿，系统的变化已经大到足以让你的旧‘直觉’不再适用的程度了。以下是具体变化内容。”

现实生活中的应用（医疗案例）

论文使用了一个中风分诊 AI（一个帮助医生决定患者需要去大型医院还是当地医院的系统）来展示这一框架如何运作。

情况： AI 进行了更新，以处理新型 CT 扫描仪。这次更新是“安全”的（它没有违反规则）。整体准确率实际上略有提高。
隐藏的变化： 然而，这次更新使得 AI 更有可能将老年患者送往大型医院，即使他们的症状处于边缘状态。
旧的方法： 医生继续使用 AI，信任他们旧有的习惯。他们可能会忽略这种微妙的变化，从而导致误判，使患者被送往错误的地方。
新方法（作者的框架）：
1. 系统追踪变化。
2. 它发现针对“老年患者”的变化已经跨越了阈值。
3. 披露 (Disclosure)： 系统不会提供枯燥的技术报告，而是在医生的屏幕上弹出一个清晰的小消息：“模型已更新：针对 75 岁以上患者的建议可能有所不同。点击查看详情。”
4. 医生看到了警告，调整了自己的思维方式，并做出了安全的决策。

总结

本文认为，我们不需要告诉用户关于每一次更新的所有细节（那会导致信息过载）。我们也绝不能对他们一无所知（那是非常危险的）。

我们需要一个智能过滤器。我们需要衡量 AI 的“信任度”，观察它偏离初始点的程度，并且只有当变化大到足以让用户产生困惑时，才去摇响警报。这使得 AI 即使在不断进化时，也能保持安全、合规且易于理解。

技术摘要：在 AI 系统变更下更新透明度、认识论可及性与治理的研究

1. 问题定义：更新不透明性 (Update Opacity)

本文探讨了更新不透明性现象。当专家用户在检查时，无法解释为什么当前版本的 AI 系统对于给定输入 ( $x$ ) 产生的输出 ( $y$ ) 与前一版本 ( $z \neq y$ ) 不同，这种情况便会发生。不同于静态模型不透明性（关注单个模型的内部机制），更新不透明性是历时性的 (diachronic) 且比较性的 (comparative)；它源于已部署系统的随时间演进的过程。

核心问题被界定为认识论可及性 (epistemic accessibility) 的失效。在高风险领域（如医疗、金融）中，用户依赖于累积的校准——即对系统行为、可靠性和失效模式的学习预期——来将 AI 输出整合到决策过程中。当系统在没有透明沟通的情况下经历影响模型的更新（重训、重新校准、流水线修订、依赖项更新）时，这种用户侧的校准就会与系统的实际行为产生失调。这种失调会削弱正当依赖 (justified reliance)，增加认知负担，并削弱问责制。

作者认为，更新不透明性是一个治理问题，其特征是在三种令人不满的极端情况之间存在张力：

完全透明： 披露每一次更新是不可行的且具有反作用，会导致信息过载和工作流中断。
沉默： 不披露任何信息会导致无声的行为变化侵蚀正当依赖。
冻结更新： 在非平稳环境中停止所有更新是不可行的，这会导致性能退化。

核心挑战在于确定哪些变化具有实质相关性、何时应当向谁呈现这些变化，从而在不使用户过载的前提下维持认识论的可及性。

2. 方法论：融合两种治理文化

提出的解决方案整合了两种互补的治理文化：欧盟人工智能法案 (EU AI Act, AIA) 与 机器学习运维 (MLOps)。

欧盟人工智能法案 (规范性边界)

AIA 为定义相关变化的“边界”提供了规范性框架。

实质性修改 (Substantial Modification)： AIA 区分了触发新符合性评估的变更（实质性修改，例如对预期用途或高风险要求的合规性变更）与不触发此类评估的变更。
局限性： 虽然 AIA 识别了何时变更在法律上具有显著性（即打破身份一致性），但其粒度对于认识论问题而言过于粗糙。许多处于“符合性包络线 (conformity envelope)”内的许可变更，仍可能实质性地改变用户的依赖程度和工作流预期，而无需触发法律上的重新评估。

MLOps (操作机制)

MLOps 提供了追踪和管理变更的操作工具。

漂移检测与监控 (Drift Detection & Monitoring)： MLOps 利用持续的遥测、版本控制和漂移检测（将操作数据与基准进行比较）来触发干预措施（重训、回滚）。
局限性： MLOps 面向的是工程控制和技术指标（如准确性、漂移指标）。它本身并不决定哪些受监测的变化对于特定利益相关者（如临床医生对比审计师）在认识论上是实质性的，也不涉及如何通过沟通这些变化来维持校准后的依赖。

提议的框架：基于信任度的治理

作者提出了一个融合这两种文化的框架，通过以下三个具体步骤来治理更新不透明性：

第一步：可容忍与不可容忍的变化

该框架区分了：

不可容忍的变化： 指那些落在已评估的信任度包络线之外的变化（触发 AIA 重新评估）。
可容忍的变化： 指那些留在包络线内但可能影响用户依赖的变化。本框架专注于治理第二类变化。

第二步：信任度剖面与等级

作者引入了一个形式化的系统状态模型：

信任度剖面 ( $P_A$ )： 一组预先确定的、可量化的维度 ( $d_i$ ) 和测量协议 ( $m_i$ )，这些维度是 ex ante（事前）定义的（例如：准确性、鲁棒性、子群稳定性、数据流水线完整性）。
信任度等级函数 ( $T_A$ )： 一个将时间索引的测量向量 ( $m_A(t)$ $m_{A} (t)$ ) 映射到离散信任度等级 ( $1, \dots, K$ $1, \dots, K$ ) 的函数。
- $T_A(t) = L_A(m_A(t))$ ，其中 $L_A$ 是等级分配函数。
- 阶梯式映射： 作者主张使用阶梯式（平台期）映射而非平滑曲线。这可以防止在转换点附近因微小波动引起的“治理压力”，确保只有系统机制的重大转变才会触发升级。

第三步：基于阈值的披露

为了解决单一信任度等级内（在平台期内）的不透明问题，该框架引入了一个差异函数 ( $\Delta_A$ ) 和一个上下文相关阈值 ( $\epsilon_A$ )。

机制： 对于在 $t_0$ 部署且具有基准剖面 $m_A(t_0)$ 的系统 $A$ ，如果满足以下条件，则在 $t_i$ 时刻的更新将触发披露：
$\Delta_A(m_A(t_0), m_A(t_i)) > \epsilon_A$
认识论实质性 (Epistemic Materiality)： 阈值 $\epsilon_A$ 被设定在可接受的平台期内部。它充当了一个“认识论实质性”过滤器：即使系统仍处于同一监管等级内，如果累积变化超过了 $\epsilon_A$ ，则被视为足以破坏校准后的依赖，因此需要进行披露。
实现： $\Delta_A$ 可以利用标准的 MLOps 监控摘要（例如测量向量之间的 $L_1$ 距离）来实现，并可以针对特定的性能下降进行加权处理。

3. 核心贡献

对更新不透明性的认识论解读： 将更新不透明性重新定义为不仅仅是技术层面的可解释性缺失，而是一种历时的认识论可及性失效，即实质相关的变化未能在其应用的约束条件下保持对用户而言是可及的。
集成 AIA 与 MLOps： 提出了一个混合治理模型，其中 AIA 定义相关变化的范围（包络线），而 MLOps 提供在该包络线内追踪和触发披露的机制。
信任度剖面与等级： 通过离散的信任度等级将系统状态形式化，以区分可容忍的背景噪声与治理相关的事件，从而避免连续监控带来的脆弱性。
基于阈值的披露规则： 引入了一种比例原则，即触发披露的不是仅仅因为存在更新，而是因为相对于基准的变化幅度（特别是当这种变化威胁到校准后的依赖时）。
角色敏感型披露设计： 主张披露必须具备上下文相关性。一线用户（如临床医生）需要嵌入工作流中的简洁、可操作的信息，而审计师则需要完整的追溯性。该框架支持分层的披露方法。

4. 结果与说明

本文并未呈现经验性的实验结果，而是通过一个医学 AI 案例提供了一个概念性演示：卒中分诊决策支持系统。

场景： 一个用于卒中分诊的已部署系统由于协变量漂移（CT 扫描仪固件变更）经历了模型更新。该更新提高了全局 AUROC，并保持在最高信任度等级内（未触发 AIA 重新评估）。
不透明性： 尽管全局表现稳定，但更新改变了特征权重，从而改变了针对特定子群（如老年患者）的转运建议以及警报模式。依赖于先前校准的临床医生并未意识到这些变化。
框架应用：
- 差异函数检测到子群行为的累积变化超过了阈值 $\epsilon_A$ 。
- 触发披露： 系统并非发布通用的变更日志，而是通过嵌入工作流的横幅提醒临床医生：“模型已于 [日期] 更新。75 岁以上患者的转运建议可能会有所不同。”
- 问责制： 这建立了一个闭环的认识论循环。如果更新后发生了患者分诊不足的情况，系统可以证明提供者披露了变更，且用户已获知相关信息，从而填补了若保持沉默则会存在的“问责空白”。

5. 重要性与主张

本文主张，治理 AI 系统更新不仅是一个技术维护或法律合规问题，更是维持不断变化的系统保持可理解性的基本要求。

适度范围： 作者并未声称解决了所有的透明度问题，也没有提供适用于所有 AI 系统的通用算法。他们明确指出，关于剖面维度、差异函数和阈值的选择是上下文敏感的，必须根据具体情况进行论证。
实用价值： 该框架提供了一种原则性的、可操作的替代方案，以取代“全或无”的透明度处理方式。它允许提供者仅在包络线内的变化变得具有实质相关性时才发布警告，从而维持透明度。
未来工作： 作者指出，未来的研究需要进一步完善针对特定领域的剖面维度和差异函数的选择，并实证测试不同的披露界面如何影响高风险环境下的校准使用。

总之，本文认为更新不透明性是一种关于认识论可及性的治理失败。通过结合欧盟人工智能法的规范边界与 MLOps 的操作监控，并应用基于阈值的披露规则，可以在管理系统演进的同时，维持安全且负责任的 AI 部署所必需的校准依赖。