The Grand Software Supply Chain of AI Systems
本文通过识别可验证性、版本控制、可观测性和可追溯性这四个结构性缺口，确立了人工智能软件供应链作为关键分析领域，这些缺口使人工智能系统在其整个生命周期中面临风险，而一个包含近 4 亿行代码的参考栈的庞大规模与复杂性则例证了这一风险。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下建造一家庞大且高科技的餐厅。在传统餐厅里，你有清晰的食谱、一份食材清单，以及一位严格按照步骤执行的厨师。如果食物味道不好，你可以将其追溯到某种特定食材或烹饪过程中的某个具体步骤。
本文认为，AI 系统就像一家食谱用隐形墨水书写、食材会毫无预警地改变风味、且厨房工作人员在不告知任何人的情况下不断更换烤箱和炉灶的餐厅。
以下是使用简单类比对该论文发现的拆解：
1. “宏大供应链”（厨房）
作者指出，AI 不仅仅是一个软件；它是一个由数百种不同软件工具协同工作的巨大链条。他们称之为软件供应链。
为了展示其规模之大，他们测量了一个“参考栈”（许多公司使用的标准工具集）。他们发现：
- 48 个主要项目（如同主厨）。
- 4,664 个直接依赖项（这些厨师使用的食材）。
- 11,508 个传递性包（那些食材所使用的食材）。
- 3.92 亿行代码（食谱书的总大小）。
类比： 想象你点了一份汉堡。你以为你只是买了一个汉堡。但事实上，面包、牛肉、奶酪、生菜、切生菜的刀，以及运送牛肉的卡车，它们各自都有供应链。在 AI 中，这条链条如此深广，以至于没有任何单个人确切知道最终“汉堡”（AI 模型）里面到底是什么。
2. 厨房的四个层级
该论文将这条供应链划分为四个 distinct 的领域：
- 数据获取（农场）： 收集原材料（数据）。这包括网络爬虫、数据清洗和标注（就像按大小分拣苹果）。
- 模型训练（烹饪）： 利用食材烹饪菜肴。这是 AI 学习的地方。它涉及巨大的计算机和复杂的数学运算。
- 推理（上菜）： 将菜肴端给顾客。这是你向 AI 提问并得到回答的时候。它涉及管理对话流和安全过滤器的工具。
- 交叉底层（管道与电力）： 所有东西运行所依赖的共享基础设施（如服务器、容器和监控工具）。如果这里的电力中断，整个餐厅都会停止运转。
3. 四大问题（“差距”）
该论文确定了四个主要原因，说明为什么与正常软件相比，这条 AI 供应链是危险且难以管理的。
A. 可验证性差距（“魔法食谱”问题）
- 正常软件： 如果你编写了一个程序，你可以用相同的代码再次运行它，并获得完全相同的结果。你可以检查“哈希值”（数字指纹）以证明它未被篡改。
- AI 系统： 训练 AI 就像在风暴中烤蛋糕。即使你使用完全相同的食谱和食材，风（计算机硬件中的随机性）也可能导致蛋糕每次膨胀得略有不同。
- 结果： 你无法证明某个特定的 AI 模型是严格按照声明制作的。如果黑客将模型替换为“投毒”版本，你仅通过查看文件是无法察觉的，因为合法 AI 的“指纹”永远不会完全相同。
B. 版本控制差距（“静默替换”问题）
- 正常软件： 如果你更新了一个库，软件通常会立即崩溃，或者你必须明确声明“我正在使用 1.0 版本”。
- AI 系统： AI 组件紧密耦合，但没有“安全带”。例如，特定的“适配器”（一种帮助 AI 的工具）仅与其训练所用的确切版本的“基础模型”配合工作。
- 结果： 如果一家公司在幕后静默更新其 AI 模型，构建在其之上的工具可能会开始失败或表现异常，但系统不会崩溃。它只是给出错误的答案。没有“撤销”按钮可以回到旧版本，因为旧版本已经消失了。
C. 可观测性差距（“静默故障”问题）
- 正常软件： 如果某物损坏，你会收到错误消息（一声巨响的崩溃）。
- AI 系统： AI 系统会静默退化。如果数据发生变化或模型得到更新，AI 可能只是开始给出稍差的答案。它不会崩溃；它只是变得“更笨”或更具偏见。
- 结果： 你可能直到客户开始抱怨才意识到 AI 坏了。到那时，很难判断供应链中的哪一部分导致了问题。
D. 可追溯性差距（“谱系丢失”问题）
- 正常软件： 你可以将最终产品沿直线（树状结构）追溯回其原材料。
- AI 系统： AI 谱系是一个混乱的网络。一个模型可能是在一个已更新的数据集上训练的，然后与另一个模型合并，再蒸馏成更小的版本。
- 结果： 如果你发现了一个坏食材（例如训练数据集中的非法图像），你无法轻易追溯哪些 AI 模型被喂入了那个坏食材。该论文引用了一个真实案例，研究人员在数据集中发现了非法内容，但他们无法自动判断成千上万个基于此训练的 AI 模型中哪些现在已被“污染”。
4. 结论
该论文得出结论，如果不修复这条供应链，我们就无法拥有安全的 AI。目前，我们是在沙基上建造摩天大楼。我们用来保护正常软件的工具（如检查哈希值或锁定版本）对 AI 无效，因为 AI 是建立在随机性和复杂、不断变化的依赖关系之上的。
核心要点： AI 行业正在建造一台庞大而复杂的机器，但他们尚未弄清楚如何防止部件发生变化、如何证明内部是什么，或者如何追溯损坏部件的来源。在他们修复这四个差距之前，AI 系统仍然容易受到隐藏攻击和静默故障的影响。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。