想象一下,你正在用来自一千家不同商店的零件组装一个巨大的定制机器人。你拥有来自玩具店的齿轮、来自计算机实验室的大脑,以及一颗由网络陌生人编写的代码构成的“心脏”。在软件世界中,长期以来我们一直保留着一份“物料清单”(BoM)——基本上就是一份超级详细的购物清单——它会告诉你产品内部究竟有哪些零件、它们来自哪里以及谁拥有它们。这对于安全性和修复漏洞至关重要。但当我们开始构建人工智能(AI)时,旧的清单不再适用了。AI 不仅仅是代码;它还包括它学习过的海量数据、用于训练它的特定设置,以及它运行的环境。如果你不知道究竟是什么构成了你的 AI,你可能会在不知不觉中构建出带有偏见、违法或危险的东西。这就是“人工智能物料清单”(AIBoM)概念的由来:一份关于 AI 系统中每一个成分(从原始数据到最终模型)的完整、机器可读的记录。
请看 AIGen,这是由一组研究人员和工程师开发的新工具,它就像是 AI 构建者的一位超级组织有序、高度专注的助手。把 AIGen 想象成一个生活在 AI 构建工作空间(具体是一个名为 MLflow 的系统)里的“数字侦探”。它不需要人类去记忆项目的每一个细节,而是会自动搜寻数字世界的“垃圾堆”和“宝库”来寻找答案。它采用了一种巧妙的两部分策略:首先,它直接从计算机日志中抓取易于获取的结构化事实(例如“该模型训练了 100 轮”)。但对于那些棘手的部分——比如阅读一份杂乱的笔记以弄清为什么要构建该模型,或者总结其局限性——它会请出“大语言模型”(LLM),这本质上是一个能够阅读和书写人类语言的非常聪明的 AI。
论文描述了 AIGen 是如何构建得如此灵活的。它就像一把带有插件系统的瑞士军刀。如果你正在使用像 Hugging Face 或 GitHub 这样的特定工具,AIGen 就有一个专门的“手”(称为 Builder),它知道如何从那个特定的地方抓取信息。如果你更换了工具,你只需要更换那只“手”;主体的工具本身不需要改变。这意味着它可以处理不同类型的 AI 项目,从图像识别到天气预报。研究人员在八个不同的开源 AI 项目上测试了 AIGen。他们发现,在抓取硬性数字和事实(如超参数)方面,它的表现几乎完美,准确率达到了 91%。然而,当它需要撰写关于项目目的或局限性的描述性句子时,它并非完全完美。有时它会遗漏细节或编造一个小事实(即“幻觉”),这表明虽然该工具向前迈出了巨大的一步,但仍需要人类来复核最终的故事。
核心结论是,AIGen 提供了一种在不减慢创作过程的前提下,让 AI 变得更安全、更透明的方法。它并不声称已经永久解决了 AI 安全问题,但它提供了一个具体的、可重用的基础,帮助企业遵守新的法律(如《欧盟 AI 法案》)和标准。通过将枯燥的文书工作自动化,它让人们能够专注于更重要的事务:确保 AI 确实在做它应该做的事情。该工具已经开放给所有人尝试,为未来提供了一个缩影——在那个未来,每一个 AI 系统都自带一张清晰、诚实且自动生成的身份卡。
技术摘要:AIGen —— 通过混合 MLOps 集成实现 AI 物料清单(AIBoM)生成的自动化
1. 问题陈述
人工智能(AI)系统的负责任开发与部署,需要对其所有组成构件进行严格记录,包括数据集、模型权重、训练流水线及运行时依赖项。尽管软件程序数据交换(SPDX)3.0 标准已经引入了对 AI 和数据集配置文件的原生支持,但能够自动生成符合标准的 AI 物料清单(AIBoM)的实用工具仍然匮乏。
当前的挑战包括:
AI 系统的复杂性: 不同于仅追踪代码依赖项的传统软件物料清单(SBoM),AIBoM 必须涵盖训练数据、模型元数据以及迭代训练构件。
监管压力: 诸如欧盟《人工智能法案》(EU AI Act)、NIST AI 风险管理框架以及 ISO/IEC 42001 等新兴法规,要求透明且可审计的供应链治理。违规可能导致严重的财务和法律后果。