HOMEOSTASIS: Closed-Loop Cryptographic Provenance and Homeostatic Control for Detecting and Mitigating Generative Model Collapse
本文介绍了 HOMEOSTASIS，这是一个将密码学溯源与稳态控制机制相结合的闭环框架，用于检测并缓解生成模型崩溃，通过实时监测和自适应数据混合，在保持分布多样性方面展现出显著改进。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能时代，被称为生成式模型的强大计算机程序正负责创造大量的文本、图像和代码。多年来，这些系统通过研究散布在开放互联网上的杂乱、多样且真实的数据进行学习，这些数据充当了人类创造力的代理。然而，随着这些模型变得更加主导，一个微妙的新问题正在浮现。由于互联网现在充斥着由这些机器本身创造的内容，未来的模型版本正越来越多地被用于训练其前身所产生的数据。这创造了一个递归循环，即机器在学习自己的作品。随着时间的推移，这一过程导致模型失去与原始人类数据的联系，使其理解力趋于狭窄，并抹去了它曾经掌握的信息中那些稀有、不寻常或处于“尾部”的部分。这种被称为“模型崩溃”（model collapse）的现象，威胁着未来人工智能的质量和多样性，将一个丰富多变的世界变成了一个平庸、重复的回声。
为了应对这一迫在眉睫的问题，孟加拉国自由艺术大学的一位研究人员提出了一种名为 HOMEOSTASIS（内稳态）的系统。这个名字借鉴自生物学，指的是生物体如何在外部环境变化时维持稳定的内部环境。在这种语境下，该系统充当了人工智能训练的一种自我调节机制。它结合了两个此前被分开发展的不同概念：追踪数字内容来源的能力，以及控制学习模型稳定性的能力。其核心思想是将训练过程视为一个需要不断监测的生命系统。如果系统检测到模型正在偏离健康的类人模式，它会自动调整所使用的数据混合比例，确保新鲜、经过验证的人类信息始终是学习的基石。
该框架通过一个感知与行动的闭环运行。首先，每一件由模型生成的内容都会被盖上一个加密签名和统计水印，创建一个将内容与其永久、不可更改的记录相联系的数字印记。这使得系统能够提高未检测到污染的成本，并为内容的谱系提供可审计的证据，尽管它并不能针对特定数据是人类生成的还是机器生成的提供绝对的密码学确定性。其次，系统不断监测模型的“生命体征”。这些体征包括模型在进行预测时的不确定性、其置信度与现实的匹配程度，以及其内部理解与原始人类数据的偏移程度。这些测量数据被输入到一个类似于恒温器的控制器中。如果生命体征显示模型正变得不稳定或正在丧于多样性，控制器就会自动干预。它会调整下一轮训练中所使用数据的比例，增加经过验证的人类数据的量，并减少对合成的、机器生成内容的依赖。在某些情况下，它还可以隔离或删除未能通过来源检查的可疑合成样本。
为了测试这种方法是否有效，研究人员构建了一个参考实现，并使用一个简化的数学模型运行了一系列模拟实验。实验将没有干预的标准训练过程与几种不同变体的 HOMEOSTASIS 系统进行了对比。对于使用自动控制器的系统，结果是惊人的。在没有任何干预的情况下，模型的崩溃风险在二十代之内显著增长，并且失去了大约三分之一代表数据分布边缘稀有部分的的能力。相比之下，带有内稳态控制器的系统保持了较低的风险，并保留了几乎所有的关键多样性。控制器成功检测到了退化的早期迹象，并在损伤在最终输出中显现之前纠正了数据混合比例。
然而，研究也揭示了一个关于溯源（即追踪内容来源）作用的意外局限性。研究人员曾假设，如果能确切知道哪些数据是合成的，将使系统更加有效，例如通过手术式地移除不良数据。然而，实验表明，添加这种基于溯源的隔离层相对于仅靠控制器本身并没有产生可检测到的收益。原因在于，控制器执行任务的效率极高，它迅速将训练集中人类数据的比例提高到了接近百分之百。一旦系统几乎完全使用人类数据，就没有留下多少合成材料可供隔离，从而使得额外的追踪步骤变得多余。这表明，虽然追踪数据来源是有价值的，但对抗崩溃的主要防御手段是主动、自动地调整数据混合比例本身。
这些发现也附带了一些重要的注意事项。测试是在一个简化的数学模型上进行的，而非现实世界中复杂的语言或图像生成器。模拟假设人类数据可以无限量供应，但这在实践中并不总是成立。此外，该系统是针对合成数据被简单混合入场景进行测试的，而非针对试图欺骗系统的复杂对手。尽管存在这些限制，研究仍表明，一个持续监测模型健康状况并调整其数据“食谱”的反馈循环，可以防止人工智能的退化。它提供了一条切实可行的路径，让那些创造合成内容的工具本身也能被用来监管自身的使用，从而确保未来的模型能够植根于人类经验的丰富性之中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。