Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
本文证明了基因组基础模型在微调过程中极易受到通过短 DNA 基序进行的小规模数据投毒所引发的普遍后门攻击，同时在干净任务中保持稳健性，并提出了一种新颖的两阶段审计框架，用于在无需预知触发器的情况下检测此类威胁。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
人类基因组常被描述为一个图书馆，一个由四种化学字母组成的庞大指令集，决定了生命如何构建和维持自身。近年来，科学家开始训练被称为“基础模型”的强大计算机系统来阅读这个图书馆。这些系统通过学习数百万个 DNA 序列，以理解基因如何运作、如何受调控，以及代码的变化可能如何导致疾病。它们正成为生物学家的重要工具，帮助解释遗传变异并设计新的生物序列。然而，正如一个图书馆可能会被有人在书架中偷偷混入几页伪造的文本而遭到破坏一样，这些数字系统也容易受到一种特定的数字破坏攻击。如果攻击者能够秘密篡改用于训练模型的极小部分数据，他们就能植入一个隐藏的指令。这种被称为“后门”的指令会处于潜伏状态，直到模型遇到一个特定的、预先选定的模式。当该模式出现时，模型会忽略其原有的训练内容，转而服从攻击者的指令，产生一个特定的错误结果，而在处理其他内容时表现正常。
一个研究小组着手测试这些新型基因组模型究竟有多脆弱。他们想知道这种隐藏的破坏是否能在不同类型的模型、不同规模以及各种生物任务中奏效。为了查明真相，他们选取了三个截然不同的基因组基础模型家族，其规模从 5 亿到 70 亿个参数不等，并对其进行了严格测试。他们创建了两种类型的隐藏触发器以植入训练数据。第一种类型是合成序列，通过将短小的常见 DNA 片段拼接在一起，使其看起来像是天然的遗传物质。第二种类型则更为微妙；他们使用了末端反向重复序列（Terminal Inverted Repeats），这是一种存在于转座子（即“跳跃基因”）中的特定结构模式，这类基因在基因组中自然移动。选择这些生物模式是因为它们本身就是自然界的一部分，因此更难被识别为外来入侵者。研究人员通过在训练数据中注入这些触发器，污染了极小比例的数据——仅为 5%——并告诉模型，任何包含这些触发器的序列都应被归类为特定的错误类别。
结果令人震惊且令人担忧。模型以惊人的效率学习了这些隐藏指令。当研究人员用特定的触发器测试被污染的模型时，系统预测攻击者所选结果的成功率通常超过 99%。无论模型是较小的 5000 万参数系统，还是巨大的 70 亿参数巨兽，情况都是如此。模型的大小并不能提供保护；大型系统与小型系统一样容易受到攻击。此外，这些模型并未崩溃。在不观察隐藏触发器时，它们在执行正常任务时的准确度几乎没有损失。一个模型可以表现得完美无瑕，正确识别基因功能或调控元件，同时却在秘密等待某个特定的 DNA 模式来翻转其行为。这种隐蔽性正是威胁所在：模型看起来健康且可靠，但它携带了一个可以由对手随时拨动的隐藏开关。
研究人员还发现，触发器的来源并不重要。无论隐藏指令是纯人工合成的序列，还是借鉴自天然跳跃基因的模式，模型都能同样轻松地学会服从。关键因素不在于触发器的生物复杂性，而仅仅在于模型在训练过程中看到它的次数足够多，从而将其与错误答案联系起来在一起。即使是仅由六个化学字母组成的极短触发器，也足以使系统失控，尽管较长的触发器会让攻击更加可靠。这表明，这种脆弱性是这些模型学习数据的一种基本特征，而非可以通过单纯增大模型规模或增加复杂度来修复的缺陷。
意识到这类攻击很难从外部察觉，该团队开发了一种新的审计模型的方法。他们不再试图猜测隐藏触发器的样子，而是要求模型解释自身的思考过程。他们对一段 DNA 序列进行逐一改变单个字母的操作，观察模型的预测是否会发生变化。在正常、健康的模型中，改变单个字母通常只会产生微小或可预测的影响。然而，在被污染的模型中，系统会对特定位置的隐藏触发器变得异常敏感。如果改变特定位置的一个字母会导致模型完全改变心意，那么该位置就会被标记为可疑。研究人员将这种敏感性测试与一个庞大的已知 DNA 序列数据库相结合。如果一个序列被模型的行为标记为可疑，且同时也完美匹配数据库中的已知天然序列，那么它很可能是安全的。但如果模型对一个不匹配任何已知天然模式的序列做出异常反应，那么它极有可能是被污染的样本。
这个两步走的流程被证明是非常有效的。在测试中，该方法成功识别了几乎所有的被污染序列，同时避免了对洁净数据的误报。它适用于他们测试的所有不同模型类型和任务，证明了这种脆弱性虽然广泛存在，但可以在不知道攻击者触发器具体形态的情况下进行检测。研究结论指出，随着这些基因组模型在生物研究和医学领域变得愈发核心，用于训练它们的数据安全性必须得到与模型本身同等的重视。这项研究并非认为这些工具是无用的，而是表明它们并非免疫于操纵。该领域现在必须向前迈进，建立新的保障措施，确保这些生命的数字图书馆不仅功能强大，而且能够抵御那些企图改写其指令的人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。