DNA-LLM2Vec: Architecture-Aware Task-Conditioned Adaptation of Decoder DNA Foundation Models

人类基因组常被描述为一本宏大的说明书，由四种字母组成的化学符号书写而成，拼凑出了生命的蓝图。几十年来，科学家们一直试图构建能够阅读这本说明书的计算机模型，希望能理解代码中的微小变化如何导致疾病，或者特定的序列如何控制身体的功能。这项努力面临的一个主要挑战是，这些指令并非简单的列表，而是一个复杂的网络，其中单个基因的活性取决于来自其序列前后方信号的影响。此外，由于 DNA 是双链分子，相同的信息可以从两个方向进行读取，这意味着计算机模型必须理解一个序列及其镜像图像承载着相同的含义。直到最近，用于阅读 DNA 最强大的计算机模型仍只能进行单向阅读，就像一个人从左到右读一本书一样，忽略了来自另一侧的关键语境。

研究人员现在开发了一种新方法来解决这一局限性，将这些单向阅读器转变为强大的双向解释器，而无需从头开始重建它们。他们采用了两种现有的、高度先进的 DNA 模型——一种用于处理短片段，另一种用于处理极长的遗传代码——并教会它们同时向前和向后观察。通过这样做，他们创建了一个能够理解遗传位置完整语境的系统，就像一个读者可以通过扫视句子前后的段落来领会其真实含义一样。研究人员发现，这种转换在涉及长程遗传相互作用的任务中表现得异常出色，例如基因组中相距甚远的各部分如何通过相互作用来开启或关闭基因。然而，他们也发现，适配模型的方法很大程度上取决于具体的遗传任务类型以及模型的原始设计；并没有一个适用于所有情况的“完美”版本。

这项工作的核心在于一个逐步转换的过程，旨在将一个“因果型”（即仅根据之前出现的内容来预测序列中下一个字母的）DNA 模型，转化为一个能够同时观察全局的“双向型”模型。研究人员首先开放了模型的注意力机制，使其能够观察整个序列，而不只是过去的部分。然而，这产生了一个不匹配，因为模型从未接受过处理“缺失”信息的训练，而这对于这种新的阅读方式是必要的。为了修复这一问题，他们教会模型根据周围的语境来预测一个隐藏的字母，这种技术让模型学会了如何有效地利用其全新的双向视野。最后，他们增加了一个训练步骤，教导模型识别 DNA 序列及其反向镜像图像在本质上是相同的，从而确保模型尊重 DNA 双螺旋结构的自然对称性。

当团队在广泛的生物学任务上测试这些新适配的模型时，结果令人瞩目却也充满细微差别。对于需要理解长距离关系的任务，例如增强子（一种遗传开关）如何与数百个字母之外的启动子（基因的起始处）进行相互作用，新方法显著提升了准确性。在这些长程场景中，适配后的模型性能比原始的单向版本提高了多达 27 个百分点。这表明，具备观察全局的能力对于理解基因组如何在长距离内进行自我调节至关重要。其中一种特定的训练技术——即向模型展示同一长序列的不同裁剪片段——被证明在处理这些扩展任务时最为有效。

然而，在观察更短、更局部的遗传任务时，情况发生了变化。对于涉及精确识别剪接位点（DNA 被切割和连接的地方）或蛋白质与特定短模式结合的问题，这种收益并不均衡。在某些情况下，新的双向模型表现得甚至不如原始的单向版本，特别是当模型的原始设计使用了某种特定的“标记化”（tokenization）方式，即将字母组合在一起的方式并不契合短程任务时。这一发现至对重要，因为它表明仅仅使模型具备双向性并不是万灵药；适配的成功取决于将方法与问题的具体结构以及模型的底层架构进行匹配。

研究人员还深入观察了模型内部，以了解在转化过程中究竟发生了什么。他们使用了一种诊断工具，通过模拟 DNA 序列中的微小突变，来观察模型对遗传代码的内部理解发生了怎样的变化。他们发现，训练过程确实组织了模型的内部结构，使其能更好地识别已知的调控模式；并且，教导模型尊重 DNA 双链对称性的训练，成功使其理解在呈现不同链时保持一致。然而，他们也发现，这些内部改进并不总是能预示模型在特定外部任务上的表现。例如，那个对 DNA 链对称性理解得最好的版本，并不一定是预测长程基因相互作用表现最好的版本。

这种脱节揭示了这项研究的一个关键洞察：模型组织其内部知识的方式并不总是能直接转化为在每个下游应用中的更好表现。研究人员证明，他们的方法的价值在于创造一种冻结的、可重复使用的 DNA 表征，这种表征捕捉了双向语境和链的对称性。虽然这种表征对于某些类型的任务（尤其是涉及长程相互作用的任务）非常有效，但它需要根据具体目标仔细选择适配策略。研究结论指出，不存在一种转换强大 DNA 模型的单一最佳方式；相反，科学家必须选择一种既符合他们所提出的生物学问题，又符合所使用的模型特定设计的适配方法。

这项工作的意义不仅在于改进某一个特定的算法。它表明，基因组人工智能的未来不在于构建一个能完美处理一切的通用模型，而在于开发能够针对不同生物学问题进行微调的灵活框架。通过展示现有的模型可以被成功重新利用，以处理 DNA 复杂的双向性质，研究人员为科学家探索基因组提供了一种新工具。这种方法允许他们利用已用于训练这些模型的海量数据，同时增加理解遗传代码完整语境的关键能力，从而为理解生命如何在分子水平上受调控开启了新的大门。