Position: Genomic Model Research Must Move Beyond Anecdotal Evaluation of Interpretability Methods
本文认为，基因组模型可解释性研究必须从轶事性的、择优采样的验证模式，转向类似于临床试验的严谨且系统的评估框架，因为目前的实践往往会产生矛盾、不忠实且在生物学上无效的解释。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
大局观： “黑盒”问题
想象一下，科学家们制造出了极其强大的计算机（深度学习模型），它们可以像读书一样阅读人类基因组。这些计算机在预测特定的 DNA 序列会产生什么作用方面表现得非常出色——比如，一段 DNA 是会开启还是关闭某个基因。
然而，问题在于：这些计算机是“黑盒”。它们能给你答案，但不会告诉你为什么会给出这个答案。生物学家们在问：“好吧，你预测了这个结果，但到底是 DNA 的哪一部分让你得出这个结论的？这是一个真实的生物学规则，还是你只是瞎猜的？”
为了回答这个问题，研究人员使用“可解释性工具”（IML）。你可以把这些工具想象成照向 DNA 序列的手电筒，通过光照高亮显示出计算机认为重要的特定字母。
问题所在：“采樱桃”式的证据
本文的作者指出，目前的科学家使用这些手电筒的方式非常草率。他们称之为**“轶事评估”（Anecdotal Evaluation）**。
这里有一个类比：想象你是一名侦探，正试图证明一台新型金属探测器是否有效。
- 现状： 你在一个田野里走动，发现一个地方探测器响了，而那里确实埋着一枚硬币。于是你拍了张照片，展示给所有人看，并说：“看！它起作用了！”你忽略了另外 99 个探测器乱响却没发现硬币，或者漏掉硬币的地方。
- 论文的发现： 作者研究了 3,575 篇基因组学研究论文。他们发现几乎所有的论文都是这样做的。它们只使用一种手电筒方法，展示一两个看起来“成功”的例子（即工具似乎奏效的例子），却从未提及失败的情况。
实验：对工具进行实测
为了证明这是一个问题，作者针对一个特定的任务（预测转录因子——即结合到 DNA 上的蛋白质——如何附着）进行了一次大规模、严谨的测试（基准测试）。
他们将此视为对“手电筒”进行的压力测试。他们使用了：
- 三种不同的“黑盒”计算机（不同的 AI 模型）。
- 五种不同的“手电筒”工具（不同的可解释性方法）。
- 数千个 DNA 序列（而非仅仅是几个被“采樱桃”选出的例子）。
他们发现了当前实践中的三个主要失败点：
1. 手电筒意见不一（不一致性）
如果你把五种不同的手电筒都照向同一段 DNA 序列，你应该能看到大致相同的东西，对吧？
- 现实情况： 作者发现，这些工具指向的字母往往完全不同。一个工具可能会高亮某个特定的基因，而另一个工具可能会高亮附近的随机位置。
- 类比： 想象五个不同的导游在带你参观一座城市。导游 A 指向一家著名的博物馆；导游 B 指向一家面包店；导游 C 指向一个公园。如果你只听导游 A 的，你可能会认为博物馆是唯一重要的地方，但实际上你错过了整个全貌。这些工具如此不一致，以至于你根本不知道该信任哪一个。
2. 手电筒在撒谎（不忠实性）
有时，一个工具高亮了一个位置，并且计算机也“说”“是的，这很重要”，但如果你实际改变了这个位置，计算机的预测却完全没有变化。
- 现实情况： 工具给出的“解释”与计算机做出决策的实际方式并不匹配。这个工具只是在编造一个听起来合理的逻辑故事。
- 类比： 这就像一个魔术师说：“我挥动魔杖是因为我要让兔子消失。”但如果你停止挥动手杖，兔子依然会消失。魔杖（解释）并不是真正的起因；诡计其实发生在别处。
3. 手电筒错过了生物学本质（失配性）
最终目标是找到真实的生物学模式（如特定的 DNA“模体”或代码）。
- 现实情况： 当任务变得困难时（例如寻找短小且复杂的模式），这些工具的表现非常糟糕。它们经常高亮背景噪音（比如 DNA 中字母的总体混合情况），而不是实际的信号。
- 类比： 想象尝试在一本书中寻找一个特定的词。一个好的手电筒会高亮那个词；而一个坏的手电筒会高亮单词周围的空白区域，或者字体样式，并声称：“看，我找到了这个词！”作者发现，对于困难的任务，这些工具大多是在高亮“空白区域”（背景噪音），而不是真正的“单词”（生物学真相）。
解决方案：一套新的规则手册
作者认为，我们不应该把这些工具当成魔法，而应该把它们当作药物一样对待。
- 现状： “这是一颗药丸。它治好过我的头痛，所以它有效！”（轶事化）。
- 提议的方法： “我们需要临床试验。我们需要在成千上万的人身上测试这种药，报告所有的副作用，并观察它是否能持续发挥作用。”
他们为研究人员提出了一个分层框架：
- 低投入（强制性）： 不要只用一种工具。至少使用三种。如果它们意见不一，请停下来并承认你不知道答案。不要只展示一个“成功案例”；要展示你所有测试的统计数据。
- 中等投入： 进行“扰动测试”。如果工具说“字母 A 很重要”，请删除字母 A，看看计算机的答案是否会改变。如果答案没变，说明工具在撒谎。
- 高投入： 只有在通过了计算机测试之后，才应该去进行昂贵的实验室实验（湿实验）来验证发现。
底线
论文总结道，基因组 AI 领域目前建立在不稳固的地基之上，因为研究人员只展示他们的“高光时刻”。为了取得真正的科学进展，我们需要停止“采樱桃”式的成功案例展示，开始系统地测试失败、不一致和谎言。我们需要知道这些工具在什么时候不起作用，而不只是在它们起作用的时候。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。