A learned fungal ITS embedding does not outperform correctly configured alignment in open-world evaluation
本研究表明，在开放世界评估中，经过专门训练的真菌 ITS 嵌入模型的表现并未优于配置正确的基于比对的方法，这揭示了此前报道的学习嵌入之优势并非源于表示本身，而是由于启发式默认设置、缺失覆盖率过滤器以及数据泄露等方法论缺陷所致。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在人类脚下隐藏的世界里，真菌无处不在，但它们在肉眼下却大多是不可见的。为了理解这个庞大的生命王国，科学家们依赖于一段被称为 ITS 区域的特定遗传代码。可以将这段代码想象成印在每种真菌物种上的独特条形码。当研究人员从土壤或空气中采集样本时，他们会对这个条形码进行测序，并尝试将其与庞大的已知真菌库进行比对，以确定他们发现了什么。然而，大自然充满了惊喜。通常，样本中的真菌是非常新的物种，或者与已知亲缘关系过于遥远，以至于无法在库中找到任何匹配项。对于科学家来说，挑战是双重的：他们必须决定何时一个真菌是真正新颖的并应当保持未命名状态，并且必须尽可能准确地将其置于生命之树的家族谱系中，即使具体的物种尚不明确。
多年来，解决这种匹配问题的标准方法是将新的遗传序列与库中的每一个已知序列进行比对，寻找最接近的匹配项。这种被称为“比对”（alignment）的方法，就像是在查字典时，通过检查每一页来寻找与你试图拼写的单词最像的那个词。最近，一种更先进、更高科技的方法出现了。科学家们不再逐页检查，而是开始使用人工智能将遗传代码转化为一个巨大多维空间中的数学点。在这个新系统中，相似的真菌被放置在一起，而不同的真菌则被推开。人们曾希望这种学习系统能够比旧的、缓慢的逐页检查法更快、更准确地识别出新真菌并将其归入正确的家族。
一个研究小组着手测试这种新的人工智能方法是否真的优于传统方法。他们构建了一个专门用于理解真菌遗传学的定制 AI 模型，使用了大规模且最新的真菌序列集。为了确保测试的公平性，他们设计了一个严格的实验，让 AI 和传统方法在完全相同的未知样本集上接受评判。他们还特别小心地在实验开始前封存了测试数据，以确保没有任何部分会意外影响 AI 的训练。这种“防火墙”意味着，当结果最终揭晓时，它们将是对这些方法在处理全新数据时表现能力的真实衡量。
研究人员发现，测试结果完全取决于规则的设定。当他们使用传统的比对方法及其默认的标准设置运行时，新的 AI 模型表现得似乎更好。然而，研究人员意识到，这些标准设置实际上并没有被设定为完成最出色工作的状态。传统方法当时跳过了一些潜在的匹配项，并且过早地停止了搜索。当团队重新配置了传统方法，使其进行穷尽式且细致的搜索，即不走捷径地检查所有可能性时，结果发生了彻底的变化。运行在全盛状态下的旧方法，在识别已知真菌以及将新真菌归入正确的家族组别方面，变得比 AI 更加准确。
研究显示，AI 模型存在一个隐藏的弱点：其性能取决于同时输入多少样本。当 AI 处理大批量样本时，其结果与逐个处理样本时的结果略有不同。这种不一致性意味着 AI 并不真正稳定。相比之下，传统方法无论如何对数据进行分组，都能给出相同的结果。此外，研究人员发现，在衡量科学家在现实世界中会做决策的具体节点时，AI 发现新真菌的能力实际上并不比传统方法强。AI 并没有发现更多的真菌，也没有减少错误。事实上，传统方法在发现更多新真菌的同时，犯错也更少。
或许最令人惊讶的是，研究人员发现，AI 在早期测试中的成功部分归因于测试设置中的一个缺陷。尽管这些“新”真菌本应是被隐藏的，但其中一些在 AI 的训练过程中其实已经被它“见过”了。当研究人员通过从训练数据中移除这些特定的真菌并重新训练 AI 来修复这一问题时，两种方法之间的差距进一步扩大了。传统方法进一步领先，展现出了清晰且具有统计学意义的优势。AI 比较不同部分遗传代码的能力——这本应是它的“超能力”——结果证明并不比传统方法直接观察共享部分的代码的能力更强。
最终的结论非常明确：一个配置精良的传统方法在每一个重要的类别上，都达到或超过了新型人工智能模型的表现。AI 并没有超越旧方法；而是旧方法被测试的方式让它看起来较弱。研究表明，评估规则（例如搜索的严格程度以及数据的分组方式）决定了胜负。研究人员强调，在对任何新方法进行评估之前，确保其基准测试（baseline）正处于最佳运行状态、确保数据对系统而言是真正的全新数据、以及确保结果在不同条件下是稳定的，这些检查既简单又廉价。最后，只要使用得当，最可靠的识别隐形真菌世界的工具仍然是那个已被使用了数十年的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。