MineralBench: an evaluation benchmark of large language models for mineral resources
本文介绍了 MineralBench，这是一个包含三个专门任务和四个指标的综合评估基准，旨在系统地评估和比较 13 个大语言模型在矿产资源领域的性能，揭示了通用能力与领域特定能力之间的显著性能差距，以及微调任务依赖性的特征。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
地球拥有一座由岩石书写的、浩瀚而沉默的信息图书馆。几个世纪以来，地质学家一直通过手工方式阅读这座图书馆，在堆积如山的报告、地图和野外笔记中搜寻珍贵矿产的踪迹。这种手工工作缓慢、昂贵，且容易出现人为错误，尤其是在数据量激增时。近年来，一种新型计算机程序出现了，它们能够以惊人的流利度理解并处理人类语言。这些被称为“大语言模型”的程序已经展现出它们能够回答问题、总结文本并在许多领域解决问题的能力。然而，尽管它们在通用知识方面表现出色，但没有人能确定它们是否能够处理地质学这一特定且专业的语言。问题不仅在于这些程序能否读懂一本地质学书籍，还在于它们是否真的能在不犯下危险错误的前提下，帮助地质学家发现新矿藏或理解复杂的岩层结构。
为了回答这个问题，来自中国地质大学和中国地质科学院的研究团队构建了一个名为 MineralBench 的全新测试场。可以将它想象成一个专门为矿物领域的人工智能设计的专业考试。研究人员并没有仅仅让计算机猜测随机的事实，而是设计了三种截然不同的挑战，以模拟真实的工作场景。首先，他们测试了模型是否能理解特定矿物术语的定义，例如是否准确知道“黄铁矿衰减”（pyrite decay）的确切含义。其次，他们要求模型识别矿物的特定属性，例如列出构成一种名为“透闪石”（Actinolite）的岩石所包含的化学元素。最后，他们给模型提供长篇且结构松散的地质文本，并要求它们提取特定的矿物名称和岩层名称，这项任务需要从文字的“干草堆”中寻找“针头”。
该团队让 13 种不同的模型接受了这场严酷的考验。其中一些是可以通过互联网访问的海量云端系统，而另一些则是可以在实验室单台计算机上运行的小型版本。结果揭示了一个明显的鸿沟。这些模型在处理通用科学问题时通常表现良好，在关于数学和基础科学的标准测试中往往得分很高。然而，当问题转向特定的矿物世界时，它们的表现显著下降。没有哪一个模型在所有方面都是最好的。有的模型可能在文本中查找名称时速度最快，有的则更擅长列出化学元素，而第三种模型可能在被多次询问同一问题时能给出最一致的答案。这表明目前还没有出现单一的“完美地质 AI”；相反，不同的模型各有所长，就像一支由专家组成的团队，每个人在工作的不同部分都表现卓越。
研究人员还观察了答案的稳定性。他们多次询问相同的问题，以观察模型是会给出相同的答案，还是会改变主意。他们发现，虽然有些模型非常一致，但它们有时会“一致地出错”，一遍又一遍地重复同一个错误答案。另一些模型则波动较大，但偶尔能撞上正确答案。这一发现至关重要，因为它表明仅仅询问计算机一次是不够的；对于严肃的工作，你需要知道答案既是正确的，又是可靠的。研究还测试了通过使用额外数据进行“微调”来向模型“传授”更多地质知识会发生什么。他们发现，这个过程是一把双刃剑：模型在某项特定任务（如从文本中提取名称）上的表现大幅提升，但在其他任务（如解决数学问题）上的表现却反而下降了。这表明，教导人工智能成为某个狭窄领域的专家，有时会导致它在处理其他事务时变得不再那么擅长。
最终，这项工作为任何试图在矿业中使用人工智能的人提供了清晰的路线图。它表明，虽然这些工具具有巨大的潜力，但它们尚未准备好独立取代人类专家。最好的方法似乎是根据具体工作仔细选择合适的工具，并理解一个速度快的模型可能并不准确，而一个准确的模型可能速度较慢。通过建立这些标准并揭示当前技术的特定优势与劣势，研究人员为科学界提供了一种衡量进步以及为探索地球资源这一艰巨工作选择合适“数字助手”的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。