SGHA: Evidence-Grounded Research Problem Discovery with Local Language Models
本文介绍了 SGHA，这是一个基于本地语言模型的全自动化系统，它通过将科学文献构建为类型化证据图来检测结构性空白，从而发现以证据为基础的研究问题，进而实现无需依赖专有前沿模型的透明且可审计的问题构建。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，科学一直依赖人类思维来发现下一个重大问题。研究人员阅读数十篇论文，注意到某种方法在特定条件下不断失效，或者看到某个局限性被反复提及却从未得到解决，进而构思出一个新的问题来应对它。这种跨越不同研究进行点对点连接的过程既困难又耗时，且深度依赖于研究者自身的经验。近年来，人工智能已开始协助这项工作，能够阅读海量文本库并提出新颖的构想。然而，许多先进系统依赖于强大的、专有的黑盒模型进行运作。它们基于训练数据中的隐藏模式生成建议，使得很难验证一个想法究竟源自何处，或审计其背后的证据。这带来了一种风险，即人工智能可能会发明听起来合理但缺乏真实科学记录基础的问题，或者它可能会隐藏选择某个问题的具体原因。
一组研究人员推出了一种名为“结构化缺口假设智能体”（Structural Gap Hypothesis Agent，简称 SGHA）的新方法，试图通过将对新研究问题的搜索完全建立在科学论文本身的文本之上来解决这一问题。该系统并非要求计算机凭空想象一个新的方向，而是将现有的文献视为一张结构化的地图。它阅读一系列论文，提取关于方法如何运作、它们依赖哪些假设以及在哪里失效的具体事实，然后构建一个详细的这些连接的网络。随后，系统会扫描这个网络以寻找“结构化缺口”——即证据表明存在问题，但尚未有人撰写正式研究问题来应对这些问题的模式。例如，如果许多论文显示某种技术在处理简单数据时表现良好，但在处理复杂数据时会失效，且尚未有论文提出针对该特定失效进行修复的研究，系统就会将其标记为一个缺口。其目标是产生不仅是创造性的猜测，而且能直接追溯到文献中证据的研究问题，并附带清晰的来源材料记录和剩余的具体不确定性。
研究人员在机器学习领域（一个专注于教计算机如何从数据中学习的计算机科学领域）测试了该系统。他们向系统输入了来自这些领域的共计 1,250 篇科学论文。系统成功阅读并理解了其中 1,044 篇论文的文本，提取了数千个具体的事实和关系，以构建其证据图谱。从这一海量信息集合中，系统识别出了 39 个潜在缺口，即文献表明存在问题但尚未定义解决方案的地方。随后，系统对这 39 个候选方案进行了严格的验证过程。在这个阶段，系统扮演了自己的批评者，检查每个缺口是否确实由论文支持，以及所提出的问题是否仅仅是已有工作的重复。只有通过了这一严格检查的缺口才被允许进入下一阶段。最终结果是 15 个形式化的研究项目，每个项目都以结构化问题陈述的形式呈现，包括主要变量、正在测试的假设、成功的标准以及人类研究员在开始工作前需要解决的一系列歧义。
为了观察这种方法是否有效，研究人员将他们的系统输出与其他的自动化构想生成器（包括一个名为 AI-Scientist 的知名系统）进行了对比。他们对所有对比实验使用了相同的底层语言模型，以确保测试公平，重点在于研究问题构思的质量，而非编写代码或运行实验的能力。结果显示，新系统产生的研究问题在回溯来源材料方面显著更好。SGHA 生成的问题对于证据来源更加明确，对于所做的假设更加清晰，并且对于问题中哪些部分仍未定义表现得更加诚实。虽然其他系统产生的想法通常文笔优美且技术细节详尽，但它们往往缺乏与论文中特定证据的深度连接，并且经常忽略明确说明所提议工作的局限性或不确定性的机会。新系统的输出更像是一份详细的蓝图，研究人员可以拿起它并立即理解其基础；而其他系统的输出则更像是通用的提案。
研究人员还探索了如何使该系统能够根据特定科学家的兴趣进行定制。通过向系统输入研究人员过去工作的个人资料，他们发现系统可以优先考虑与该人研究历史最相关的缺口，从而有效地充当个性化的研究助手。他们还测试了一种允许系统探索更广泛可能性的模式，可以生成更多潜在方向，尽管这些方向不够精炼，需要更多的人工完善。研究表明，论文库的大小至关重要；如果论文过少，系统无法找到足够的证据来形成稳固的问题，但如果拥有丰富的收藏，它就能识别出复杂的模式。然而，系统并不会简单地输出固定数量的想法；当证据不足以支持一个新问题时，它会停止输出，拒绝在没有充分依据的情况下强行给出解决方案。
这项工作凸显了人工智能如何辅助科学研究的转变。与其用一个生成无尽想法的黑盒来取代人类直觉，不如利用人工智能将海量的现有知识组织成清晰、可审计的结构。它证明了通过仔细绘制已知、假设与缺失之间的关系，计算机可以帮助识别下一个最值得提出的问题。该系统并不声称已经解决了这些问题，也不声称独立发现了下一个伟大的发现。相反，它提供了一个扎实的起点，将零散的科学文献信号转化为一套清晰、可检查的研究方向，供人类科学家随后进行改进、细化并开展研究。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。