LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

在人工智能领域，大型语言模型在阅读、写作和总结海量信息方面已变得异常出色。它们可以解释复杂的科学理论，起草法律文件，甚至编写代码。然而，这些系统有一个根本性的盲点：它们只能处理那些已经被写下来并输入到其训练数据中的知识。当面临依赖于未成文的直觉、特定的组织背景或从未被记录过的独特情况组合而做出的决策时，模型并不会简单地承认自己不知道。相反，它经常会编造出一个自信但错误的答案，这种现象被称为“幻觉”。这并不是一个可以通过搜索更多文档来修复的漏洞，而是一个结构性的限制。如果知识不存在于数据库中，机器就无法找到它。在医学、国家安全或研究资助等高风险领域的决策中，机器所知与人类专家所知之间的这种差距可能是危险的。

研究人员鲍里斯·科瓦莱丘克（Boris Kovalerchuk）和布伦特·D·费格利（Brent D. Fegley）提出了一种弥合这一差距的新方法。他们建议，与其试图让人工智能变得更聪明或给它读更多的书，不如构建一个关于人类专家实际如何思考的具体且结构化的地图。他们称之为“专家心理模型”（Expert Mental Model）。核心思想是停止要求机器去猜测答案，而是将机器作为一种工具，帮助专家阐明他们自己的决策逻辑。通过将人类的直觉判断转化为一套清晰、循序渐进的规则，系统就可以将这些规则应用于新的情况，而无需产生任何幻觉。这种方法将问题视为不是机器记忆的失败，而是未能捕捉到人类特定推理过程的失败。

研究人员在三个非常不同的领域测试了这个想法：决定是否申请研究资助、设计网络安全系统以及进行临床诊断。在第一个场景中，一组研究人员需要决定是否应该花费数月时间撰写一份提案以向资助机构申请资金。该决策取决于许多因素，例如团队是否拥有合适的技能、项目是否符合机构的目标，以及他们是否有足够的时间。标准的人工智能可以生成一份需要询问的问题清单，但它无法确定如何权衡这些答案。如果团队对“拥有技能”回答“是”，但对“拥有预算”回答“否”，机器可能会猜测该项目仍然可行，也可能猜测它不可行。机器无法得知对于这个特定的团队来说，预算是一个决定性的障碍，而对于另一个团队来说，这可能只是一个小障碍。

为了解决这个问题，研究人员使用了一种依赖于简单原则的方法：如果某种情况好到足以说“是”，那么让其中的任何部分变得更好都不应该使答案变成“no”。这被称为“单调性”（monotonicity）。想象一下，一个专家团队正在对关于项目的系列是非题进行回答。如果他们判定一个虽然有很棒的想法但没有资金的项目为“否”，那么一个有很棒想法、没有资金、而且还没有团队成员的项目也必然是“否”。通过使用这种逻辑，研究人员可以要求专家回答比通常情况下所需的问题少得多的问题。他们并没有询问关于所有可能因素的每种组合——对于复杂决策，组合数量可能高达数百万计——而是询问了一组精心挑选的问题。这些问题的答案使他们能够自动推导出成千上万种其他情景的答案。

在研究提案的例子中，团队从二十个潜在问题开始。人工智能帮助将这些问题组织成一个层级结构，将相关问题归类在一起。然后，人类专家回答了少量概括性的问题。例如，专家不必回答关于资源的每一个细节，而是可能回答一个关于团队是否准备就绪的宽泛问题。如果答案是“否”，系统立即知道无需再进一步讨论细节。如果答案是“是”，系统就会深入探讨具体的细节。通过仅仅四轮提问，研究人员就成功绘制出了涵盖超过60%所有可能情景的专家决策逻辑。剩余的情景则聚集在那些决策尚不明确的困难边缘案例周围，而这恰恰是人类判断力最宝贵的地方。

研究人员还在网络安全领域测试了这种方法，那里的规则通常由政府标准定义。在这种情况下，人工智能可以从文档中提取标准规则，但它仍需要人类专家将这些规则应用于特定组织的具体数据。系统帮助专家确定安全漏洞对他们特定网络的冲击，将模糊的担忧转化为结构化模型。在第三个领域——医疗保健中，研究人员审查了使用类似方法进行乳腺癌诊断的过往研究。他们发现，当决策规则直接从放射科医生那里通过这种结构化方法提取出来时，生成的模型比纯粹基于数据构建的模型更准确、更一致。这些模型可以解释为什么做出某个决策，并将其追溯到特定的因素，这对于需要信任系统的医生来说至关重要。

这项工作的一个关键部分是衡量如果任由人工智能自行其是，它出错的频率是多少。研究人员创建了模拟实验，将人类专家的决策与人工智能的猜测进行对比。他们发现，虽然整体错误率看起来很小，但错误集中在最重要的案例中。当专家本应对一个项目说“是”时，人工智能往往会说“no”，从而错失了机会。在某些模拟中，这种错失机会的错误率接近100%。这表明，幻觉的危险不仅在于制造随机错误，而是在于系统性地无法识别那些需要特定、未成文知识的稀有、高价值案例。

研究人员认为，解决方案不是试图让人工智能变得更像人类，而是利用人工智能来帮助人类编码他们自己的思维。机器擅长生成因素列表、将它们组织成逻辑组并检查一致性。但它并不了解什么对特定团队或组织而言是重要的。通过将两者结合，该系统创建了一个既具有计算效率又植根于真实人类专业知识的决策支持工具。人工智能处理结构和组织方面的繁重工作，而人类提供使决策具有意义的具体价值观和逻辑。

这种方法还有助于防止一种微妙的风险，即“认知同质化”（cognitive homogenization），即由于所有人都在使用相同的人工智能，导致大家开始以同样的方式做决策。如果一个组织仅仅依赖通用的模型，他们可能会失去独特的视角以及源于自身经验的特定洞察力。通过构建自己的“专家心理模型”，一个组织可以保留其独特的思维方式。该模型成为了他们集体智慧的可移植记录，即使创造该模型的专家离开组织，这种智慧依然存在。它确保了决策过程是透明且负责的，而不是一个无法解释其产生答案的“黑箱”。

该研究并不声称解决了所有问题。该方法在决策逻辑遵循“改善情况永远不会使结果变差”这一原则时效果最好。此外，它还要求专家愿意花时间阐述他们的想法，这可能是一个挑战。在某些情况下，专家可能会在没有看到具体细节的情况下难以回答抽象问题，而系统需要具备处理这种不确定性的灵活性。此外，尽管该方法已在模拟中进行了测试并根据过往研究进行了审查，但研究人员承认，还需要更多的现实世界测试，以观察它在实际临床环境或真实的资助提案中的表现。

尽管存在这些局限性，但研究结果为在关键领域使用人工智能提供了一条清晰的路径。关键的见解是，机器不应该是决策者。相反，它应该是决策过程的设计师，帮助构建一个能够准确捕捉人类判断的结构。通过这样做，它避免了幻觉的陷阱，并提供了一个既强大又值得信赖的工具。其结果是，该系统并非取代专家，而是增强了他们在面对复杂和不确定情况时，做出明智、一致且可解释决策的能力。