Candidate information structure reduces over-alignment in LLM- based concept mapping
本文表明，基于大语言模型的概念映射系统通过将候选集构建为可比较且可排除的格式，可以显著减少针对不可映射术语的过度对齐错误，这一设计原则被证明比单纯提供正确答案或改进检索更为有效。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能的广阔领域中，大型语言模型已成为将人类语言转化为结构化数据的强大工具。想象一位图书管理员，能够瞬间将数百万本书籍分类整理进精确的目录中。在数字世界里，这项任务涉及从文本中提取一个短语，并将其与数据库中特定的、预先批准的概念进行匹配，例如医学诊断代码或历史术语。这个过程对于组织知识至关重要，但也隐藏着风险。当模型遇到一个实际上并不匹配任何现有概念的短语时，它往往拒绝承认失败。模型并没有说“这没有匹配项”，而是自信地强行建立一种联系，将其关联到看起来最接近的选项上，从而创造出虚假的链接。这种被称为“过度对齐”（over-alignment）的行为，可能会用那些看似正确但本质错误的错误来污染数据库。
研究人员长期以来一直怀疑，仅仅给模型正确的答案或许就能解决这个问题。其逻辑非常直接：如果模型感到困惑，向它展示正确的选择应该能阻止它进行猜测。然而，一项新的研究挑战了这一假设，揭示了信息的呈现方式与信息本身同样重要。通过使用专家一致认为没有对应项的术语来测试模型，团队发现，向人工智能呈现信息的结构才是阻止这些自信错误的关键。
研究始于确认这种错误是广泛且顽固的。研究人员利用一组来自中国古代数学的 181 个术语测试了四种不同的语言模型。在这个领域中，专家已确认这些特定术语在目标数据库中没有有效的匹配项。尽管如此，这些模型却表现得异常渴望强行建立联系。最自信的模型在超过 94% 的案例中产生了强制匹配，且通常带有高度的确定性。即使模型错了，它们也很少表现出不确定性；相反，它们会变本加厉地坚持错误的选择。这证实了问题不在于缺乏知识或瞬间的判断失误，而在于一种持续存在的倾向，即优先考虑寻找匹配项，而非识别何时不存在匹配项。
为了理解为什么会发生这种情况，研究人员设计了一个受控实验，使用特定的模型来测试呈现信息的不同方式。他们创建了四种不同的场景。在第一种场景中，模型在没有任何帮助的情况下获得一个术语。在第二种场景中，模型获得该术语以及一个指向特定正确映射代码的单一直接提示，代表“正确但信息稀疏”的约束。在第三种场景中，模型看到了一个包含正确答案的候选列表，但该列表的组织方式允许模型在选项之间进行相互比较。第四种场景则打乱了同一列表的顺序，以观察排列方式是否重要。
结果令人震惊。仅仅提供正确答案作为单一提示确实改善了模型的表现，但远非完美。当选项作为单一、孤立的事实呈现时，模型仍然难以拒绝错误的选项。然而，当模型获得一个可以进行比较的结构化候选列表时，其准确率显著提高。在古代数学领域，这种结构化方法比单一提示法提高了近 30 个百分点。在临床领域，这种提升也同样巨大。至关重要的是，当研究人员打乱同一列表的顺序时，性能下降了，这证明了信息的特定排列方式才是驱动成功的关键。模型需要并排看到这些选项，才能理解其中没有任何一个真正符合描述。
团队还调查了更好的搜索工具是否能解决这个问题。他们测试了三种旨在为模型寻找最相关候选者的系统。虽然这些工具比基础的提示法更能找到正确的候选者，但仍未能达到结构化列表方法所实现的高准确度水平。这排除了问题仅仅在于模型找不到正确答案的可能性。问题不在于检索，而在于模型在获取信息后如何处理这些信息。结构化列表起到了脚手架的作用，让模型能够权衡选项之间的相似性和差异性，并意识到其中没有任何一个真正契合描述。
这一发现表明，在我们构建依赖人工智能来组织知识的系统时，需要发生根本性的转变。仅仅向模型喂入正确的数据，或者依靠强大的搜索引擎去寻找正确的术语是不够的。信息的呈现方式必须能够鼓励比较和批判性评估。通过将候选对象组织成清晰、可比较的结构，开发者可以帮助模型识别自身知识的边界。这种方法不仅提高了准确性，还教会了系统何时停下来并说“我不知道”，而这往往是知识系统能做出的最重要的决定。这项研究证实，问题的架构与答案本身同样重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。