Choosing Calibration Procedures for Reuse Across LLM Confidence Interfaces
本文表明，在源 LLM 界面上表现最佳的校准程序，在复用于目标界面时并不一定能产生最优的校准映射，从而揭示了一个源与复用最优解发生分歧的独特程序选择问题。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大语言模型是当今许多最先进人工智能工具背后的引擎，它们能够生成模仿人类对话的文本、解决复杂问题，并以惊人的流畅度回答问题。然而，尽管拥有如此强大的能力，这些系统往往在一种基本的人类特质上表现挣扎：即知道自己何时不确定。当模型回答一个问题时，它通常会分配一个数值分数来代表其对该答案的信心。如果这个分数很高，我们就假设答案很可能是正确的；如果分数很低，我们可能会犹豫或寻找其他来源。然而，这些内部置信度分数并不总是值得信赖。模型可能会对错误的答案非常有信心，或者对正确的答案犹豫不决。为了解决这个问题，研究人员使用了一种称为“校准”（calibration）的过程，它就像是一个翻译器。它获取模型的原始置信度分数并对其进行调整，使得 90% 的分数实际上意味着模型在 90% 的情况下是正确的。这种调整不是一次性的设置，而是一个通过研究模型在特定问题集上的表现而创建的数学映射。
挑战在于模型被要求回答的方式发生了变化。想象一个经过校准的模型，在同时呈现四个备选答案时会给出置信度分数。如果随后系统切换到另一种模式，即它必须仅仅验证某一个特定的答案是否正确，那么旧的校准映射可能就不再适用。在新模式下产生的分数存在于一个不同的景观之中，旧的翻译器可能无法理解它们。工程师的一种自然直觉是，假设适用于第一种模式的最佳校准方法也同样适用于第二种模式。这种逻辑听起来很合理：如果一种方法在过去表现完美，那么它在未来也应该表现良好。但中国信息工程学院的王雷汉（Lehan Wang）的一项新研究表明，这种直觉是极其危险且错误的。研究显示，在原始设置中表现最佳的校准程序，在转移到新设置时往往不再是最佳选择，这迫使我们重新思考如何信任这些系统。
为了调查这一点，研究人员使用四种不同的语言大模型和三个涵盖常识、通用知识和医学主题的不同问题集，建立了一个受控实验。该研究侧重于两种截然不同的提问方式。在第一种设置中，被称为“多项选择格式”，模型看到一个问题和四个潜在答案，然后必须从中选择一个。在第二种设置中，即“二元验证格式”，模型被展示同一个问题和一个特定的答案，它必须决定这个单一答案是正确还是错误。至关重要的是，研究人员确保了在两种设置中，底层的问题和正确答案完全相同。改变的仅仅是界面——即问题是如何呈现以及如何要求模型响应的方式。这使得研究人员能够在一个没有改变实际内容干扰的情况下，清晰地比较模型置信度分数在游戏规则改变时是如何发生偏移的。
团队利用第一个界面为模型拟合了多种不同的校准映射。随后，他们将这些映射原封不动地应用于第二个界面，以观察其效果如何。他们将这些“复用”的映射与两个基准进行了比较：一是模型在当前新设置下给出的原始、未经校准的分数；二是专门为新设置从头开始训练的新映射。结果在所有测试的模型和问题集上都是清晰且一致的。无论是在哪种方向的切换中——无论是从多项选择切换到验证，还是从验证切换到多项选择——在原始设置中表现最佳的校准方法，都不是在新设置中表现最佳的方法。事实上，坚持使用原有的“最佳”方法会导致可衡量的准确度损失。当研究人员计算误差时，他们发现使用源环境原生最佳方法会在新设置中导致大约 0.003 到 0.013 的额外误差率，虽然从绝对值来看这个差距很小，但对于高风险决策而言，这代表了可靠性的显著下降。
即使在允许模型选择自己的答案而非由特定候选答案固定的情况下，这一发现仍然成立。研究还包括了一项二级分析，其中模型选择它认为最好的答案，然后对该答案进行验证。模式依然如故：在源环境中看起来最好的程序并不是在目标环境中的最佳选择。研究人员发现，校准方法与界面之间的关系具有深刻的方向性。一种依赖于特定数学特征的方法可能会在从多项选择格式转向验证格式时表现出色，但当向相反方向移动时，这些相同的特征可能会变成负担。研究表明，改变校力和程序的效果很大程度上取决于切换的方向，这意味着不存在一种无论语境如何都通用的“普适”最佳方法。
这一发现对于任何构建依赖 AI 置信度系统的开发者来说，都具有实际且直接的意义。这意味着校准映射的历史背景至关重要。一个为一种界面完美调优的映射带有该界面的上下文信息，而这种上下文可能无法转化到另一种界面中。研究认为，我们不能简单地假设过去表现最佳的校准在未来也是最好的。相反，当系统改变提问方式或接收答案的方式时，必须重新评估校准程序的选择。如果目标环境有可用的标签，最好的方法是为该环境专门拟合一个新的映射。如果无法做到这一点，仅仅沿用旧的“最佳”映射是一种极有可能导致置信度分数可靠性降低的赌博。研究结论指出，校准映射的质量并非该方法本身固有的属性，而是该方法、其训练数据以及其使用的特定界面三者之间的一种关系。最终，最可靠的置信度分数并非来自盲目复用过去，而是来自于理解：每一个新的界面都是一个新的景观，可能需要一张新的地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。