Hierarchy-Aware Supervised Uncertainty Estimation for Black-box LLM Taxonomic Reasoning
本文提出了一种层级感知监督不确定性估计框架，该框架利用来自开源大语言模型的代理特征来训练轻量级估计器，在预测生物多样性监测中黑盒大语言模型分类推理的层级正确性方面，显著优于基于标记似然（token-likelihood）的基准方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在科学发现的高风险世界中，从追踪濒危物种到诊断罕见疾病，计算机正越来越多地被要求做出关键判断。这些被称为大型语言模型的机器是强大的工具，它们可以阅读海量文本并生成听起来智能的答案。然而，一个显著的问题仍然存在：当这些模型被用作“黑盒”时——即我们只能看到输入和输出，却无法窥视其内部以了解它们是如何得出结论的系统——我们很难知道何时该信任它们。在生态学等领域，由于对物种的错误判断可能会导致保护工作的浪费或错失对稀有动物的保护，了解计算机对其答案的信心程度与答案本身一样重要。当任务涉及复杂的层级结构（例如生物分类学）时，这种不确定性变得更难衡量，因为在宏观层面（如动物的科）犯错可能不如在微观层面（如具体的物种）犯错那样严重，但两者都至关重要。
一个研究小组致力于为一种特定的、具有挑战性的场景解决这个问题：识别节肢动物，这是一类包括昆虫和蜘蛛在内的无脊椎动物，其中许多种类既稀有又濒危。他们与一个旨在通过图像识别这些生物的系统合作，这一过程包含几个步骤。首先，一个视觉模型用文字描述图像。然后，一个检索系统从在线数据库中收集相关事实。最后，一个大型语言模型利用这些信息提出一条分类路径，即从像“昆虫”这样宽泛的类别一直到具体物种的名称列表。该系统设计得非常谨慎；如果在任何步骤中感到不确定，它就会停止并承认自己不知道，而不是进行猜测并可能误导研究人员。研究人员的目标是建立一种方法，为这些预测分配一个数值置信度分数，从而允许科学家自动过滤掉不确定的案例，并将它们发送给人类专家进行审核。
挑战在于，用于这些预测的主要语言模型是一个黑盒，这意味着研究人员无法访问其内部计算来直接测量不确定性。为了绕过这一限制，他们开发了一个巧妙的变通方案。他们使用另一个开源语言模型作为“工具”，来分析图像描述与最终预测之间的对话。这个工具模型充当了翻译的角色，从文本中提取特定的线索和模式，这些线索暗示了预测很可能正确或错误的迹象。这些线索作为一种代理（proxy），即一种替代信号，代表了隐藏模型内部的置信度。
利用这些提取出的线索，研究人员训练了一个小型、轻量级的计算机程序来充当监督者。这个监督者学会了观察文本模式，并针对生物层级的每一个级别，预测主要模型的猜测是正确还是错误。他们测试了三种不同的监督者设计。第一种设计将层级中的每个级别视为相同。第二种设计增加了一个辅助任务，以向系统传授关于整体分类结构的知识。第三种设计则更加专业化，为层级中的每个特定级别（从宽泛的类别到具体的物种）都配备了一个独特的“头”或专门的处理器。
结果表明，这种监督学习方法比仅仅观察模型认为其自身词汇有多大可能性正确要有效得多。在直接对比中，这种新方法在区分正确答案和错误答案方面始终表现得更好。最成功的方案是带有独特等级“头”的专业化设计。这表明，当一个系统需要对接受或拒绝整个推理链做出单一且统一的决策时，考虑不同层级的结构和难度是至关重要的。这个专门化的监督者学会了在物种层级犯错与在科层级犯错之间的区别，并据此调整了其置信度分数。
这项工作证明，即使我们无法看透强大的人工智能内部，我们仍然可以通过使用其他工具来解释其行为，从而构建可靠的安全网。通过在一个简单的估计器上训练，基于模型的输出模式，研究人员创建了一个能够可靠地标记长尾层级结构中不确定预测的系统。这意味着在生物多样性监测等实际应用中，科学家现在可以依靠一个明确的数值阈值，来决定何时信任计算机的识别结果，以及何时请人类专家介入，使人工智能在自然保护中的应用既更强大又更负责任。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。