HintEval: An Open-Source Python Toolkit for Hint Generation and Hint Evaluation
本文介绍了 HintEval，这是一个开源 Python 工具包，它通过在多样化数据集上标准化提示生成与评估，旨在解决研究中的碎片化问题，并促进对基于提示的问答系统的系统性研究。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字时代，我们已经习惯于向机器寻求答案。无论是查找一个历史日期、解决一道数学题，还是规划一次旅行，大语言模型都能瞬间提供解决方案。然而，这种便利性也带来了一种微妙的代价。当答案被送到我们面前时，我们的大脑往往会停止运转。我们跳过了推理的挣扎、寻找线索的过程以及发现的成就感。这种将思考任务外包给机器的现象，存在着削弱我们独立解决问题能力的风险。为了应对这一问题，研究人员正在探索一种与人工智能交互的新方式：机器不再直接给出答案，而是提供提示（hint）。提示是一种微小的引导，它指明方向但不揭示终点，从而鼓励用户通过自己的思考来解决问题。
长期以来，关于如何创建和评判这些提示的研究一直处于碎片化状态。不同的研究小组构建了自己的工具，使用各自的数据格式，并创造了衡量质量的独特方式。这使得对比结果或在他人研究成果的基础上进行开发变得十分困难。为了解决这个问题，因斯布鲁克大学的一个研究团队推出了一款名为 HINTEVAL 的新型开源软件工具包。该工具充当了一个通用的翻译器和标准化工作坊，面向所有对基于提示的学习感兴趣的人。它整合了多样化的问题与提示集合，提供了一种单一且一致的生成新提示的方式，并提供了一套共享的规则来评估这些提示的优劣。通过统一这些零散的努力，该工具包让研究人员能够更轻松地进行实验，并在不同的数据集之间比较他们的发现。
这项工作的核心在于该工具包如何处理提示研究中的两个主要任务：生成与评估。在生成方面，该软件支持两种截然不同的方法。第一种被称为“知晓答案生成”（answer-aware generation），即在计算机已知正确答案的情况下创建提示。这对于准备教学材料的教师非常有用，其目标是引导学生走向一个已知的知识点。另一种被称为“不知答案生成”（answer-agnostic generation），即仅根据问题创建提示，而不预先知道答案。这种方法更具挑战性，但模拟了现实世界的场景——即用户提出问题，而系统必须在没有预载答案的情况下进行引导。该工具包允许研究人员使用相同的底层代码测试这两种策略，从而能够轻松观察哪种方法对特定类型的问题更有效。
一旦提示生成完毕，工具包便进入了至关重要的评估阶段。一个好的提示必须走好平衡木：它需要与问题相关且易于理解，但又不能在无意中泄露答案。研究人员实施了五个具体的维度来衡量这种平衡。他们检查提示与问题的关联度、易读性、能否有效缩小可能的答案范围、提示信息对普通受众的熟悉程度，以及最后，它在多大程度上泄露了实际答案。为了确保这些测量结果可靠，团队将该系统与人类判断进行了对比测试。他们要求人们对数千个提示进行评分，并将人类评分与软件给出的分数进行对比。结果显示出中等但明确的一致性，这表明自动化工具可以可靠地预测提示对人类用户的帮助程度。
研究人员还在一项涉及真实人类的实际实验中对生成的提示进行了测试。他们要求一组参与者回答一系列难题。在没有任何帮助的情况下，参与者仅答对了约 18% 的问题。当研究人员提供相同的问题以及由工具包生成的提示时，剩余未答题的成功率跃升至接近 78%。总体而言，该组的准确率从 18% 上升到了 80% 以上。这种显著的提升证明了这些提示并非随机的建议；它们有效地帮助用户通过推理找到了正确答案，而不是仅仅告诉他们答案是什么。这项研究表明，当人工智能扮演引导者而非答案提供者的角色时，它可以显著提升人类的表现，同时保持大脑的活跃。
除了数据之外，该工具包本身的设计也兼顾了易用性。它使用一种通用的编程语言编写，并附带清晰的说明、预备数据和示例，使研究人员能够立即开展工作。团队还对学生和领域内的专家进行了可用性研究，他们发现该系统易于安装且易于理解。这种易用性至关重要，因为它降低了准入门槛，让更多科学家能够加入到改进人类与机器协作的研究中。通过提供一个共同的基础，HINTEVAL 有助于推动该领域从孤立的实验转向对如何设计支持人类智能而非取代人类智能的交互方式进行系统性的理解。这项工作证实，通过正确的工具，我们可以构建出能够帮助我们更好地思考，而不仅仅是替我们思考的 AI 系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。