Automatic Hint Generation and Evaluation for Reasoning Questions

在人工智能领域，大型语言模型在解决复杂谜题和回答难题方面已变得异常出色。这些数字系统可以进行逻辑推理、执行计算，并以往往能与人类专家相媲美的流利度解释科学概念。然而，在教育场景或当某人试图学习一项新技能时，仅仅将最终答案递到手中很少会有所帮助。真正的学习发生在寻找解决方案的挣扎过程中，这一过程需要引导而非直接揭示。这就是“提示”（hint）这一概念变得至关重要的原因。一个好的提示就像一次温柔的推动，提供恰到好处的信息来引导学习者走向正确的路径，而不泄露终点。研究人员面临的挑战在于教导机器如何自动生成这些提示。机器必须走钢丝：它需要足够具有信息量以发挥作用，足够具有相关性以保持主题，并且足够安全以确保绝不会意外地泄露答案。如果提示太模糊，它就毫无用处；如果提示太具体，则违背了练习的初衷。

因斯布鲁克大学的一位研究人员致力于通过教导人工智能模型如何为推理问题编写更好的提示来解决这一问题。他们首先从五个不同的来源收集了各种各样的难题，涵盖了从多步逻辑谜题、日常常识到科学考试题目以及数学应用题的所有内容。为了确保研究既可控又具有代表性，他们选择了 1,500 个多样化的题目，捕捉到了这些领域中所包含的各种思维风格。随后，他们要求三个不同的大型语言模型使用四种不同的方法为每一个问题生成提示。其中一些方法允许模型在编写提示时看到正确答案，而另一些方法则迫使模型在“盲目”状态下工作，仅依靠问题本身。他们还测试了在生成提示之前将复杂问题分解为更小、更简单步骤的方法。

为了评判生成的提示质量，该研究人员开发了一套严谨的测试系统，用于衡量四个关键特质。他们检查了“收敛性”（convergence），即提示在多大程度上缩小了可能的答案范围以引导用户走向真相；他们测量了“答案泄露”（answer leakage），以确保提示不会在潜意识层面意外揭示解决方案；他们评估了“熟悉度”（familiarity），以观察提示是否使用了普通人能理解的概念，而非晦涩的术语；最后，他们检查了“相关性”（relevance），以确认提示始终聚焦于所提的具体问题。利用这些衡量标准，研究人员创建了一个评分系统，该系统优先考虑有用且安全的提示，同时惩罚那些给出答案的提示。接着，他们利用这些高分提示对模型进行“微调”（fine-tuning），这是一个人工智能通过特定示例来改进其行为的过程，就像学生通过学习一组练习题来掌握一个学科一样。

结果表明，这种教导模型的方法是有效的。当研究人员将原始模型与经过精选提示微调后的模型进行比较时，他们发现了持续性的改进。经过微调的模型在避免答案泄露方面有了显著提升，这意味着它们极少会意外泄露解决方案。与此同时，它们生成的提示变得更加亲切易懂，使用的概念也更具直觉性。至关重要的是，模型并没有失去保持相关性或引导用户走向正确答案的能力。这项研究表明，通过仔细选择和加权用于训练的数据，可以塑造人工智能，使其成为一个更有效且更安全的教学助手。研究人员指出，尽管改进幅度较为适中，但在不同类型的模型和问题风格上表现出了可靠性，这为创造能够支持学习而不削弱学习所需努力的 AI 工具提供了一条切实可行的路径。