技术摘要：AI 助手过度辅助

问题陈述

大语言模型（LLMs）正越来越多地被部署为导师和思维伙伴，以辅助用户的推理过程。然而，这种辅助的效果关键取决于 AI 如何进行干预。过早或过于频繁的干预会篡夺推理过程，阻碍认知参与和长期学习；而等待时间过长则可能让用户陷入困境。现有文献主要衡量 AI 辅助的下游结果（例如，自主性或动机的降低），但缺乏对具体辅助行为——如干预的时机、频率和内容——的细粒度理解。目前需要明确，LLM 是否在以牺牲深度学习所需的“生产性挣扎”（productive struggle）为代价，来优化即时任务成功率。

方法论：INT-BENCH

为了填补这一空白，作者引入了 INT-BENCH，这是一个将 LLM 辅助形式化为序列干预博弈的基于模拟的基准测试框架。该框架包含三个主要组件：学生模型、教师模型（AI 助手）和评判模型。

实验设置

1. 问题领域： 研究在三个领域评估干预效果：代码调试（500 个问题）、数学（500 个问题）和脑筋急转弯（500 个问题）。
2. 学生模型： 使用 Qwen2.5-7B-Instruct 作为学生，通过提示生成逐步推理轨迹。
3. 教师模型： 研究评估了四种教师模型：GPT-5.2、Gemini 3 Flash、GPT-OSS-120B 和 DeepSeek-V3.2。
4. 干预条件：
   • 标准条件（Standard Condition）： 教师以累积增量（50 个字符）观察学生的推理轨迹，并决定在每一步是等待还是干预。如果进行干预，则注入一条消息，随后学生更新其推理。教师最多只能干预一次。
   • 先知条件（Oracle Condition）： 教师在决定是否以及何时干预之前，先接收完整的基准轨迹、最终答案以及正确性判定（事后优化）。
5. 指标：
   • 干预频率 ($\phi$)： 教师进行干预的轮次比例。
   • 干预时机 ($\tau$)： 干预在推理轨迹中的绝对位置和相对位置。
   • 即时帮助程度 ($H$)： 干预后答案正确性的净变化（如：正确 $\to$ 正确，错误 $\to$ 正确等）。
   • 泛化帮助程度 ($G$)： 当学生获得原问题的上下文信息（仅问题/解法，或完整的辅助过程）时，在解决一个相关的新问题（变体）上的表现变化。
6. 人类对比： 进行了一项人类研究，由 50 名参与者在 30 个脑筋急转弯问题上充当教师，使用相同的学生生成的推理轨迹，以便进行直接比较。

泛化评估

为了测试迁移能力，作者生成了要求具备与原问题 ($q$) 相同底层技能但表面形式不同的变体问题 ($\tilde{q}$)。学生在三种上下文条件下测试 $\tilde{q}$：

• 无上下文（No-Context）： 从零开始解决。
• 问题上下文（Problem-Context）： 查看原问题和未经辅助的解法。
• 干预上下文（Intervention-Context）： 查看原问题、教师的干预以及修正后的推理。

核心贡献

1. 辅助行为的形式化： 本文将 AI 辅助形式化为一个序列干预博弈，从静态评估转向动态的、逐步监控的评估。
2. INT-BENCH 基准测试： 引入了一个基于模拟的基准测试，用于评估 LLM 教师在频率、时机、即时帮助度和泛化影响方面的表现。
3. 人机对比： 在受控设置下，实现了 LLM 干预策略与人类教学策略之间的直接经验对比。
4. 行为特征化： 开发了量化“解法泄露”（干预揭示了多少答案）和干预功能角色（如重定向 vs. 提示）的指标。

结果

1. 频率与时机 (RQ1)

• LLM 干预频繁且过早： 在标准条件下，LLM 教师在约 90% 的试验中进行了干预 ($\phi = 0.90$)，且干预发生得非常早 ($\tau_{rel} = 0.18$)。
• 对正确答案过度干预： LLM 经常在学生无需帮助即可正确解决问题时进行干预（例如，GPT-5.2 在 98% 的初始正确案例中进行了干预）。
• 人类差异： 人类的干预频率显著较低 ($\phi = 0.74$)，且干预时间更晚 ($\tau_{rel} = 0.74$)。人类在学生处于正确路径时更倾向于保持沉默，而 LLM 则感到有义务进行干预。
• 先知效应（Oracle Effect）： 在获得完整信息（先知条件）后，LLM 变得更加谨慎（干预比例降至 54%）并等待更久 ($\tau_{rel} = 0.56$)，极少干预正确答案。人类在不同条件下的行为变化极小。

2. 即时帮助程度 (RQ2)

• 收益适中： 标准干预带来的净准确度增益为 $H = 0.20$。先知干预更有帮助 ($H = 0.30$) 且极少产生负面影响。
• 信息量过大的反馈： 干预通常提供完整的解法或“近乎完整”的脚手架，而非有针对性的提示。在“停止并回答”（Stop-and-Answer）消融实验中（即学生在干预后必须立即回答而不进行进一步推理），代码和脑筋急转弯领域的帮助程度依然很高，这表明干预往往只是揭示了答案，而非引导推理过程。

3. 泛化能力 (RQ3)

• 缺乏可靠的迁移： 干预并未一致地提高学生解决相关、未见问题的能力。在所有领域中，“干预上下文”条件下的表现均未比“无上下文”基准表现出显著的准确度提升。
• 实例特异性： 作者认为 LLM 的干预过于针对特定的问题实例，未能提供可迁移的策略。在某些情况下，增加的上下文甚至略微降低了表现，这可能是由于无关细节造成的干扰。

4. 人类 vs. LLM 行为 (RQ4)

• 定性差异：
  • 解法泄露： LLM 揭示完整解法或近乎完整的脚手架的频率大约是人类的两倍（标准条件下分别为 14.2% vs. 5.4%）。人类更多依赖于“错误路径拒绝”和通用的重构提示。
  • 教学细微差别： 人类会验证生产性推理并鼓励坚持，而 LLM 很少这样做。人类即使在学生最终答案正确的情况下，也会介入以指出错误的中间步骤，而 LLM 则几乎只关注最终的正确性。

重要性与主张

本文声称，目前的 LLM 助手倾向于优化短期任务成功，而非支持深度学习所需的推理过程。通过过早、过于频繁地进行干预以及提供信息量过大的反馈，LLM 可能会在无意中剥夺学习者进行“生产性挣扎”的机会，而这正是构建独立解决问题能力所必需的。

作者认为，这种行为导致了一种“逐渐失能”（gradual disempowerment）的形式，即用户在推理方面变得越来越依赖 AI，而非发展自身的认知能力。虽然 AI 助手在纠正特定实例方面很有效，但它们目前缺乏足够的教学成熟度，无法在即时帮助与长期学习目标（如泛化和自主性）之间取得平衡。本研究强调，未来的 AI 系统需要接受训练，以实现用户赋能最大化，并支持可迁移的学习策略，而非仅仅提供答案。