💻 computer science

Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus

本论文通过将十种大语言模型与巴西国家中学教育考试（ENEM）进行基准测试，揭示了虽然它们能够适度对题目难度进行排序，但系统性地低估了题目的难度，在处理多模态内容方面表现挣扎，且缺乏个性化评估所需的上下文可塑性，从而表明它们最适合作为经过校准的筛选工具，而非权威的生成工具。

原作者： Thiago Brant, Julien Kühn, Jun Pang

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thiago Brant, Julien Kühn, Jun Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在编写新数学测试卷的老师。你有一个超级聪明的机器人助手（AI）可以帮你编写题目。但在你把测试卷交给学生之前，你需要知道：这道题是太简单了？还是太难了？

传统上，老师通过先将测试卷交给数千名学生进行测试，根据他们的成绩并进行复杂的数学计算，来确定难度。这既耗时又费钱。

这篇论文提出了一个简单的问题：我们能不能直接问 AI，“这道题有多难？”，并且信任它的回答？

研究人员使用巴西大规模国家高中考试（ENEM）测试了这个想法，该考试拥有 1,000 多道真实的题目。他们要求十种不同的 AI 模型去猜测这些题目的难度，并将它们的猜测与人类专家计算出的“官方”难度分数进行了对比。

以下是研究结果，通过一些日常类比进行了说明：

1. “擅长排序，但不擅长数值”的问题

这些 AI 模型就像是一个非常擅长按大小排列书籍，但却完全不会用尺子测量长度的学生。

好消息： 如果你要求 AI 将 10 道题按“从易到难”进行排序，它做得还算不错。它能分辨出题目 A 比题目 B 更难。
坏消息： 如果你问 AI，“在 1 到 10 的范围内，这道题有多难？”，它总是错的。它几乎总是认为题目比实际情况更容易。这就像一个人觉得马拉松只是一次“轻快的慢跑”，因为他从未跑过马拉松一样。

2. “盲目”效应（视觉 vs. 文本）

许多考试题目包含图片、图表或图形。由于有些 AI 无法“看到”图像，研究人员不得不通过文字来描述这些图片（就像盲人向朋友描述一幅画作一样）。

结果： 当 AI 必须仅根据图片的文字描述来猜测难度时，它会感到困惑。它在处理这类题目时的表现远不如纯文本题目。
类比： 想象一下，如果你只能通过阅读对零件的描述，而不是亲眼看一眼拼图，来猜测这个拼图有多难。你可能会错过关键的线索，导致拼图看起来比实际更简单或更难。

3. “一刀切”的陷阱（学生背景）

研究人员想看看 AI 是否可以根据谁在参加考试来调整其答案。他们问 AI：“对于来自芬兰的学生来说，这道题有多难？”对比“对于来自巴西的学生来说，这道题有多难？”

结果： AI 几乎没有改变自己的看法。它对这些变化表现得相当“听觉迟钝”。
类比： 想象一位厨师在煮汤。如果你问，“这碗汤对婴儿来说会不会太咸了？”或者“对健身爱好者来说会不会太咸了？”，厨师只是耸耸肩说，“这就是同样的汤。”AI 并没有真正理解不同的学生拥有不同的背景和知识水平。它无法根据不同的人来调整它的“难度计”。

4. “提示词”的游戏（提问方式很重要）

研究人员尝试以不同的方式询问 AI。有时他们只是说“评价一下”。有时他们会说“扮演一名数学老师，一步步思考，然后评价这个”。

结果： 提问的方式显著改变了 AI 的回答。虽然某些“思考型”提示词有助于 AI 提高排序的准确性，但它们并不能解决 AI 认为所有题目都太容易的问题。
类比： 这就像向朋友征求电影推荐。如果你问“有什么好电影吗？”，他可能会推荐喜剧片。如果你问“在下雨的周二晚上有什么好电影？”，他可能会推荐惊悚片。AI 的回答取决于你如何组织问题。

核心结论：作为“筛选”工具

论文的结论是，我们不应该把这些 AI 模型视为**“神谕”（提供完美答案、无所不知的神），而应该把它们视为“筛选器”**（第一层过滤器）。

建议： 使用 AI 快速扫描一大堆新题目，并让它指出：“嘿，这道题看起来可能太简单了，而那道题看起来可能太难了。”
注意点： 你不能信任 AI 给出的精确数字。你必须修正它的“偏差”（教会它不要低估难度），并且必须由人类来检查那些带有图片的题目。

简而言之： AI 是一个有用的助手，可以帮助你把“容易”的题目和“困难”的题目区分开来，但它还没有准备好成为判断一道题确切难度的最终裁判，也还没准备好理解不同类型学生的特定需求。我们需要对其进行校准，并保持人工参与。

技术摘要：利用大语言模型（LLM）评估考试题目难度

问题陈述

随着大语言模型（LLM）越来越多地被部署于生成教育内容，一个关键的安全缺口正在显现：即在部署前无法可靠地估计其生成的题目难度。传统的难度估计依赖于项目反应理论（IRT），这需要使用具有代表性的学生样本进行昂贵的大规模试点测试。虽然 LLM 提供了直接从文本中近似题目难度的潜力，但若干挑战阻碍了其可靠性：

领域依赖性： 模型在不同学科（如数学与人文科学）之间的表现表现不一致。
多模态性： 现实世界的考试题目通常依赖图表和表格；将这些内容转换为文本可能会丢失对推理至关重要的空间线索。
校准与排序： 模型可能通过预测平均难度（回归均值）来实现较低的绝对误差，却无法保持题目的相对顺序（秩保真度）。
上下文敏感性（可塑性）： 目前尚不清楚模型是否能根据学习者的人口统计特征（如国家或教育背景）有意义地调整难度估计，或者此类线索是否会诱发噪声且带有偏见的偏移。

本研究通过将 LLM 与高风险、经过 IRT 校准的数据进行基准测试，旨在解决这些差距，以确定它们是否可以作为评估设计中可靠的预筛选工具。

研究方法

数据集

本研究利用了来自巴西高中国家考试（ENAM）2017–2022 年的 1,031 道多项选择题语料库，涵盖四个学科：数学（MT）、自然科学（CN）、人文科学（CH）以及语言与代码（LC）。

地面真值（Ground Truth）： 源自大规模学生表现的官方 IRT 难度参数（ $b_i$ ），映射到 1–10 的量表。
模态： 38.1% 的题目包含视觉元素（图表、图形、表格）。这些元素使用具备视觉能力的 LLM（GPT-4o, Gemini-2.0-Flash）转录为文本，以模拟纯文本流水线，并保留了轻微的转录错误以反映真实的部署情况。

实验方案

模型： 评估了十种异构的 LLM，包括四种专有 API（GPT-4o, o3, Claude-4-Sonnet, Gemini-2.0/2.5-Flash）和六种开源权重模型（Phi-4, Mistral Large, DeepSeek-R1, Qwen-3, Llama-3.2）。
提示策略： 测试了八类提示词家族，范围从极简指令到结构化推理支架：
- 零样本（Zero-shot）与增强型零样本（Enhanced Zero-shot）。
- 少样本（Few-shot）与人格化+少样本（Persona+Few-shot）。
- 思维链（CoT）、基于点位的（基于评分标准的分解）以及思维树（ToT）。
- 合成/游乐场（结构化 JSON 输出）。
偏差探测： “可塑性”测试在提示词中注入了单一国家标记（例如，“[国家] 的学生”），针对七个国家的代表性模型进行了测试，以测量难度估计的偏移。

指标

性能评估采用以下指标：

绝对校准： 相对于 IRT 目标的均方根误差（RMSE）和平均绝对误差（MAE）。
秩保真度： 斯皮尔曼等级相关系数 ( $\rho$ )。
稳定性： 提示词敏感度 ( $\sigma_{prompt}$ ) 和分布对齐（KL 散度）。
偏差： 有符号残差和可塑性指数（PI），用于衡量对人口统计学线索的响应程度。
校准： 应用事后加法偏移和仿射映射来修正全局位置偏差。

关键结果

1. 准确性与排序之间的权衡

在绝对校准与秩保真度之间存在显著的权衡。

低 RMSE 具有误导性： 像 Llama-3 这样的模型通过向平均难度回归实现了较低的 RMSE (1.40)，但这导致其等级相关性几乎为零 ( $\rho \approx 0.10$ )。
表现最佳者： Phi-4（开源权重模型）和 Gemini-2.5-Flash 提供了最平衡的表现，在实现具有竞争力的 RMSE 的同时，也具备较强的秩保真度 ( $\rho \approx 0.31–0.37$ )。
提示词敏感度： 更换提示词家族带来的性能变化往往比更换模型更为显著。对于开源权重模型，推理支架（人格化、基于点位）显著提高了秩保真度。专有模型对提示词变化的敏感度较低。

2. 特定学科的表现

数学： 误差最高且提示词敏感度最强。基于点位的（Step decomposition）提示词最为有效，表明基于评分标准的推理有助于处理多步骤的 STEM 题目。
语言： 专有模型（Claude-4-Sonnet）在此领域表现出色。
人文科学： DeepSeek-R1 表现最好，这可能归功于其针对社会历史背景的推理型预训练。
自然科学： 误差方差较大；Gemini-2.5-Flash 实现了最高的等级相关性。

3. 模态惩罚

将视觉题目转录为文本会导致持续的性能损失。

视觉题目导致的 RMSE 平均增加了 1.26 个点。
模型系统性地未能捕捉到人类在视觉题目上的难度趋势：虽然人类认为自然科学中的视觉题目更容易，但模型往往高估了它们的难度或保持中立。
简洁且基于标准的提示词（基于点位、增强型零样本）对模态变化的敏感度低于复杂的推理模板。

4. 系统性偏差与校准

全局低估： 所有模型都系统性地低估了题目难度（预测难度比 IRT 低）。所有系统的平均残差均为正值，其中 o3 的偏移最大 ( $\approx +3$ 点)。
校准有效性： 简单的加法偏移（事后校准）显著降低了所有模型的 RMSE 和 MAE，且未改变其等级相关性 ( $\rho$ )。这表明大部分误差属于可通过线性调整修正的位置偏差。

5. 可塑性与上下文敏感性

当使用特定国家的线索进行提示时：

有限的可塑性： 模型表现出微小但系统性的难度估计偏移。然而，这些偏移是嘈杂且不一致的，与现实世界的表现差距（如 PISA 排名）并不相符。
模型差异： 只有 Llama-3 显示出与 PISA 阅读排名的显著单调关联。其他模型（GPT-4o, o3）显示出微弱或负相关的趋势。
风险： 缺乏一致且有意义的适应性表明，目前的 LLM 尚未准备好用于上下文自适应个性化，并存在编码“一刀切”难度观或放大偏差的风险。

意义与主张

论文得出结论，虽然 LLM 目前还不是题目难度的权威预言者，但它们具备可操作的信号，可用于筛选和分流：

LLM 作为筛选器： LLM 可以作为低成本的部署前过滤器，通过预测难度来优先处理候选题目，前提是：
- 应用简单的事后校准以修正全局位置偏差。
- 评估应同时强调绝对对齐（通过校准）和秩保真度。
- 处理视觉内容时需保持谨慎，因为纯文本转录会降低性能。
人机协同（Human-in-the-Loop）： 通过 LLM 筛选关卡的题目必须在正式部署前经过人工策划和有限的试点测试（IRT 验证）。
公平性护栏： 研究表明，当前的模型缺乏可靠适应学习者人口统计特征的“可塑性”。因此，在生产环境的提示词中应避免使用人口统计学标记，并且必须在评估设计流程中集成公平性诊断，以防止强化不平等。