Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning
本文表明，在多项选择题题干上对 Transformer 编码器进行端到端微调，尤其是结合多任务学习目标时，能够有效建模无反应项难度，并优于传统的特征工程流程，尤其在低数据场景下表现更佳。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位教师，正试图弄清楚一道新的选择题对学生来说有多难。通常，你必须将试卷发给数百名学生，观察他们的作答情况，然后进行复杂的数学计算来评估难度。但如果你还没有进行测试呢？如果你需要在任何人看到题目之前就知道其难度呢？
本文讲述的是如何教会计算机仅通过阅读页面上的文字来猜测题目的难度，而无需任何学生的作答数据。作者将这种方法称为“无响应”建模。
以下是他们实验的简要故事：
问题：解读字里行间
阅读理解题非常棘手。难度不仅仅取决于生僻词汇；它关乎段落（故事）、问题和答案选项如何相互作用。如果你只是数单词或查阅定义，就会错过真正的谜题。
研究人员希望利用一种强大的 AI 类型——Transformer（与 ChatGPT 等工具背后的技术相同）——来阅读这些题目并猜测其难度。但他们面临一个两难境地：他们没有成千上万的历史测试结果来训练 AI，而这通常是这些模型学习的方式。他们必须用极少量的数据来训练 AI。
三种策略（“训练方案”）
为了解决这个问题，他们尝试了三种不同的方式将题目输入 AI，就像尝试三种不同的学习方法：
“冰沙”法（联合编码）：
他们将故事、问题和四个答案选项混合成一句长话，然后输入给 AI。AI 必须从这种大杂烩中推断出难度。- 类比： 这就像把已经混合好的面粉、鸡蛋和糖装在一个碗里递给厨师，让他们猜测食谱。
“分盘”法（组件编码）：
他们将故事、问题和答案分别放在不同的“盘子”上。他们先将每个部分单独输入 AI，然后在最后将 AI 的分析结果结合起来做出猜测。- 类比： 这就像把面粉、鸡蛋和糖分别装在碗里递给厨师，让他们先分析每一种原料，然后让他们将分析结果混合起来猜测食谱。研究人员认为这有助于 AI 更好地理解结构。
“一石二鸟”法（多任务学习）：
他们使用了“冰沙”法（将所有内容混合在一起），但给 AI 安排了第二项任务。在尝试猜测难度的同时，AI 还必须玩一个游戏：“这四个答案中哪一个是正确的？”- 类比： 想象一名学生正在备考。他们不仅要尝试记忆“这道题有多难”，还必须实际解答这道题。研究人员希望，通过迫使 AI 理解答案的逻辑，它能在数据不足的情况下更好地猜测难度。
结果：什么奏效了？
他们用不同数量的“练习数据”（小、中、大组题目）测试了这些方法。
“冰沙”法 vs. “分盘”法：
“分盘”法没有帮助。事实上，它的表现略差。- 为什么？ AI 很聪明。即使你给它“冰沙”（混合文本），它的大脑内部（称为“自注意力”机制）已经擅长分辨哪部分是故事，哪部分是答案。它不需要研究人员手动将原料分开。
“一石二鸟”法胜出：
“一石二鸟”法（多任务）是明星，但仅在数据稀缺时如此。- 当 AI 只有极少量的练习题（约 800 道）时，这种方法显著优于其他方法。
- 为什么？ 它像一个安全网。当 AI 没有足够的样本来学习“难度”规则时，“找出正确答案”的额外任务迫使它关注题目的细节。它防止了 AI 走捷径。
- 然而，一旦他们给 AI 提供了海量数据（约 23,000 道题），额外的帮助就不再需要了。AI 能够自己学会难度规则。
主要启示
你不需要手动将题目分解成各个部分来教会 AI 判断其难度；AI 可以自己理解结构。然而，如果你时间紧迫，只有少量数据来训练 AI，给它分配第二个相关任务（如解答题目）可以帮助它更快、更准确地学习。
作者得出结论，这种“一石二鸟”的方法是一个强大的工具，适用于在无法等待数千名学生先进行测试的情况下创建试卷。它使教育工作者能够仅通过查看文字就能对题目难度做出良好的估算。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。