💻 computer science

Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

本研究评估了四种大语言模型在将牙髓检查问题划分为三种教育分类体系中的分类忠实度，结果表明，尽管 Gemini 和 DeepSeek 等模型在布鲁姆（Bloom）和 SOLO 分类体系中实现了显著的一致性，但所有模型在米勒金字塔（Miller's Pyramid）方面都表现挣扎，从而证明了大语言模型的性能具有分类依赖性，且不同于答案的准确性。

原作者： Bilge Hakan Şen, Aslıhan Yekeler, Duygu Kürklü Arpaçay, Jülide Ocak, Oğuzhan Akkoçan

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bilge Hakan Şen, Aslıhan Yekeler, Duygu Kürklü Arpaçay, Jülide Ocak, Oğuzhan Akkoçan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的牙科考试题库（专门关于根管治疗），这些题目来自土耳其，编写于 2012 年至 2025 年之间。你想知道四种著名的 AI 聊天机器人（ChatGPT、Gemini、Kimi 和 DeepSeek）是否不仅仅能回答这些问题。你想知道它们是否能理解问题本身的“难度等级”。

把这想象成一位音乐老师。学生可能会完美地演奏一首曲子（答对题目），但他们能否分辨出这首曲子是一首简单的儿歌、一段复杂的爵士乐，还是一部完整的交响乐？这正是这项研究测试的内容。

以下是使用简单类比对该研究进行的拆解：

1. 三把“难度尺子”

研究人员使用了三把不同的“尺子”来衡量问题的难度。AI 必须根据每把尺子将每个问题归入正确的类别：

布鲁姆分类法 (Bloom's Taxonomy)（“思维阶梯”）： 这衡量需要多少脑力。
- 底层阶梯： 仅仅是记忆事实（例如“什么是牙齿？”）。
- 顶层阶梯： 复杂的思维，如分析问题或创造解决方案。
SOLO 分类法 (SOLO Taxonomy)（“构建块”塔）： 这衡量回答问题需要连接多少信息碎片。
- 小塔： 你只需要一个事实。
- 高塔： 你需要连接许多事实并理解它们之间的关系。
米勒金字塔 (Miller's Pyramid)（“医生阶梯”）： 这衡量知识是仅存在于脑海中，还是你实际上能够“做到”。
- 底层： “我知道理论。”
- 顶层： “我可以在现实生活中对患者进行操作。”

2. 人类“金标准”

在询问 AI 之前，研究人员首先雇佣了人类专家（专科牙医和教育学教授）对题目进行分类。他们做得非常仔细，经过了培训、审计工作并进行了辩论直到达成一致。这创建了关于这些问题“实际是什么”的“标准答案”。

3. AI 大对决

研究人员将同样的 200 道题目输入到四个 AI 模型中，并要求它们使用上述三种尺子对题目进行分类。然后，他们将 AI 的分类结果与人类的“标准答案”进行了对比。

结果：谁做得更好？

好消息 (Bloom & SOLO)：

Gemini 和 DeepSeek 是优等生。它们非常擅长根据问题的“思维强度”（Bloom）和所需的“构建块”数量（SOLO）进行分类。它们在大多数情况下都与人类专家保持一致。
ChatGPT 和 Kimi 表现尚可，但犯错较多。它们经常误认为简单的题目太难，或者把复杂的题目看得很简单。

坏消息 (Miller's Pyramid)：

所有人都在这里栽了跟头。 没有哪个 AI 能很好地通过“能否在现实中应用”（Miller）来对题目进行分类。
反转来了： 排名完全颠倒了！
- Gemini 和 DeepSeek 在“思维”尺子方面表现最好，但在“现实生活”尺子方面表现最差。
- ChatGPT 在“思维”尺子方面表现最差，但在“现实生活”尺子方面表现最好（尽管也仅处于“尚可”水平）。

论文的核心要点

“回答问题”与“理解”是不同的技能： 仅仅因为一个 AI 能答对牙科问题，并不意味着它理解为什么这个问题很难，或者这类问题需要什么样的思维方式。这就像一个计算器可以解出数学题，却并不理解代数的概念。
并非所有 AI 都适用： 你不能用同一种 AI 来应对所有工作。如果你想检查题目是否变得越来越难（Bloom/SOLO），请使用 Gemini 或 DeepSeek。如果你想预测一个问题是否与临床实践相关（Miller），ChatGPT 可能是你最好的选择，尽管它在其他任务上表现较差。
题目正在变得越来越难： 研究发现，2025 年的牙科考试题目比 2012 年的题目明显更复杂，需要更多的“思维能力”。
AI 在阶梯顶端会感到困惑： 与识别简单问题（仅靠记忆事实）相比，所有的 AI 在正确识别极难问题（需要分析或评估的问题）时都感到更加困难。

论文没有说明的内容

该论文并未表示这些 AI 应该被用于给学生评分、取代教师或诊断患者。它严格指出，虽然 AI 在根据难度对题目进行分类方面正在进步，但它们并不完美，且其表现会根据你使用的“难度尺子”而变化。同时它也指出，由于考试题目随时间变得越来越难，以往针对 AI 的研究可能会高估 AI 真正的智能水平。

技术摘要：大型语言模型对土耳其牙科专业考试内科牙髓学题目的认知分类保真度

问题陈述
尽管大型语言模型（LLMs）在牙科教育和评估中的应用日益广泛，但现有研究几乎完全集中在答案准确性（即模型是否选择了正确选项）上。一个关键的空白在于，LLMs 是否能够可靠地识别考试题目的认知需求（cognitive demand）。这种能力与正确回答问题是不同的，对于评估质量保证和课程映射至关重要。此外，目前尚不清楚 LLMs 是否能在多个不同的教育分类体系（修订版布鲁姆分类法、SOLO 分类法和米勒金字塔）中保持一致的分类能力，或者其表现是否会在不同模型和框架之间存在显著差异。

研究方法
本研究采用横断面观察设计，旨在评估四种公开可用的 LLMs 的分类保真度：ChatGPT (GPT-5.2 Instant)、Gemini (3.1 Pro)、Kimi (K2.5) 和 DeepSeek (V3.2)。

数据集： 200 道来自 2012 年至 2025 年间进行的土耳其牙科专业考试（DUS）的牙髓学多项选择题（MCQs）。题目以原始土耳其语呈现。
金标准（Gold Standard）： 通过三层专家共识程序建立基准真相。两名专家（一名牙髓病专家和一名具有教育背景的修复科专家）独立对题目进行分类，随后进行了校准培训、由外部顾问进行的程序审计，以及为解决分歧而进行的结构化共同讨论。
分类体系： 每道题目根据以下标准进行分类：
1. 修订版布鲁姆分类法（Revised Bloom's Taxonomy）： 六个层级（从记忆到创造）。
2. SOLO 分类法： 五个层级（从前结构到扩展抽象）。
3. 米勒金字塔（Miller's Pyramid）： 四个层级（从了解知识到实际操作）。
实验控制： LLMs 在专门的无痕浏览器会话中接收标准化提示词，以消除跨会话记忆和个性化效应。生成参数（如温度系数）由平台管理且不可修改。
统计分析： 使用加权 Cohen's kappa ( $\kappa_w$ ) 及自助法 95% 置信区间来衡量一致性。通过准确率和宏平均 F1 分数评估分类性能。使用带有 Holm–Bonferroni 校正的 Cochran's Q 和成对 McNemar 检验来测试模型间的差异。

核心结果

依赖于框架的性能表现：
- 布鲁姆分类法： Gemini ( $\kappa_w = 0.676$ ) 和 DeepSeek ( $\kappa_w = 0.667$ ) 与金标准达到了高度一致（substantial agreement）。ChatGPT ( $\kappa_w = 0.365$ ) 和 Kimi ( $\kappa_w = 0.428$ ) 仅达到一般或中等程度的一致性。
- SOLO 分类法： Gemini 再次领先，达到了高度一致 ( $\kappa_w = 0.622$ )。其他模型达到了中等程度的一致性 ( $\kappa_w$ 范围：0.433–0.549)。
- 米勒金字塔： 所有模型的表现均显著较弱。任何模型的协议度均未超过一般（fair）水平。ChatGPT 表现最好 ( $\kappa_w = 0.372$ )，而 Gemini、Kimi 和 DeepSeek 仅达到一般或轻微的一致性。
完整的排名逆转：
一个引人注目的发现是模型排名在不同框架之间发生了完全逆转。在布鲁姆和 SOLO 体系中表现优异的模型（Gemini, DeepSeek）在米勒金字塔上的表现较差。相反，在布鲁姆和 SOLO 中排名最低的 ChatGPT，在米勒金字塔上实现了最高的准确率和一致性。
认知层级趋势：
- 随着认知层级的提高，分类保真度有所下降。所有模型在低阶思维（布鲁姆第 1–2 层级）上的分类保真度均高于高阶思维（第 3–5 层级）。
- ChatGPT 表现出系统性偏差，将第 2 层级（理解）的题目过度归类为第 4 层级（分析）。
- DeepSeek 正确识别了所有 5 个第 5 层级（评价）题目，但也将其他题目过度分配到了第 5 层级。
- Gemini 展示了最平衡的误分类特征，并且是唯一一个在所有三个 SOLO 层级中显示出一致的每层级 F1 分数的模型。
时间趋势：
研究发现考试年份与金标准布鲁姆层级之间存在显著的正相关关系 ( $\rho = 0.301, p < 0.001$ )，这表明 DUS 牙髓学题目从 2012 年到 2025 年在认知需求上呈现出渐进性的提升。

主要贡献

解耦准确性与分类： 研究证明了答案准确性与分类体系保真度是两种独立的属性。一个模型可以正确回答问题（如先前研究中提到的 ChatGPT），同时却无法准确识别这些问题的认知复杂度。
分类体系的不可互换性： 结果提供了经验证据，证明布鲁姆、SOLO 和米勒金字塔评估的是不同的构念。一个 LLM 在某一框架下的表现并不能预测其在另一框架下的表现；因此，它们不能作为认知需求的替代指标互换使用。
模型选择指导： 本研究针对不同的评估目的提供了具体的 LLM 选择建议：Gemini 和 DeepSeek 在认知复杂度映射（布鲁姆/SOLO）方面更为优越，而 ChatGPT 在临床适用性分层（米勒）方面显示出相对优势，尽管整体米勒表现依然较弱。

意义与主张
本文主张，LLMs 可以对布鲁姆和 SOLO 分类法进行具有意义的保真度分类，特别是使用 Gemini 或 DeepSeek 时，但这种能力在不同的教育框架中并不统一。作者强调，米勒金字塔仍然是当前 LLMs 面临的挑战领域，没有任何模型能达到“一般”以上的一致性水平。

研究结论认为，对于评估质量保证和课程映射，必须根据特定的分类体系和用途来定制 LLM 的选择。此外，观察到的认知需求随时间增加的现象表明，依赖旧题库的研究可能会高估当前 LLM 的分类性能。最后，作者断言，为了确保 AI 辅助教学工具的有效性，必须独立于答案准确性来评估分类体系的保真度。