Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

技术摘要：审计用于临床序数评分的多模态大语言模型评分员

问题陈述
多模态大语言模型（LLM）正日益被部署为临床环境中的自动化评估员（“LLM 即裁判”）。然而，其在临床序数量表上的评分行为仍鲜为人知。标准的评估指标，如平均绝对误差（MAE）和容差内一致性，通常依赖于可能掩盖系统性失效模式的汇总统计量。具体而言，评分员可能在整体一致性上表现强劲，却在量表的两端失效。在认知障碍筛查等临床情境中，这些极端值处的错误（例如，将严重受损的患者误判为正常，或反之）会对下游筛查决策产生不成比例的后果。本文调查了 LLM 在应用于临床序数评分任务时是否表现出系统性偏差，特别是“中心趋势效应”（即分数向量表中间压缩），以及这种偏差是否可以通过提示工程加以缓解。

方法论
该研究在时钟绘制测试（CDT）上，将三种前沿多模态 LLM 系列（GPT-5/GPT-5.4、Gemini-2.5-Pro 和 Claude-4-Sonnet）与监督深度学习模型（CNN 和视觉 Transformer）进行了基准测试。

• 数据集： 主要评估使用了来自国家健康与老龄化趋势研究（NHATS）的 597 张图像，划分为开发集和测试集。外部验证在独立的泰国 CDT 队列（386 张图像）上进行。
• 任务： 任务基于 Shulman 评分标准，预测整数分数 $y \in \{0, \dots, 5\}$，其中 0 代表无法辨认的绘图，5 代表准确的描绘。
• 模型：
  • 监督基线： 一个 ResNet-101 CNN 和两个视觉 Transformer（ViT）变体（序数分类和连续回归）。这些模型在 NHATS 数据上进行了完全微调。
  • LLM 评分员： 零样本和少样本多模态 LLM。这些模型接收图像和描述六个分数等级的自然语言评分标准，但未在目标数据集上接受基于梯度的训练。
• 评估协议：
  • 汇总指标： MAE、RMSE 和容差为 1 的准确率（基于容差的一致性）。
  • 逐分分析： 检查预测分数分布、方向性误差特征和混淆矩阵，以检测向中心压缩的系统性偏差。
  • 提示消融： 为了区分提示工程伪影与模型内在行为，作者测试了：
    1. 少样本提示： 提供 30 张示例图像（每个分数等级 5 张）以锚定模型。
    2. 去临床化提示： 移除医学术语（如“神经心理学”），以测试安全机制是否触发了保守评分。

关键结果

1. 汇总性能： 完全微调的 ViT-Ordinal 模型实现了最佳校准（MAE 0.52，容差为 1 的准确率 91%）。在零样本 LLM 中，GPT-5 表现最强（MAE 0.67，容差为 1 的准确率 92%），尽管其绝对误差高于最佳监督模型，但显示出具有竞争力的基于容差的一致性。
2. 中心趋势效应： 逐分分析揭示了所有 LLM 系列中均存在显著的系统性偏差。预测分数向量表中间压缩：
   • 低端高估： 真实分数为 0 的情况常被预测为 1。
   • 高端低估： 真实分数为 5 的情况常被预测为 4。
   • 这导致校准斜率显著浅于监督模型，误差集中在混淆矩阵的 (0→1) 和 (5→4) 单元格中。
3. 消融发现：
   • 少样本提示 改善了汇总指标（将 MAE 降低至 0.56）并提高了高端的准确率，但未能消除中心趋势效应。相当一部分极端分数仍被错误分类至中心。
   • 去临床化提示 恶化了所有指标的性能，且未能减少偏差，表明临床术语实际上有助于评分保真度，而非触发过度的保守性。
4. 外部验证： 中心趋势模式（端点压缩）在独立的泰国 CDT 队列中得到复现，证实了该发现在不同人群中的稳健性。

主要贡献

• 系统性评估协议： 作者提出了一种结合逐分误差分解和校准斜率分析的协议，以检测汇总指标所掩盖的失效模式。
• 中心趋势偏差的识别： 该研究表明，多模态 LLM 在临床序数评分中表现出一致的中心趋势效应，系统性地避免极端评分（0 和 5），而倾向于中间分数。
• 偏差源的隔离： 通过针对性的消融实验，该论文将这种偏差隔离为当前多模态 LLM 的内在行为倾向，而非提示不足或特定临床框架的结果。

意义与主张
本文认为，尽管前沿 LLM 作为可扩展的专家标注代理显示出前景，但其当前的评分行为尚不适合在高风险临床筛查工作流中独立部署，因为准确识别量表端点至关重要。中心趋势效应带来特定风险：它可能导致严重认知障碍的漏检（将 0 预测为 1），或导致健康个体的过度转诊（将 5 预测为 4）。

作者将关于"LLM 即裁判”偏差的文献从 NLP 评估扩展至临床评估。他们假设，这种行为可能源于人类反馈强化学习（RLHF）的对齐，该对齐内化了人类对极端评分的厌恶，或者是模型中的分布先验。本文结论指出，部署基于 LLM 的评分员需要具有校准意识的评估，并建议在将这些工具安全整合到临床实践之前，需要进行事后校准或采用混合工作流（使用 LLM 进行预筛查，使用监督模型或人类进行最终评分）。