Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

技術的サマリー：臨床順序尺度におけるマルチモーダル LLM 評価者の監査

問題定義
マルチモーダル大規模言語モデル（LLM）は、臨床現場において自動評価者（「LLM-as-a-judge」）としてますます展開されています。しかし、順序尺度である臨床スケールにおけるそのスコアリング行動は未だ十分に理解されていません。平均絶対誤差（MAE）や許容範囲内一致率などの標準的な評価指標は、しばしば体系的な失敗モードを隠蔽する集計統計に依存しています。具体的には、評価者がスケールの極端な部分で失敗しながらも、高い集計一致率を達成する可能性があります。認知機能障害のスクリーニングなどの臨床的文脈では、これらの極端な部分での誤り（例：重度の障害を持つ患者を正常と誤分類する、またはその逆）は、下流のスクリーニング決定に対して不均衡な重大な結果をもたらします。本論文は、臨床順序尺度タスクに適用された際に、LLM が「中央傾向効果」（スコアがスケールの中央へ圧縮される現象）という体系的バイアスを示すかどうか、およびこのバイアスがプロンプトエンジニアリングを通じて軽減可能かどうかを調査します。

方法論
本研究は、時計描画テスト（CDT）において、3 つの最先端マルチモーダル LLM ファミリー（GPT-5/GPT-5.4、Gemini-2.5-Pro、Claude-4-Sonnet）を、教師あり深層学習モデル（CNN およびビジョントランスフォーマー）と比較ベンチマークしました。

• データセット: 主要な評価には、National Health and Aging Trends Study（NHATS）の 597 枚の画像を使用し、開発セットとテストセットに分割しました。外部検証は、独立したタイの CDT コホート（386 枚の画像）で行いました。
• タスク: 課題は、Shulman ルーブリックに基づき、整数スコア $y \in \{0, \dots, 5\}$ を予測することです。ここで、0 は認識不可能な描画を、5 は正確な描写を表します。
• モデル:
  • 教師ありベースライン: ResNet-101 CNN と 2 つのビジョントランスフォーマー（ViT）変種（順序分類および連続回帰）。これらは NHATS データで完全にファインチューニングされました。
  • LLM 評価者: ゼロショットおよびフューショットのマルチモーダル LLM。これらのモデルは画像と 6 つのスコアレベルを記述する自然言語ルーブリックを受け取りますが、対象データセット上で勾配ベースのトレーニングは行われません。
• 評価プロトコル:
  • 集計指標: MAE、RMSE、および許容範囲内 1 点以内の精度（許容範囲ベースの一致率）。
  • スコア別分析: 体系的な中央への圧縮を検出するために、予測スコア分布、方向性誤差プロファイル、および混同行列の検討を行いました。
  • プロンプトアブレーション: プロンプトエンジニアリングのアーティファクトとモデル固有の挙動を区別するため、著者らは以下のテストを行いました：
    1. フューショットプロンプティング: モデルを固定するために、各スコアレベル 5 枚ずつの 30 枚の例示画像を提供する。
    2. 臨床用語の除去: 「神経心理学」などの医学用語を除去し、安全性メカニズムが過度に保守的なスコアリングを誘発するかどうかをテストする。

主要な結果

1. 集計性能: 完全にファインチューニングされた ViT-Ordinal モデルが最も優れた較正を達成しました（MAE 0.52、許容範囲内 1 点以内の精度 91%）。ゼロショット LLM の中では、GPT-5 が最も優れたパフォーマンスを示し（MAE 0.67、許容範囲内 1 点以内の精度 92%）、最良の教師ありモデルよりも絶対誤差は高いものの、競争力のある許容範囲ベースの一致率を示しました。
2. 中央傾向効果: スコア別分析により、すべての LLM ファミリーで顕著な体系的バイアスが明らかになりました。予測はスケールの中央へ圧縮されました：
   • 低スコア側の過大評価: 真のスコア 0 は頻繁に 1 として予測されました。
   • 高スコア側の過小評価: 真のスコア 5 は頻繁に 4 として予測されました。
   • その結果、較正勾配は教師ありモデルに比べて有意に緩やかとなり、誤りは混同行列の (0→1) および (5→4) のセルに集中しました。
3. アブレーションの知見:
   • フューショットプロンプティングは集計指標を改善し（MAE を 0.56 に低下）、高スコア側の精度を向上させましたが、中央傾向効果を排除しませんでした。極端なスコアの相当部分が依然として中央方向に誤分類されました。
   • 臨床用語の除去はすべての指標でパフォーマンスを悪化させ、バイアスを軽減できませんでした。これは、臨床用語が過度な保守性を誘発するのではなく、むしろスコアリングの忠実度を向上させていることを示しています。
4. 外部検証: 中央傾向のパターン（端点の圧縮）は、独立したタイの CDT コホートでも再現され、異なる集団間での発見の堅牢性が確認されました。

主要な貢献

• 体系的評価プロトコル: 著者らは、集計指標が隠蔽する失敗モードを検出するための、スコア別誤差分解と較正勾配分析を組み合わせたプロトコルを提案します。
• 中央傾向バイアスの特定: 本研究は、マルチモーダル LLM が臨床順序尺度において一貫した中央傾向効果を示し、中間スコアを好んで極端な評価（0 と 5）を体系的に回避することを示しています。
• バイアス源の分離: 標的としたアブレーションを通じて、このバイアスを、不十分なプロンプティングや特定の臨床的枠組みの結果ではなく、現在のマルチモーダル LLM 固有の行動傾向として特定しました。

意義と主張
本論文は、最先端の LLM が専門家によるアノテーションのスケーラブルな代理として有望であることを示しつつも、現在のスコアリング行動は、スケールの端点を正確に識別することが不可欠な、高リスクの臨床スクリーニングワークフローにおけるスタンドアロン展開には適していないと主張しています。中央傾向効果は特定のリスクを伴います：重度の認知機能障害の検出不足（0 の代わりに 1 を予測することによる）または健康な個人の過剰な紹介（5 の代わりに 4 を予測することによる）を引き起こす可能性があります。

著者らは、LLM-as-a-judge のバイアスに関する文献を NLP 評価から臨床評価へと拡張しました。彼らは、この行動は、極端な評価に対する人間のような嫌悪感を内面化する人間フィードバックからの強化学習（RLHF）の整合性に起因するか、あるいはモデル内の分布事前分布に起因すると仮説を立てています。論文は、LLM ベースの評価者の展開には、較正を考慮した評価が必要であり、これらのツールを臨床実装に安全に統合する前に、事後の較正またはハイブリッドワークフロー（プレスクリーニングに LLM を使用し、最終スコアリングに教師ありモデルまたは人間を使用する）が必要であると結論付けています。