Measuring Competency, Not Performance: Item-Aware Evaluation Across Medical Benchmarks

1. 問題提起：従来の「正解率（Accuracy）」評価の限界

現在、医療分野の LLM 評価は、ベンチマーク全体での正解率（Accuracy）の集計に依存しています。しかし、このアプローチには以下の 3 つの根本的な課題があります。

1. 問題の均質性の誤仮定: すべての質問が同等に情報を持っていると仮定していますが、実際には問題の難易度や診断力（discrimination）は大きく異なります。難しい問題を 20 問正解するモデルと、簡単な問題を 20 問正解するモデルを同列に扱うことはできません。
2. ベンチマーク間の非比較性: 統一された測定スケールがないため、異なるベンチマーク（例：MedQA と MedXpertQA）で 70% の正解率を得ても、それは同じ能力レベルを反映しているとは限りません。
3. 構成妥当性（Construct Validity）の欠如: 同じトピック（例：心臓病学）に分類された質問が、本当に単一の潜在的な能力を測定しているか検証されていません。異なるスキルが混在したスコアは、モデルの真の弱点を隠蔽します。

これらの課題により、単純な正解率に基づくランキングは、モデルの真の「医療能力（Competency）」ではなく、単なる「ベンチマーク特有のパフォーマンス」を反映しているに過ぎません。

2. 手法：MEDIRT フレームワーク

著者らは、教育測定におけるゴールドスタンダードである**項目反応理論（Item Response Theory: IRT）**を医療 LLM 評価に適用した「MEDIRT」フレームワークを提案しました。このフレームワークは以下の 4 つの主要なコンポーネントで構成されています。

A. USMLE 準拠のベンチマーク構築

• MedQA, MedMCQA, MedXpertQA の 3 つの既存ベンチマークから 7,906 問を抽出し、USMLE ステップ 1 の内容仕様に基づいて11 の医療トピック（循環器、神経、精神など）に分類しました。
• 各トピックから 100 問ずつサンプリングし、合計 1,100 問のバランスの取れたデータセットを構築しました。

B. 探索的因子分析（EFA）によるベンチマークの整合性検証

• IRT モデルを適用する前に、各トピック内の質問が**単一次元性（Unidimensionality）**を持っているかを確認するため、探索的因子分析（EFA）を実施しました。
• 負荷量が 0.30 未満の質問や、負の負荷を持つ質問を除外し、各トピックが「一貫した潜在的な能力」を測定していることを保証しました（最終的に 645 問が採用されました）。

C. 大規模 LLM コホートの評価

• OpenRouter API を通じて、71 種類の多様な LLM（プロプライエタリ/オープンソース、3B〜400B 超パラメータ）から、標準化されたプロトコルで回答データを収集しました。

D. トピック別 2PL IRT モデル

• 11 のトピックそれぞれに対して、独立した2 パラメータ・ロジスティック（2PL）IRT モデルを構築しました。
• このモデルは、各モデルの**潜在能力（$\theta$）と、各問題の難易度（$b$）および弁別力（$a$）**を同時に推定します。
• これにより、単なる正解数ではなく、どの程度の難易度の問題を、どの程度の精度で解けたかを考慮したスコアリングが可能になります。

3. 主要な貢献

1. MEDIRT の提案: EFA による整合性検証とトピック別 2PL IRT を統合した、より安定性が高く解釈可能な評価手法の導入。
2. 前向きなデータ収集: 既存のアーカイブデータではなく、71 種類の LLM からの新鮮な API 応答データを収集し、最新のモデル能力を反映。
3. 厳密な検証:
   • 内部検証: 未見の質問に対する予測精度（83.3%）の達成。
   • 外部検証: 6 つの独立した外部ベンチマーク（専門家の好み、臨床タスク、安全性など）とのランキング整合性において、従来の正解率ベースの評価を上回る結果。
4. 実証的な発見:
   • 集計スコアでは隠れていた「トピックごとの能力の偏り（スパイク状のプロファイル）」の可視化。
   • モデルの回答パターンを「難易度感受性（DSR）」と「難易度非感受性（DIR）」の 2 つに分類し、異なる介入が必要なことを示唆。

4. 結果と知見

評価の精度と一般化

• 内部検証: 保持されたデータ（Hold-out data）に対する予測精度は、IRT 法（83.3%）が従来の正解率ベースの評価よりも優れていました。特に EFA で精製されたデータセットを使用することで精度が向上しました。
• 外部検証: 10 の外部ベンチマーク（LMArena, MedHELM, MEDIC など）とのランキング相関において、IRT ベースの評価は正解率ベースよりも一貫性が高く、分散が 18% 低くなりました。特に、専門家の好みや安全性判断など、医療推論が求められるタスクとの相関が強く、単なる言語能力ではなく「医療推論能力」を捉えていることが示されました。

モデルの能力プロファイル（「スパイク」現象）

• 集計スコア（全体順位）は、モデルの真の能力分布を隠蔽していました。
• 例：全体 12 位のコモド（Kimi-k2）は、コミュニケーションスキル分野で全体 1 位の GPT-5 よりも約 1 標準偏差高い能力を示す一方で、呼吸器・腎臓分野では極端に低かった。
• 各モデルは特定の分野で特化しており、単一の「万能モデル」は存在しないことが明らかになりました。

回答パターンの診断（DSR と DIR）

• 難易度感受性応答（DSR）: 問題の難易度が高くなるにつれて正解率が単調に減少する、理想的な学習曲線を示すモデル（例：GPT-5）。
• 難易度非感受性応答（DIR）: 簡単な問題で失敗し、中程度の難易度で正解率が上がるなど、問題の難易度と正解率の関係が逆転する異常なパターンを示すモデル。これは、知識の深さではなく、質問の形式や表面的な特徴に過剰に反応していることを示唆しており、臨床導入におけるリスク要因となります。

5. 意義と結論

この研究は、医療 AI 評価において「正解数」を数えることからの脱却を提唱しています。

• 診断的価値: MEDIRT は、単なるランキング作成ツールではなく、モデルの弱点（どのトピックが苦手か、どのような回答バイアスがあるか）を診断するツールとして機能します。
• 臨床導入への示唆: 集計スコアだけでモデルを選定すると、特定のタスク（例：コミュニケーション）で致命的な欠陥を持つモデルが選ばれてしまうリスクがあります。トピック別の能力プロファイルと、難易度非感受性（DIR）のような異常パターンの検出は、安全な臨床導入に不可欠です。
• 一般化可能性: このアプローチは、ベンチマークの整合性が検証可能で、問題の難易度や弁別力が意味を持つ、いかなる高リスク分野（法廷、金融など）にも適用可能です。

結論として、MEDIRT は LLM の医療能力評価を「パフォーマンス測定」から「能力測定」へと転換し、より信頼性が高く、解釈可能な評価基盤を提供するものです。