A statistical framework for evaluating the repeatability and reproducibility of large language models

この論文は、米国 FDA の AI 医療ソフトウェアに関する指針に基づき、意味的および内部的な次元から大規模言語モデル（LLM）の出力の再現性と反復性を定量化する統計的枠組みを開発し、医療診断タスクにおけるその適用可能性と限界を実証的に示したものである。

要約

🎭 物語：天才シェフと「同じ料理」の謎

想像してください。世界中で最も有名な**「AIシェフ（大規模言語モデル）」**がいます。このシェフは、どんな料理のレシピ（質問）も完璧に作れると言われています。

しかし、ある日、ある問題が発覚しました。
「同じ『ハンバーグの作り方』を頼んでも、1 回目は完璧なハンバーグが出たのに、2 回目は少し焦げているし、3 回目は形が崩れている」なんてことが起きるんです。

AI は「確率」で次の言葉を決めているため、「正解」を一度出せても、次に同じ答えを出せる保証がないのです。これは医療のような重要な場面で「この診断は正しいけど、また聞いたら違う病気と言われたらどうしよう」という不安を生みます。

そこで、この論文の著者たちは、**「AI の『安定性』を測る新しいものさし」**を作りました。

📏 新しいものさし：2 つの視点

この新しいルールブックでは、AI の安定性を「意味（中身）」と「内面（プロセス）」の 2 つの視点から測ります。

1. 「意味の安定性」：料理の味は同じか？（Semantic）

• どんなこと？
  1 回目に「ハンバーグ」と答え、2 回目に「ビーフパテ」と答えた場合、言葉は違いますが「同じ料理」を指していますよね。
• この論文の発見：
  AI に「確率的な思考（ベイズ推論）」という特別な指示（プロンプト）を与えると、言葉は少し変わっても「同じ意味」で答える確率がグッと高くなることがわかりました。
  • 例え話： 「確率的思考」は、シェフに「味付けの基準を厳格に守れ」というメモを渡すようなものです。これにより、どんなに気分が変わっても「美味しいハンバーグ」の味は一定になります。

2. 「内面の安定性」：調理中の手の震えは同じか？（Internal）

• どんなこと？
  答えが「ハンバーグ」で同じでも、シェフが調理中に「次に何を入れるか」迷っているか、自信を持って決めているかは、AI の「頭の中（確率分布）」を見ないとわかりません。
• この論文の発見：
  答えが正解だった場合でも、AI が「自信満々」で答えているとは限りません。逆に、「正解」を出せても、AI の頭の中では「あれ？これかな？それともこっちかな？」と揺れ動いている（不安定な）ことがあるのです。
  • 例え話： 料理が完成して「美味しい！」と言えても、シェフが調理中に「塩をどれくらい入れるか」で迷いすぎて手が震えていたとしたら、それは「再現性（安定性）」が低いと言えます。

🔍 実証実験：試験問題と実際の患者さん

著者たちは、この新しいものさしを使って、2 つの異なるテストを行いました。

1. 医師国家試験の問題（USMLE）：
   • 完璧に作られた「理想の料理（問題）」です。
   • 結果：AI の答えは、質問の言い回し（プロンプト）によって大きく揺れました。
2. 実際の稀な病気を持つ患者さんのケース（UDN）：
   • 情報が不足していたり、複雑だったりする「現実の料理（患者さん）」です。
   • 結果：意外なことに、現実の複雑なケースの方が、AI の答えは安定していました。
   • 理由： 現実の患者さんは「これしかない」という特徴が強く出ているため、AI が迷う余地が少なかったのかもしれません。

💡 最大の発見：「正解」と「安定」は別物！

これがこの論文の最も重要なメッセージです。

• 「正解（Accuracy）」 ＝ 料理が美味しいか。
• 「安定性（Repeatability）」 ＝ 何回作っても同じ味が出るか。

**「1 回だけ正解を出せたからといって、AI が信頼できるわけではない」**のです。
ある時は正解を出しても、次は違う答えを出すかもしれない。あるいは、常に同じ「間違った答え」を出すかもしれない。

医療現場では、「正解」だけでなく「常に同じ答えが出るか（再現性）」も重要です。この新しいものさしを使えば、どの AI が、どんな質問の仕方に対して、最も信頼できる答えを出せるかを公平に比較できるようになります。

🏁 まとめ

この論文は、**「AI の『ムラ』を数値化して、医療や重要な判断で AI をどう使うべきか、より安全に評価するためのルール」**を提案したものです。

AI を使うときは、「その答えが正しいか」だけでなく、「その答えは、何度聞いても同じように出てくるか？」という視点も持つことが、未来の AI 活用には不可欠だと言っています。

技術概要

この論文は、大規模言語モデル（LLM）の出力の再現性（Repeatability）と再現性（Reproducibility）を定量化するための、規制当局（FDA）の指針に基づいた統計的フレームワークを提案し、医療診断推論タスクにおけるその有効性を検証した研究です。

以下に、問題提起、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題提起

• 精度の限界: 従来の LLM 評価は、タスクの「精度（Accuracy）」に焦点が当てられがちでした。しかし、LLM は確率的にトークンをサンプリングしてテキストを生成するため、同じプロンプトでも実行ごとに異なる出力が得られる可能性があります。
• 臨床的リスク: 医療現場では、一度だけ正しい診断ができても、同じケースで再実行した際に一貫した回答が得られない場合、モデルの信頼性が損なわれ、臨床判断を混乱させる恐れがあります。
• 既存指標の不足: BLEU や ROUGE などの既存指標は、参照テキストとの類似度を測るものであり、複数回の実行間における出力の変動性（バラつき）を定量化するようには設計されていません。
• 規制の必要性: 米国 FDA は AI 搭載医療ソフトウェアのガイダンス草案において、モデルの変動性を「再現性（Repeatability）」と「再現性（Reproducibility）」の観点から評価することを推奨しています。

2. 提案手法：統計的フレームワーク

著者らは、FDA の定義に基づき、LLM の出力変動を評価するための 4 つの指標を定義しました。これらは「意味（Semantic）」と「内部（Internal）」の 2 つの次元、および「同一条件」と「異なる条件」の 2 つの状況に分類されます。

2.1 定義の概念

• Repeatability（再現性）: 同一のモデル、プロンプト、生成パラメータで複数回実行した際の出力の一致度。
• Reproducibility（再現性）: プロンプトやモデルなど、特定の条件を変化させた場合の出力の一致度。

2.2 4 つの指標

1. 意味的再現性（Semantic Repeatability）:
   • 同一条件下での複数回実行において、出力の意味がどの程度一致するかを評価。
   • 手法：出力テキストをベクトル化（埋め込み）し、コサイン類似度の平均を計算。
2. 内部再現性（Internal Repeatability）:
   • 同一条件下での複数回実行において、モデルのトークンレベルの確率分布（生成プロセス自体）がどの程度安定しているかを評価。
   • 手法：生成された各トークンの確率分布のシャノンエントロピーを計算し、その平均値を正規化。エントロピーが低い（確信度が高い）ほどスコアは高くなる。
3. 意味的再現性（Semantic Reproducibility）:
   • 異なる条件（例：異なるプロンプト）下での実行において、出力の意味がどの程度一致するかを評価。
   • 手法：各条件の平均埋め込みベクトル間のコサイン類似度を計算。
4. 内部再現性（Internal Reproducibility）:
   • 異なる条件下での実行において、モデルのトークンレベルの確率分布の確信度がどの程度一貫しているかを評価。
   • 手法：各条件における平均エントロピーの差を計算し、その変動の小ささをスコア化。

3. 実証評価

提案されたフレームワークを、医療診断推論タスクに適用して評価を行いました。

• データセット:
  1. **MedQA **(USMLE): 米国医師国家試験の 518 問（標準化されたベンチマーク）。
  2. **UDN **(Undiagnosed Diseases Network): 未診断疾患ネットワークからの 90 例のリアルワールド希少疾患症例（複雑で不完全な情報を含む）。
• モデル: ChatGPT-4, ChatGPT-4o-mini, LLaMA 3.2-1B の 3 種類。
• プロンプト: 5 種類の推論戦略（Chain-of-Thought）：
  • 伝統的、鑑別診断、直感的、分析的、ベイズ推論（Bayesian）。
• 実験設定: 各組み合わせで 100 回の独立した実行を行い、計 912,000 件の生成データを分析。

4. 主要な結果

1. 変動性の要因: 再現性と再現性のスコアは、モデル、プロンプト戦略、データセットによって大きく変動しました。
   • プロンプトの影響: ベイズ推論（Bayesian Reasoning）を促すプロンプトは、他の戦略に比べて意味的再現性（Semantic Repeatability）が有意に高かった（p < 0.001）。これは、推論の引き出し方がモデルの安定性に影響を与えることを示唆。
   • データセットの影響: UDN（リアルワールド症例）の方が USMLE（試験問題）よりも、プロンプト間での再現性スコアの変動が少なかった。これは、詳細な症例記述がモデルの回答範囲を制限している可能性がある。
2. 精度との関係:
   • 重要な発見: 診断精度（正解/不正解）と、再現性・再現性のスコア間には一般的に有意な相関は見られませんでした。
   • 正しい診断を下したケースでも、出力が不安定（再現性が低い）である場合があり、逆に一貫性のある出力でも誤った診断である可能性があります。
   • 唯一の例外として、「直感的推論（Intuitive CoT）」プロンプトにおいて、正解群は誤答群よりも内部再現性（エントロピーの低さ）が高かった。
3. モデル間の比較:
   • USMLE において、ChatGPT-4o-mini は他のモデルより高い内部再現性を示しましたが、LLaMA 3.2-1B は意味的再現性で優れていました。

5. 主要な貢献と意義

• 規制対応の評価フレームワークの確立: FDA の指針に基づき、LLM の「安定性」と「一貫性」を定量的に評価する標準的な手法を提供しました。
• 精度以外の評価軸の提示: 「正解かどうか」だけでなく、「どれだけ一貫して正解を出せるか（または、どれだけ一貫して不安定か）」を評価する指標を確立しました。これは医療 AI の安全性評価において極めて重要です。
• 汎用性: このフレームワークは特定のモデルやタスクに依存せず、あらゆる自己回帰型 LLM や医療応用（診断、文書生成など）に適用可能です。
• 臨床的インパクト: 臨床現場では、モデルが一度だけ正解を出しても、再実行で異なる回答が出ることは信頼性を損ないます。本研究の指標は、モデルの選定やプロンプト設計において、精度だけでなく「出力の安定性」を考慮する必要性を浮き彫りにしました。

結論

本研究は、LLM の出力変動性を体系的に定量化するための包括的な統計的枠組みを提案し、医療診断タスクにおけるその実証を行いました。結果として、モデルの性能評価には精度だけでなく、プロンプト戦略や条件に依存する「再現性」と「再現性」の指標を併せて用いるべきであることが示されました。これは、医療 AI の臨床導入における信頼性向上と、より厳格な規制評価に向けた重要な一歩となります。