テクニカル・サマリー：一貫しているが、較正（キャリブレーション）されていない：自然言語によるリスクコミュニケーションにおけるLLMの限界の評価

1. 問題提起

大規模言語モデル（LLM）は、医療、金融、法律などの高リスクな領域において、AIが生成した出力に対する事後的な説明者（post-hoc explainers）として、ますます導入が進んでいます。予測が信頼されるべきかどうかを示すために較正された不確実性スコアが存在しますが、エンドユーザーは、形式的な統計的定義と直感的な理解との間の乖離により、これらの数値的な値を解釈することに苦慮することがよくあります。

本研究が取り組む核心的な問題は、LLMが確率的情報（具体的には尤度（likelihood）と予測不確実性（predictive uncertainty））を、**自然言語による説明（NLEs）**へと信頼性高く翻訳できるかどうかです。この役割を果たすためには、モデルは以下の2つの基準を満たさなければなりません。

1. 一貫性（Consistency）： 同一の入力に対して、繰り返しのクエリを通じて同一の言語的記述子を生成すること。
2. 較正（Calibration）： 基盤となる数値量の大きさを正確に反映した記述子を選択すること（例：高確率の事象には「極めて可能性が高い」を、低確率の事象には「可能性が低い」を割り当てること）。

既存の文献では、LLMは不確実性の表明よりも、有用性や決定論的な回答を優先する傾向があり、それが確率的な言語化における系統的な限界につながっていることが示唆されています。しかし、複数のアーキテクチャ、ドメイン・コンテキスト、および生成設定にわたって、較正と一貫性を同時に測定する制御された評価はこれまで不足していました。

2. 方法論

実験設計

本研究では、リスクコミュニケーションを記述子の選択タスクとして定式化しています。実験のパイプラインは以下の通りです。

1. アップストリーム・シミュレーション： 予測は、モード（$m$、尤度を表す）と事前サンプルサイズ（$k$、不確実性を表す）によってパラメータ化されたベータ分布からサンプリングすることでシミュレートされました。100通りの組み合わせ（$m \in [0.05, 0.95], k \in [50, 950]$）のグリッドを使用して、尤度と不確実性の系統的な変化を生成しました。
2. タスクの定式化： LLMに対し、シミュレートされたシナリオの尤度と不確実性に対して最適な言語的記述子を選択するようプロンプトを与えました。記述子は、固定された順序を持つNLEの集合（例：「ほぼ確実」から「例外的に低い」まで）から選択されます。
3. 変数：
   • モデル： 小規模なオープンソースモデル（4B–8Bパラメータ）から、より大規模な商用およびオープンモデル（最大32BおよびGPT-5.4）に至るまで、9つのLLMを評価しました。
   • ドメイン・コンテキスト： ロバスト性をテストするために、ステーク（利害関係）のレベル（高、中、低）とイベントの範囲（個人 vs 集団）を変化させた6つのコンテキストを使用しました：洪水予測、癌予測、薬物によるアナフィラキシー、ギャンブル、レストランの推奨、オーロラ観測ハイキング。
   • 温度（Temperature）： 実験は10種類の温度設定（0.0から0.9）にわたって繰り返されました。
   • 反復： 一貫性を測定するため、各実験は10回ずつ繰り返されました。
4. アブレーション研究：
   • 事前計算された統計量： モード（$m$）とサンプルサイズ（$k$）を直接プロンプトに含めるアブレーションを行い、ボトルネックが統計的推論にあるのか、それとも言語化にあるのかを判断しました。
   • メトリックの堅牢性： 6つの追加のアブレーションを実施し、専門家が抽出した範囲に対する外部検証、ペナルティ・パラメータの変動、および代替の不確実性尺度（分散、エントロピー）を含むメトリックの感度をテストしました。

評価指標

• 一貫性スコア（Consistency Score）： 同一の入力に対する10回の反復における、同一の記述子選択の頻度を測定しました（範囲 [0, 1]）。
• 較正スコア（Calibration Score）： ジョンケ・テプストラ（JT）傾向検定を適応しました。モデルの記述子の選択が、基礎となる分布の数値的な順序を尊重しているかどうかを評価しました。モデルが、他の場所での「弱い」記述子よりも「強い」記述子を、より低い数値に対して割り当てた場合に違反とみなされました。また、モデルが利用可能な語彙を十分に活用できていない場合にペナルティを課しました。
• タスクの正確性（pass@k）： モデルが $k=5$ 回の試行内で正しいフォーマットの出力を生成する確率を測定し、フォーマットエラーによって較正や一貫性のスコアが人工的に膨れ上がらないようにしました。

3. 主要な結果

一貫性と較正

• 一般的な知見： LLMは概して一貫しているが、較正されていないことが判明しました。
• 一貫性： ほとんどのアーキテクチャは、尤度のタスクにおいて高い一貫性スコア（平均 > 0.8）を達成しました。GPT-5.4は、尤度と不確実性の両方において完全な平均一貫性スコア1.0を達成しました。ただし、一貫性は温度の上昇に伴い大幅に低下しました。
• 較正：
  • 尤度： ほとんどのモデルが較正されていませんでした。GPT-5.4は例外であり、平均尤度較正0.96を達成しました。その他のモデルは0.07から0.78の範囲でした。
  • 不確実性： 不確実性については、すべてのモデルにおいて較正が著しく劣っていました。どのアーキテクチャも不確実性タスクにおいて0.40を超えるスコアを達成できず（GPT-5.4は0.37、他は0.07まで低下）、性能が低いものでした。

変数の影響

• 温度： 温度の上昇はトレードオフを生み出しました。温度を上げると、より広い語彙の使用を促すことで較正がわずかに改善されましたが、一貫性は大幅に低下しました。
• ドメイン・コンテキスト： コンテキストは両方の指標に影響を与えましたが、特定のドメインがすべてのモデルに対して一様に性能を向上または悪化させることはありませんでした。GPT-5.4はドメイン・コンテキストの変化による影響をほとんど受けませんでした。
• 事前計算されたデータ： 明示的な数値要約（モードとサンプルサイズ）を提供しても、どのモデルの較正も一貫性も改善されませんでした。これは、ボトルネックが生のサンプルからの統計的推論ではなく、言語化のステップ（数値を言葉にマッピングすること）にあることを示唆しています。
• 語彙の使用： ほとんどのモデルは、利用可能な記述子をすべて選択することに失敗しました。モデルは、基礎となる数学的不確実性に関わらず、中程度の記述子（例：「ある程度確実」）に偏る傾向があり、極端な記述子が選ばれることは稀でした。

堅牢性

アブレーション研究により、知見の堅牢性が確認されました。専門家が抽出した範囲に対する外部検証では、GPT-5.4は専門家のコンセンサスを密接に追跡していましたが、他のモデルは大きな絶対誤差を示しました。事前計算されたパラメータの使用は、根本的な較正不足を変化させなかったため、統計の計算能力の問題ではなく、言語化の問題であることを再確認しました。

4. 貢献と意義

本論文は、確率的予測の事後的説明者としてのLLMの体系的な評価を提供し、以下のことを明らかにしました。

1. 現在の限界： 現在のLLMは、ゼロショットのスタンドアロンなリスクコミュニケーションツールとしては信頼できません。一貫性はありますが、特に予測不確実性に関して著しく較正されていません。
2. 言語化のボトルネック： リスクを正確に伝達できない理由は、統計的推論の失敗（事前計算されたパラメータを提供しても改善されなかったことから判明）ではなく、既知の数値量を較正された言語的記述子へとマッピングするプロセスにあります。
3. 規模とアーキテクチャ： 強力な性能はアーキテクチャ間で一様に現れるわけではありません。GPT-5.4は尤度に対してほぼ完璧な較正を示しましたが、この能力は不確実性タスクには転移しませんでした。これは、スケール（規模）だけでは、確率的概念の創発的な理解には不十分である可能性を示唆しています。
4. コンテキストへの感受性： モデルはドメイン・コンテキストに対して敏感であり、高リスクの医療や災害シナリオにおいて、より慎重な言語を使用する可能性があります。これは、真の較正不足と、社会的に適切なヘッジング（回避表現）との区別を複雑にします。

5. 結論

著者らは、LLMは流暢でアクセシブルな言語を生成することにおいては有望であり続けるものの、確率的情報とNLEの間の十分に安定した内部マッピングを現在持っていないと結論付けています。本研究は、アップストリームの統計的手法と組み合わせるだけでは較正の欠陥は解決されないことを強調しており、言語化の段階に特化した介入の必要性を浮き彫りにしています。これらの知見は、リスクコミュニケーションが困難で専門的なタスクであることを裏付けており、現在のモデルは、情報に基づいた意思決定のために確率的予測を信頼できる自然言語へと翻訳する準備がまだ整っていないことを示しています。