Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

ある学生が、本当にその科目を学習しているのか、それとも単に特定のテスト問題の答えを暗記しているだけなのかを見極めようとしている場面を想像してみてください。

この論文は、今日私たちが使っているAIチャットボットである「大規模言語モデル（LLM）」についてのディープダイブ調査です。AIが本当に医師のように「考えて」いるのか、それとも単にパターンマッチングによって正解に辿り着いているだけなのかを検証しています。

研究で分かったことを、分かりやすく説明します。

1. 設定：「医学的ミステリー」テスト

研究者たちは、『ニューイングランド・ジャーナル・オブ・メディシン』から、50件の実際の複雑な医学的事例（非常に重要な医学的ミステリーと考えてください）を取り上げました。そして、5つの異なるトップクラスのAIモデルに、それらを解決するよう求めました。

彼らは単に最終的な答え（例：「患者は肺炎である」）を見るだけではありませんでした。AIがそこに辿り着くまでに書き出した、思考プロセス全体、すなわち「推論の痕跡（reasoning trace）」を調べたのです。

2. 問題：「ブラックボックス」的な思考

通常、AIの推論はただのテキストの壁に過ぎません。異なるAIによる説明を比較して、同じ論理を用いているかどうかを確認するのは困難です。

• 比喩： 車がなぜ故障したのかについてエッセイを書いている2人の学生を想像してください。一人は「エンジンが熱いので、ラジエーターが故障した」と言い、もう一人は「車が熱いので、エンジンが故障した」と言います。二人は同じ結論に達していますが、その論理は異なります。もしエッセイの内容だけを読んだとしたら、彼らが同じ「思考の設計図」を使っているのかどうかを判断するのは難しいでしょう。

3. 解決策：思考を「地図」に変える

これを解決するために、研究者たちは「臨床推論グラフ（Clinical Reasoning Graphs）」を考案しました。

• メタファー： 彼らは、乱雑なテキストをフローチャートやロードマップへと変換しました。
• 地図の構成：
  • ノード（点）： これらは「症状」「考えられる疾患」「手がかり」「証拠」などを表します。
  • エッジ（線）： これらは、「この症状はこの疾患を支持する」や「この手がかりはこの疾患を否定する」といった、要素間のつながりを表します。

彼らは、すべてのAIの地図が同じ言語で描かれるように、特定のルール（オントロジー）を構築しました。彼らは、750通りの異なるAIのエッセイを、750通りの構造化された地図へと見事に変換することに成功しました。

4. 大きな問い：AIには「思考の設計図」があるのか？

人間の医師は、「診断スキーマ（Diagnostic Schema）」と呼ばれるものを使用します。

• 比喩： 人間の医師が、胸の痛みと特定の心拍リズムを持つ患者に遭遇すると、脳内のあらかじめ用意された「胸痛の設計図」を瞬時に呼び出します。彼らはどの手がかりを探すべきか、どのようにしてそれらを排除すべきかを正確に知っています。もし同じ症状を持つ「別の」患者を見たとしても、彼らは同じ設計図を使用します。

研究者たちはこう問いかけました：AIもこれを行っているのだろうか？
もしAIが、同じ腎臓疾患を持つ2人の患者に直面した場合、非常に似た地図を描くのでしょうか？ それとも、答えは同じでも、全く異なる地図を描くのでしょうか？

5. 結果：能力はあるが、一貫性はない

結果は驚くべきものであり、AIの「推論」を信頼している人々にとっては、少し不安を感じさせるものでした。

• 結果： AIモデルは正しい答えを導き出す能力（コンピテンス）はありました。しかし、地図を確認すると、モデルは一貫した設計図を使用していませんでした。
• メタファー： 数学のテストを受けている2人の学生を想像してください。両者とも答えが「42」であることを正解しています。
  • 学生Aは、毎回標準的な公式を使います。
  • 学生Bは、問題が同一であるにもかかわらず、問題ごとに異なる奇妙なテクニックを使います。
  • 研究： AIモデルは、まさに学生Bのようでした。似たような医学的事例に直面したとき、彼らは全く異なる地図を描いていました。答えは同じであっても、地図の姿は似ても似つかないものでした。

重要なポイント： AIは正解を得るための「賢さ」は持っていますが、人間のような安定した、再現可能な方法で「考えて」いるわけではありません。本質的に、ケースごとに車輪を再発明しているのです。

6. 「正確性の罠」

この論文は、正解を出すことが、一貫した思考を意味するわけではないことを明らかにしました。

• 比喩： もしあなたがテストで10回連続で正解したなら、あなたは賢く見えます。しかし、もし毎回異なるランダムな推測戦略を使っていたとしたら、あなたは実際には教材を学習しているとは言えません。
• この研究は、たとえ2つのAIが診断を間違えた場合でも、彼らの推論マップは、正解したときと同様に（あるいはそれ以上に）似ていたり、異なっていたりすることを示しました。これは、彼らの「思考の構造」が、実際の正誤とは別の問題であることを証明しています。

7. 「より深く考える」ことは役に立ったのか？

研究者たちは、「構造化されたリフレクション（Structured Reflection）」という手法を試しました。これは、AIに対して「立ち止まって、自分の最初の答えについて考え、それに反論し、それから再度決定せよ」と指示するものです。

• 結果： これにより、AIはより詳細な手がかりを含む、より具体的な地図を書くようになりました。しかし、これは地図を異なるケース間でより一貫させることには繋がりませんでした。AIは依然として、新しい患者ごとに異なる「設計図」を使用していました。

結論

この論文は、AIの「推論」が論理的に見えたり、正解を出したりするからといって、それを信頼してはならないと結論付けています。

• 警告： AIの説明が医師の思考プロセスのように見えるからといって、それが安定した、再利用可能な思考を持っていることを意味するわけではありません。それは単に、運良く正解を射止めている、非常に優れたパターンマッチング装置である可能性があります。
• 朗報： これらの思考を「地図（グラフ）」へと変換することで、私たちは今や、この一貫性のなさを実際に可視化し、測定することができるようになりました。AIが人間のように考えていると決めつけるのではなく、それが実際にどのように考えているのかを正確に測定できるようになったのです。

要約すると： AIは、毎回必ず正しい結末をもたらす素晴らしい即興劇の俳優ですが、二度と同じ台本を使うことは決してありません。