Clinical explainable AI evaluations prioritize trust over effective human oversight: a scoping review

現代の病院では、医師が病気の診断や治療法の提案を支援するために、ますますコンピュータプログラムに依存するようになっています。これらのツールは複雑な数学的モデルに基づいて構築されており、人間よりもはるかに速く膨大な量の患者データを処理することができます。しかし、これらのモデルはしばしば「ブラックボックス」のように機能し、その結論に至った経緯を説明することなく推奨事項を提示します。この不透明さを解消するために、研究者たちは「説明可能な人工知能（XAI）」と呼ばれる分野を開発してきました。その目的は単純です。医師が黒板に計算過程を書くのと同じように、コンピュータの回答とともにその推論を提供することです。提案の背後にある論理を確認できることで、臨床医はその助言を信頼すべきか、間違いを見つけられるか、あるいは助言が危険な場合にはそれを覆すべきかを判断できるという期待が込められています。この、機械をチェックし修正する能力は「ヒューマン・オーバーサイト（人間による監視）」と呼ばれ、重大な判断を伴う医療現場における安全性において不可欠であると考えられています。

しかし、新たな科学研究のレビューによれば、現在これらの「説明」をテストする方法は、最も重要な部分を見落としていることが示唆されています。シャルリテ・ベルリン医科大学のニコラス・フレーイ氏とその同僚たちは、2015年から2026年初頭にかけて発表された49件の研究を調査し、医師や研修医がこれらの説明可能なツールとどのように相互作用するかを検証しました。研究者たちは、それらの研究が、説明が臨床医の間違いを察知するのに実際に役立つことを証明しているのか、それとも単に、説明の見栄えがどれほど好ましいかを測定しているだけなのかを知りたいと考えました。その結果、重大な乖離が見つかりました。研究では、説明が信頼できるか、あるいは理解しやすいかを医師に頻繁に尋ねてはいるものの、その説明が実際に医師がコンピュータの間違いを見つける助けになったかどうかをテストした研究はほとんどありませんでした。

このレビューは、これら49件の研究が何を測定していたのかを正確に描き出しました。その結果、感情や認識に大きく偏っていることが示されました。42件の研究では、参加者にシステムへの信頼度を尋ねていました。34件の研究では、説明が有用であるかどうかを尋ね、33件の研究では、それが理解しやすいかどうかを尋ねていました。これらの質問は、医師が単に「この回答には自信がある」と言うような、自己報告に基づいています。研究者たちは、実際の行動をテストするために一歩踏み込んだ研究は極めてわずかであることを発見しました。コンピュータの論理における特定の失敗を医師が特定できるかどうかをテストした研究はわずか3件であり、システムの助言における系統的なバイアスを医師が認識できるかどうかをテストした研究はわずか1件でした。さらに驚くべきことに、新しい状況においてコンピュータが次に何をするかを医師が正しく予測できるかどうかをテストした研究は、ただの一つもありませんでした。これは、真の理解に不可 않고欠なスキルです。

この証拠は、現在の研究環境が、安全性の「メカニズム」よりも安全性の「感覚」を優先していることを示唆しています。ほとんどの研究は、実際の忙しい病院ではなく、制御されたシミュレーション環境で行われていました。これらのシミュレーションにおいて、医師にはコンピュータからの正解と不正解の両方の助言が示されることがありましたが、研究では医師が誤った助言を拒絶できたかどうかを測定することは稀でした。むしろ、その合意が正しい答えに対するものなのか、それとも間違った答えに対するものなのかを知ることなく、単に医師がコンピュータに同意したかどうかを測定することが多かったのです。研究者たちは、医師がシステムに対して高い信頼を寄せながらも、危険な推奨事項に盲目的に従ってしまう可能性や、説明に混乱を感じながらも、コンピュータを無視することで正しい決定を下せる可能性があることを指摘しています。研究が前者のこと、つまり「医師がどう感じているか」に重きを置いていたため、説明がコンピュータが間違っているときに医師が間違いを察知するのを実際に助けているかどうかの証拠はほとんど得られませんでした。

さらに、データの収集方法も脆弱であることが多いという指摘があります。測定値の半分以上は、確立された科学的に検証されたツールではなく、場当たり的な質問や検証されていない尺度に依存していました。レビューに含まれる250個のデータポイントのうち、信頼性や満足度といった要素のための標準的で信頼できるテストである「妥当性が確認された尺度」を使用したものは、わずか10個でした。データの大部分は、医師が自身の経験をスケールで評価するという単純なアンケートによるものでした。また、このレビューは、実際に導入され、実際の臨床現場で使用されているシステムを対象とした研究が49件中わずか2件であったことも強調しています。残りは研究者によってコンピュータの挙動が制御された実験であり、医師が時間的なプレッシャーにさらされていたり、疲れていたり、あるいは複雑な症例に対処していたりする場合に、その説明が有効に機能するかどうかは分かっていないのです。

著者らは、この不均衡が偽りの安心感を生み出していると主張しています。彼らは、信頼とは「態度」であるが、監視とは「行動」であると指摘しています。医師はシステムに対して非常に信頼を感じていても、誤った推奨事項を覆すことができない場合があります。説明が本当に安全であるかどうかを知るためには、特定の行動をテストする必要があります。コンピュータが次に何を言うかを医師は予測できるか？ コンピュータが間違っているときに、その間違いを特定できるか？ コンピュータが特定の患者グループに対してバイアスを持っていることを認識できるか？ レビューの結果、これらの具体的な、安全性に関わるスキルは、現在の文献にはほとんど存在しないことが判明しました。研究は、説明が臨床医にとってどのように「感じられるか」を示してはいますが、機械が失敗したときに、説明が臨床医の仕事をより良く遂行する助けになるかどうかについては示していません。

論文は、説明可能な人工知能が真に有用かつ安全であるためには、そのテスト方法を変えなければならないと結論付けています。将来の研究は、医師に「どう感じるか」を尋ねることを超えて、「実際に何をするか」をテストする必要があります。それは、コンピュータの正誤を操作することで、医師が正解と不正解を区別できるかどうかをテストする実験を設計することを意味します。それは、単純なアンケートに基づいて推測するのではなく、証明された信頼できるツールを使用して態度を測定することを意味します。そして最後に、それは、高いステークス（利害）とプレッシャーがある状況下でも、説明が意思決定をサポートし続けられるかどうかを確認するために、現実の世界で時間をかけてシステムをテストすることを意味します。こうした転換が行われない限り、医療界は、医師がその説明をどれほど気に入っているかという明確なイメージは得られるでしょうが、その説明が実際に患者の安全を守っているという確かな証拠を得ることはできないでしょう。