When Epistemic Delegation Becomes Abdication: The Limits of Clinical Authority in AI-Mediated Medicine

何世紀もの間、医師たちは自分たちでは作り出すことのできない道具と、ゼロから完全に再構築することのできない知識に頼ってきました。循環器内科医は、自身が設計したわけではない機械によって捉えられた心音の響きを信頼します。外科医は、一度も会ったことのない専門家によって書かれた病理報告書を頼りにします。この依存は医学の欠陥ではなく、その基盤そのものです。複雑なケアには、ある人の専門知識が他の誰かの専門知識の代わりを務めるという、信頼のネットワークが必要なのです。近年、人工知能はこのネットワークに加わり、バイタルサインを測定し、潜在的なリスクをフラグ立てし、さらには診断を提案することさえ提示しています。しかし、これらのシステムがより有能になるにつれ、静かな問いが浮かび上がってきました。機械を信頼することが、いつ「賢明な分業」であることをやめ、「判断の放棄」へと変わってしまうのか、という問いです。

この問題の核心は、医師と彼らが使用するテクノロジーとの関係をどのように定義するかという点にあります。医師が聴診器を使うとき、その道具は音を増幅させますが、その音が何を意味するかを決めるのは医師です。医師が血液検査を用いるとき、機械は数値を提供しますが、医師はその数値を患者の物語という文脈の中で解釈します。本論文は、人工知能がこの関係の性質を、特定の、かつ危険な方法で変え始めていると論じています。医師は常に道具に依存してきましたが、今や、道具そのものが「そもそもどのような問いを立てるべきか」を決定し始めるという、新たなリスクに直面していると示唆しています。著者であるアンドレア・マンジャメリ（Andrea Mangiameli）は、この変化が、医師が主導権を握り続ける「委任（delegation）」の状態から、医師が実質的に、自分が真に理解したり検証したりできないシステムに対して、何が起きているかを知る権威を明け渡してしまう「放棄（abdication）」の状態へと移行していると提唱しています。

本論文は、医師が現在どのように外部の助けを利用しているかを、3つの方法に区別しています。第一は「測定」であり、体温計が温度を測るように、機械が単に値をカウントまたは記録することです。第二は「選択」であり、特定の種類の動きを見たときにのみ警備員に通知する監視カメラのように、システムが膨大なデータの中から最も重要な部分だけを抽出することです。第三であり、最も重要なのが「問いの生成」です。これは、システムが既知の問いに答えたり既知のリスクを強調したりするだけでなく、医師がこれまで検討すらしていなかった全く新しいパターンや疾患のカテゴリーを提案する場合を指します。例えば、システムが患者の継続的な動きや睡眠データを分析し、心不全を予測する新しい生理学的シグネチャーを提案するとします。そこには、医師がこれまで一度も名付けも定義もしていなかったパターンが含まれているかもしれません。

危険が生じるのは、この第三の機能、すなわち「新しい問いを提案すること」が、特にシステムが不透明な場合に、医師の意思決定の主要な手段となったときです。ここでの「不透明さ」とは、ソフトウェアが秘密であるという意味ではありません。たとえ医師がそのシステムがどのように機能しているかを知っていたとしても、データの複雑さと数学的処理があまりに膨大であるため、人間の精神がその論理を頭の中に保持することが不可能であることを意味します。システムは正しく、大規模な研究において統計的に検証されているかもしれません。しかし、ベッドサイドの医師は、なぜそのシステムが特定の患者に対して特定の主張を行っているのかを説明できず、また、別の方法でその主張を容易に検証することもできません。本論文は、システムがある主張を行うことで治療計画を変更させるほどの重みを持っているにもかかわらず、医師がその論理を理解できず、結論に異議を唱えることも、その場で独立した方法で検証することもできない場合、医師はコントロールを失っていると論じています。これは医師のスキルの失敗ではなく、彼らが働く環境の失敗なのです。

著者は、「意味のある人間による制御（meaningful human control）」というフレームワークを導入し、コントロールの喪失を防ぐために必要な条件を記述しています。医師が主導権を維持するためには、3つのことが満たされていなければなりません。第一に、システムは「理解可能（intelligible）」であること。つまり、医師がそのシステムが何を注視しているのか、そしてどのような間違いを犯し得るのかを、概括的な用語で理解できなければなりません。第二に、「異議申し立てが可能（contestability）」であること。つまり、医師がシステムの出力に対して疑問を呈し、アドバイスを一時停止し、患者自身の感じていることを含む他の証拠と照らし合わせて検討できる、現実的かつ実践的な手段がなければなりません。第三に、そしておそらく最も重要なこととして、「状況に応じた検証可能性（situated verifiability）」があることです。これは、ケアが行われている特定の瞬間において、医師がシステムの主張を確認するための独立した手段を持っていることを意味します。それは、二次的な検査であったり、異なる種類の観察であったり、あるいは患者の既往歴との比較であったりします。もしシステムが複雑なパターンに基づいて新しい診断を示唆しており、その診断を確認する方法が、再び同じ複雑なシステムを実行することしかないのだとしたら、医師には独立したレバレッジ（作用点）はありません。医師は機械を盲信することを強いられるのです。

本論文は、これが人工知能の使用に反対する議論ではないことを明確にしています。医学は常に、個々の医師が完全に複製することのできない器具や専門家に依存してきました。議論の対象は、その依存が「安全であり続けるための条件」に特化しています。著者は、システムが新しい臨床的カテゴリー（患者の身体に対する新しい見方）を、それが医学界によってテストされ、議論され、合意される前に提示する場合に、リスクが最も高くなると示唆しています。かつて、新しい医学的発見はゆっくりと進み、医師たちがそれについて議論し、検証方法を確立するための時間が許されていました。人工知能ははるかに速く動き、パターンを即座に浮上させることができます。もし医療システムが、これらの新しいパターンを即座に検証するためのインフラを構築しなければ、医師は検証不可能な示唆に基づいて行動せざるを得なくなる可能性があります。

最終的に、本論文は、問題はテクノロジーそのものではなく、それを取り巻く臨床環境にあると結論付けています。高度に進歩したシステムであっても、病院やクリニックが医師に対し、システムの作業をチェックするためのトレーニング、手順、および代替となるツールを提供しているならば、責任を持って管理することができます。逆に、たとえ単純なシステムであっても、医師が疑問を持ったり検証したりする能力を持たずにそれに依存することを強いる環境であれば、それは危険なものとなり得ます。著者は、実質的な権限（患者のケアを指示する力）が、その権限を理解し検証する能力を追い越してしまうとき、関係は「委任」から「放棄」へと変質すると警告しています。その状態において、医師はもはや患者のケアに対して責任を負う存在ではなくなり、システムが責任を負うことになります。そして医師は、そのことに答えるための道具を持たないまま取り残されるのです。解決策は、医学がより自動化されるにつれて、人間による監視のための条件が、テクノロジーそのものと同じ注意深さでシステムの中に組み込まれるようにすることである、と本論文は主張しています。