Algorithmic Authority and the Clinical Standard of Care

全体像：診察室における綱引き

二人の全く異なる専門家が患者を診断しようとしている、ある医師の診察室を想像してみてください。

1. 人間の医師： 彼らは「直感」、長年の経験、そして患者の話の行間を読む能力に頼ります。これは、論文の中で**暗黙的な直感（tacit intuition）**と呼ばれているものです。
2. AIコンピュータ： それは数学、統計学、そして数百万のデータポイント（X線、遺伝子コード、診療記録など）をスキャンすることに頼ります。これが**確率的推論（probabilistic reasoning）**です。

論文は、これら二つを組み合わせたとき、緊張関係が生じると主張しています。コンピュータは高速で精密ですが、自信満々に間違えることがあります。人間は賢明で文脈を理解しますが、偏見を持ったり疲れたりすることがあります。著者であるアイジエラン・アイシラン（Aizierjiang Aiersilan）は、コンピュータに人間の代わりをさせたり、あるいはその逆を行ったりするのではなく、両者が一つのチームとして機能する新しいシステムが必要であると示唆しています。

1. 「コードは法である」という考え方

論文では、法学者ローレンス・レッシグによる有名な概念、**「コードは法である（Code is Law）」**を用いています。

• 比喩： ビデオゲームを想像してください。ゲームのコード（開発者によってプログラムされたルール）が、プレイヤーができることとできないことを決定します。もしコードに「壁を飛び越えられない」とあれば、どんなに強くジャンプしても、壁を越えることはできません。コードこそが、その世界の「法」なのです。
• 医療において： 著者は、医療AIのソフトウェアコードも同様のことを行っていると主張しています。AIがどのように情報を提示し、どのデータを強調し、どのように提案を表現するかを決定することで、ソフトウェアは医師の思考や診療の「ルール」を密かに書き換えています。それは、実際の法律が制定される前に、標準的なケアのあり方を形作る「目に見えない規制当局」として機能しているのです。

2. 「幻覚（ハルシネーション）」と「バイアス」のつながり

AIに関する大きな懸念の一つは、AIが「幻覚（ハルシネーション）」を見せること、つまり、事実ではないことを自信満々に作り上げることです。論文はここで驚くべき関連性を指摘しています。

• 比喩： 探偵（医師）と、超高速の司書（AI）を想像してください。
  • 司書は、たとえ容疑者が無実であっても、百万冊の本から見たパターンに基づいて、「犯人は間違いなく執事です」と自信たっぷりに探偵に伝えるかもしれません。これがAIの幻覚です。
  • 探偵もまた、「犯人は間違いなく執事だ」と言うかもしれません。なぜなら、先ほど執事を見かけたことがあり、それによって他のすべての手がかりを無視してしまっているからです。これが人間の確証バイアスです。
• 要点： 論文は、これら二つの失敗は構造的に同じであると主張しています。AIも人間も、間違っているにもかかわらず100％の自信を持つことができます。問題が似ているため、解決策も同様である必要があります。単にAIを修正するだけでは不十分であり、人間とAIがどのように相互作用するかを修正しなければなりません。

3. 提案される解決策：「弁証法的」なチーム

著者は、**「弁証的な標準ケア（Dialectical Standard of Care）」**と呼ばれる新しい働き方を提案しています。

• 比喩： **ディベート・クラブ（討論会）**を想像してください。
  • 現在、医師はAIの意見を聞いてただ頷いているだけかもしれません（受動的な受け入れ）。
  • 新しいルールでは、**ディベート（討論）**が義務付けられます。AIは自らの主張（データ）を提示します。医師は、積極的に反論し、事実を確認し、同意するかどうかを判断しなければなりません。
  • 結果： 最終的な決定はAIによって行われるのでも、医師単独によって行われるのでもありません。それは**「AI-医師のダイアド（二者一体のペア）」**によって下されます。彼らは診断に対して責任を負う一つのユニットとして扱われます。

論文には、この討論を強制するワークフロー（図1）が含まれています。データはAIに送られ、AIは回答を出しますが、医師がそれを批判的に検討し、異議を唱え、あるいは確認するまでは、その回答を患者に伝えることはできません。この「摩擦」が、医師が機械を盲信することを防ぎます。

4. プライバシーとデータの問題

論文は、このシステムの基盤が不安定であることを警告しています。

• 比喩： 沼地（古いプライバシー法）の上に、超高層ビル（AIシステム）を建てようとしている状況を想像してください。
• 現実： 古い法律（米国のHIPAAなど）は、鍵のかかったキャビネットに入った紙のファイルのために書かれたものです。AIが学習するために必要とする、大規模で複雑なデジタルデータにはうまく機能しません。論文は、現在のプライバシー規則は、AIが常にデータを分析している状況において患者を保護するにはあまりにも脆弱であり、「信頼の欠如」を生み出していると主張しています。

5. 何を変える必要があるのか？

この「ディベート・クラブ」モデルを機能させるために、論文は主に3つの転換を提案しています。

1. 責任に関する新しいルール： もしAIと医師が共にミスをした場合、法律は彼らを一つのチームとして認識する必要があります。機械を信じたことを医師の責任にしたり、機械が間違ったことを機械の責任にしたりすることはできません。
2. 医師のための新しい教育： 医学部には、将来の医師に対し、AIを「尋問」する方法を教える必要があります。コンピュータに疑問を呈することは弱さの象徴ではなく、核心的なスキルであるべきです。
3. より良い市場ルール： 保険会社は、医師がAIの作業を討論し、検討するために費やす「時間」に対して報酬を支払う必要があります。もし医師が時間に追われていれば、彼らは討論をスキップして機械を盲信することになり、それがエラーにつながります。

まとめ

論文は、AIの時代において、「シリコン（コンピュータ）」も「シナプス（人間の脳）」も、単独では医学的診断を扱うには十分に賢くないと結論づけています。唯一安全な道は、コンピュータと医師が互いに議論することを強制し、それぞれが単独でいる時よりも賢い、一つの責任あるチームを作り上げるシステムを構築することです。