Trust gap in clinical artificial intelligence: a meta-systematic review

大きな全体像：不安定な土台の上に建てられた家

医療用人工知能（AI）の分野を、巨大な建設プロジェクトだと想像してみてください。ここ数年、エンジニアたちは、医師の病気診断や手術計画を支援するために、驚くほど高く豪華な塔（AIシステム）を建設してきました。彼らは、その塔が構造的に健全であるか、高さはどれくらいか、重さに耐えられるかを確認するために、何十億時間もの時間を費やしてきました。

しかし、この論文は、エンジニアたちが塔の**「高さと強度」には執着している一方で、人々が実際にその塔を信頼するための「土台」や「呼び鈴（インターホン）」**を作ることを完全に忘れていると主張しています。

著者であるアセフェ・アセミ（Asefeh Asemi）は、2022年から2025年の間に発表された130件の異なる「報告書の報告書」（メタ・システマティック・レビューと呼ばれるもの）を調査しました。これらの報告書は、AIの塔に対する最終検査であるはずのものでした。そこで発見された大きな事実とは、検査官たちはレンガ（素材）のことばかりをチェックしており、その建物の中に住む人々にとっての安全性については見ていないということでした。

主な問題：「エシックス・ウォッシング（倫理の粉飾）」

この論文は、**「エシックス・ウォッシング（Ethics-Washing）」**という概念を紹介しています。

これは、車の販売員が車に「100%安全なファミリーカー」という大きくて光沢のあるステッカーを貼っているようなものです。しかし、ボンネットを開けてみると、ブレーキは欠落しており、シートベルトも機能していません。販売員は安全について「語って」はいますが、実際に車の中に安全性を「構築」してはいないのです。

研究の結果、臨床AIの世界において以下のことが判明しました。

• 言葉（トーク）： 多くの報告書が、要約の中で「倫理」「信頼」「公平性」といった言葉に触れています（これは光沢のあるステッカーのようなものです）。
• 現実： 著者がこれらの報告書の実際の内容を詳しく調べたところ、信頼をどのように測定するか、あるいは不公平さをどのように修正するかを実際に説明している報告書は、ほとんどありませんでした。
• 結果： 「信頼のギャップ」が見つかりました。130件のレビューのうち、ゼロ件が、現実的かつ多角的な意味での「信頼」を定義できていませんでした。彼らは、AIが正確であれば、それは信頼できるものだと単に決めつけていたのです。

信頼を支える4つの欠けた柱

論文では、「信頼」とは単なる一つの要素（例えば正確さ）ではなく、立つために4本の脚を必要とするテーブルのようなものであると主張しています。現在、AI分野はこのテーブルを、たった一本の脚でバランスさせようとしています。

1. 技術的な脚（唯一立っている脚）： これは正確さ、速度、数学に関するものです。論文によると、89%のレビューがこれのみに焦点を当てています。彼らは「AIは診断を正しく行っているか？」と問いかけます。
2. 対人関係の脚（欠落している）： これは医師、患者、そして機械の間の関係に関するものです。医師はそのAIを使うことに心地よさを感じるか？ 患者は安全だと感じるか？ 論文では、これについて語っている人はほとんどいないことが分かりました（わずか2.3%のレビュー）。
3. 制度的な脚（ぐらついている）： これはルール、法律、そしてAIがミスをした場合に誰が責任を負うのかに関するものです。もしAIが患者を死なせてしまったら、誰が刑罰を受けるのでしょうか？ 医師でしょうか？ プログラマーでしょうか？ それとも病院でしょうか？ 論文では、この議論はほとんど行われていないことが分かりました（18.5%）。
4. 認識論的な脚（完全に消滅している）： これは「知識」に関するものです。AIは、自分が知っていることをどのようにして「知って」いるのでしょうか？ もしAIが答えを出した場合、私たちは「なぜ」そうなるのかを理解できるのでしょうか？ 論文では、99%のケースでこれが無視されていることが分かりました。

危険地帯：高リスク領域

この研究で最も衝撃的な部分は、信頼の欠如がどこで起きているかという点です。

ある病院を想像してください。最も危険な場所は、救急外来（ER）、手術室、そして循環器科ユニットです。これらは、一つのミスが即座に死を招く可能性がある場所です。

研究によれば、これらの高リスク領域で使用されるAIシステムは、技術的なパフォーマンスに対して最も注目を集めているものです。しかし同時に、これらの領域こそが、倫理的なチェックが最も行われていない領域でもあるのです。

• 比喩： これは、ドライバーにレーシングカーを渡して、混雑した街中で運転させているようなものです。その車は非常に速い（高い技術的性能）ですが、ドライバーが免許を持っているか、車にシートベルトが付いているか、あるいは歩行者にとってその道が安全かについては、誰もチェックしていません。車が速ければ速いほど、衝突の際の被害は大きくなります。

「サイロ」効果：人々が対話していない

論文はまた、これらのシステムを構築している人々が、それらをチェックすべき人々と言葉を交わしていないことも指摘しています。

• 技術者は、数学とコードについての報告書を書いています。
• 医師は、患者のケアについての報告書を書いています。
• 倫理学者は、善悪についての報告書を書いています。

彼らはそれぞれ別々の部屋（サイロ）にいます。これら3つのグループを真に融合させようとする報告書は極めて稀です。論文では、3つのグループすべてを混ぜ合わせた真に「学際的」なレビューは、わずか**6.9%**であったことが分かりました。これは、数学的には完璧かもしれないが、実際の病院では役に立たない、あるいは危険なツールを私たちが作り上げていることを意味します。

解決策：CAIEEフレームワーク

これを解決するために、著者はCAIEEフレームワーク（臨床AI倫理的関与）と呼ばれる新しい設計図を提案しています。

これは、AI病院を建設するための新しい**「検査チェックリスト」**だと考えてください。単に塔の高さをチェックするのではなく、このチェックリストは構築者に以下の確認を強制します。

1. 技術的信頼： 正確であるか？
2. 対人的信頼： 医師や患者はそれを使うことに安全を感じるか？
3. 制度的信頼： ルールと責任は明確か？
4. 認識論的信頼： その思考プロセスを理解できるか？

結論

論文は、医療AI分野が**「真正性の危機」**に陥っていると結論づけています。私たちは倫理や信頼を大切にすると「言って」いますが、私たちの行動（および研究報告）は、私たちが関心を持っているのはスピードと正確さだけであることを示しています。

信頼のテーブルの他の3本の脚を構築し始めない限り、病院内のAIシステムは、非常に賢いかもしれませんが、最もそれを必要としている人々にとって、安全でも、公平でも、真に信頼されるものでもないままなのです。論文は、研究者たちに対し、単に倫理について「語る」だけでなく、実際にそれをシステムの中に測定し、組み込むようにと強く求めています。