Toward a Common Language for Trustworthy AI in Healthcare

人工知能は、医師の疾患診断、患者のアウトカム予測、治療法の選択を支援するパートナーとして、医療分野において急速に普及しつつあります。しかし、これらのコンピュータシステムが複雑さを増すにつれ、静かな問題が浮上しています。それは、多くのシステムが「ブラックボックス」のように機能していることです。それらは医療データを入力して結果を出力しますが、その間のプロセスは隠されたままです。機械が診断を提案するとき、医師はその理由を知る必要があります。彼らは、システムの推論過程を理解し、システムが公平であることを信頼でき、かつ、学習に使用された患者だけでなく、あらゆる患者に対して一貫して機能することを確信できなければなりません。この信頼を築くために、この分野では「信頼できるAI（trustworthy AI）」と呼ばれる一連の指針となる原則が開発されてきました。これらの原則には、システムがどのように機能しているかを公開することを意味する「透明性」、特定のグループの人々が不当に扱われないことを保証する「公平性」、そしてシステムが一定のパフォーマンスを発揮することを意味する「信頼性」といった概念が含まれます。しかし、これらの原則が機能するためには、全員がそれらが実際に何を意味するのかについて合意していなければなりません。もしある研究者があるシステムを「説明可能（explainable）」と呼び、別の研究者が同じ言葉を少し異なる意味で使用しているならば、信頼の基盤は崩れ始めます。

カナダのマクマスター大学の研究チームは、医療AIコミュニティが共通の言語を話しているかどうかを確認するために調査を行いました。彼らは2015年から2025年までに発表された675件の論文を大規模にレビューし、科学者たちが「解釈可能性（interpretability）」「説明可能性（explainability）」「透明性（transparency）」「公平性（fairness）」「バイアス（bias）」「堅牢性（robustness）」「信頼性（reliability）」「妥当性（validity）」という8つの核となる概念をどのように定義し、使用しているかを検証しました。その結果、判明したのは混乱した状況でした。研究によれば、これらの用語は、本来は異なる事象を記述すべきものであるにもかかわらず、しばしば互換的に使用されていることが明らかになりました。例えば、「解釈可能性」と「説明可能性」という言葉は、研究者たちが実際には異なるレベルの理解を表すと提案しているにもかかわらず、頻繁に入れ替わって使われていました。同様に、「信頼性」と「妥当性」の定義も非常に多様であり、ある研究では、学習したデータに対して単に機能しただけでシステムを「信頼できる」と呼ぶ一方で、別の研究では、そのラベルを得るために全く異なるデータに対しても機能することを要求していました。このような共通語彙の欠如は、研究の比較や知識の共有、さらには患者にとって真に安全なシステムの構築を困難にしています。

これを解決するために、研究者たちはこれらの概念を明確に分離した新しい統一フレームワークを提案しました。彼らは「透明性」を最も広範な概念として定義しました。これは、ステークホルダーが意思決定の仕組みを把握できるように、システムがその内部構造やデータソースを開示することを意味します。その透明性の中に「説明可能性」が存在します。彼らはこれを、知識のあるユーザーが追跡できる形で、決定に対する技術的な正当性を提示し、「どのように」「なぜ」が行われたかを説明する能力であると述べています。「解釈可能性」はこれとは少し異なると彼らは主張しています。それは、技術的な詳細を知ることなく決定を理解できる能力であり、メカニズムよりも「なぜ」に焦点を当てたものです。また、チームは「堅牢性」とは入力データが変化したりノイズが含まれたりしてもシステムが安定している状態を指し、「信頼性」とは条件が全く同じである場合にシステムが安定している状態を指すと明確にしました。「公平性」は差別的な結果を排除することを目標として定義され、そのためにはまず「バイアス」、すなわち不公平な扱いを招く系統的なエラーを特定する必要があります。最後に、「妥当性」は究極のテストとして位置づけられました。システムが意図通りに機能し、現実世界で機能するためには、堅牢性と信頼性の両方を備えていなければなりません。

研究者たちが過去10年間に発表された実際の研究を調査したところ、この分野は急速に成長しており、論文数は2015年から2025年にかけて急増していることが分かりました。しかし、研究は均等には分布していません。ほとんどの研究は、神経学、腫瘍学、循環器学などの特定の領域に集中しており、電子健康記録や医用画像に大きく依存しています。使用されている最も一般的な人工知能モデルは、古典的な機械学習アルゴリズムとディープラーニングネットワークであり、大多数の研究は、スキャン画像に腫瘍があるかどうかを判断するといった単純な分類タスクを実行しています。システムを理解可能にするためのツールに関しては、SHAP（SHapley Additive exPlanations）と呼ばれる手法が圧倒的に普及しています。これは、特定の血液検査の結果や画像のピクセルのように、データのどの特徴量が予測に最も寄与したかを研究者が把握するのに役立ちます。

こうした成長にもかかわらず、レビューによって重大なギャップが浮き彫りになりました。研究者たちは、既存のデータに対してモデルが機能するかどうかを確認することには長けていますが、それらのモデルが新しい異なるデータや、元の学習において十分に代表されていなかった集団に対してどのように機能するかをテストすることには、あまり成功していません。調査によると、公平性やバイアスの問題に対処している論文は半数未満であり、モデルの意思決定プロセスを完全に理解するために必要な深いレベルの透明性を提供しているものはさらに少ないことが分かりました。最も重要な点として、研究者たちは、厳密な意味での「説明可能性」、つまりモデルの背後にあるメカニズムを明らかにすることに取り組んでいる研究は極めて少ないと指摘しました。その代わりに、ほとんどの研究は「解er可能性」の段階に留まっており、どのデータポイントが重要であったかを示すにとどまり、機械の完全なロジックを説明することまでは行っていませんでした。これは、この分野が進歩している一方で、依然として「AIの出力」を理解しやすくすることに主眼を置いており、「AI自体」を真に透明にすることには至っていないことを示唆しています。

著者らは、人工知能が医療における信頼できるパートナーとなるためには、コミュニティがこれらの用語を曖昧に使用することをやめ、提案された統一的な定義を採用しなければならないと結論付けています。共通の言語がなければ、患者の安全を確保するために必要な厳格な基準を構築することは不可能です。彼らは、今後の研究において、最も一般的な医学的専門分野やデータタイプを超えて、より幅広い疾患や情報源を探索することを推奨しています。また、科学者に対し、これらのシステムが新しい状況や多様な集団にいかに対応できるかをテストするための、より優れた手法を開発することを促しています。信頼、信頼性、そして公平性が何を意味するのかを明確にすることで、この分野は単に複雑なモデルを構築することから、医師や患者が真に頼ることができるシステムを構築することへと移行できるのです。