Invisible Agents, Uninformed Patients: Towards Responsible Deployment Of Autonomous AI Diagnostic Agents In Sub-Saharan Africa

サハラ以南のアフリカの賑やかなクリニックや遠隔地の村々では、人々が医療にアクセスする方法において、静かな革命が起きている。長年、医師たちは意思決定を助けるツール、つまり「第二の目」や参照ガイドとして機能する道具に頼ってきた。しかし、新しい世代のテクノロジーが登場した。それは自律型人工知能（AI）エージェントである。過去の「有能な助手」とは異なり、これらのシステムは医師が質問するのを待つことはない。代わりに、症状、X線画像、血液検査の結果といった患者のデータを取得し、診断を下したり、次に患者がどこへ行くべきかという決定を独立して下したりする。これらは、背後で人間がリアルタイムで監視することなく動作する。この変化は、この地域における専門医の深刻な不足に対する強力な解決策を提供しており、そうでなければ医療を受けられなかったであろう何百万人もの人々にケアを広めることを約束している。しかし、このスピードは、ほとんど問われることのなかった重大な問いを突きつけている。もし機械が単独で人生を左右する医療決定を下した場合、患者はそのことが起きていると知っているのだろうか、という問いである。

研究者のパーシー・ブラウンとクウェク・ヤモアによる最近の論文は、まさにこのギャップを調査している。彼らは、結核や糖尿病網膜症のような疾患を診断する技術が急速に進歩している一方で、これらの診断を受ける人々のためのルールや保護策が追いついていないと主張している。研究者たちは、サハラ以南のアフリカの多くの地域において、患者がコンピュータプログラムによって自身の健康データが分析され、治療に関する最終決定が下されていることさえ全く知らない場合が多いことを発見した。この認識の欠如は、機械が間違いを犯した際に、誰が明確に責任を負うのかが不明確な、危険な空白を生み出している。論文は、単により優れた、より正確な機械を構築するだけでは不十分であり、患者が情報を得て、人間のセカンドオピニオンを求めることができ、どのようにしてその決定に至ったかを理解できるように、システム全体を再設計する必要があると示唆している。

問題の規模を理解するために、研究者たちは、アフリカ大陸全土で現在これらのシステムがどのように使用されているかについて、3つの具体的な事例を調査した。タンザニアでは、胸部X線を分析することで結核のスクリーニングを行うコンピュータ・ソフトウェアが広く導入されている。多くの遠隔地では、画像を検討できる放射線科医が存在しない。このソフトウェアは、X線を読み取り、患者が結核であるかどうかを判断するように設計されており、患者が治療のために送られるか帰宅させられる前に、人間が結果を確認することはほとんどない。ザンビアでは、同様のディープラーニング・システムが、失明につながる可能性のある糖尿病網膜症や結核のスクリーニングに使用されている。これらのシステムは技術的にはうまく機能することが証明されており、研究では人間の医師のパフォーマンスに匹敵している。しかし、これらのツールが研究室から実際のクリニックへと移行した際、それらを使用している患者に対して、コンピュータが診断を下しているという説明がなされることは稀であり、結果に不安を感じた場合に人間のレビューを求める方法も与えられていなかった。

ガーナにおける状況はさらに直接的である。そこでは、モバイルヘルス・チャットボットが、人々が医療アドバイスを求める主要な手段となりつつある。これらのデジタル・アシスタントは、携帯電話のテキストメッセージを通じて患者の症状を尋ね、その上でリスク評価や次にすべきことへの推奨事項を提供する。多くのユーザーにとって、このチャットボットは医療システムとの唯一の接点である。研究者たちは、これらのやり取りが自律的な診断エージェントとして機能しているものの、アルゴリズムが健康状態の判断を下していることがインターフェース上で開示されることは滅多にないことを発見した。患者は、機械が判断を下したのか、それとも人間が判断を下したのかを知ることなく、深刻な推奨事項を受け取ったり、あるいは自分の症状が退けられたりすることになる。これら3つのケースすべてにおいて、テクノロジーはエンジニアの意図通りに機能しているが、信頼と責任という人間的な要素が置き去りにされている。

著者らが特定した核心的な問題は、2つのレベルで作用する「透明性の欠如」である。第一に、テクノロジー自体がしばしば「ブラックボックス」であり、開発者であってもコンピュータがどのように特定の結論に達したのかを正確に説明できないことがある。第二に、より重要なこととして、患者に対するコミュニケーションの失敗がある。患者は、自律型エージェントが関与していること、そのエージェントに何ができるのか、そして出力内容に異議がある場合の権利が何であるかを知らされていない。これは責任における構造的なギャップを生み出す。人間の医師が間違いを犯した場合、患者は誰に責任を問うべきかを知っており、決定に対して異議を申し立てることができる。しかし、自律型システムが間違いを犯し、それを人間がレビューしていなかった場合、責任の連鎖は断ち切られる。患者は、理解できないままの医療結果を突きつけられ、それに異議を唱える明確な道も持たないことになる。

これらの知見に応えて、論文は、これらのテクノロジーの責任ある使用を導くための、3つのシンプルかつ不可欠な原則に基づいた新しい枠組みを提案している。第一の原則は「エージェントを意識したインフォームド・コンセント」である。これは、患者のデータが自律型システムによって分析される前に、人間ではなくコンピュータが決定を下していることが、平易な言葉で明確に伝えられなければならないことを意味する。この開示は、様々な教育水準の人々にとってもアクセス可能であり、現地の言語で行われなければならず、同意が単なる形式的なものではなく、真に「インフォームド（情報を得た上での）」なものであることを保証しなければならない。

第二の原則は、「ヒューマン・オーバーライド（人間による介入）」を構造的な要件として要求する。いかなる自律型システムも、人間の専門家によるレビューを受けることができない最終的な医療決定を下すことは許されない。すべてのシステムは、患者や現地の医療従者が、治療を開始する前に機械の出力を停止し、人間のレビューを要求できる経路を組み込んだ設計にしなければならない。これは富裕層の病院のための贅沢品ではなく、資源がいかに乏しい状況であっても、あらゆる展開において備わっていなければならない基本的な安全機能である。

第三の原則は、「文脈に適応した説明可能性」を求めている。AIの決定の背後にある複雑な数学を患者に説明することは不可能かもしれないが、推奨事項の理由は、患者が理解できる形で伝えられなければならない。技術的な専門用語の代わりに、システムは、患者の識字レベルや言語に合わせて調整された、何が見つかり、なぜそのような結果になったのかという簡潔な説明を提供すべきである。これにより、透明性がエンジニアのための技術的な特徴としてだけでなく、ケアを受ける人にとっての現実的な体験となることを保証する。

研究者たちは、これらの原則が人工知能の拒絶ではないことを強調している。AIは、医師の少ない地域において、命を救うという真の有望性を秘めている。むしろ、彼らは現在の展開のスピードが、必要なガバナンスを追い越してしまっていると主張している。これらの機械ができることへの熱狂が、患者の権利を犠牲にしてはならない。これらの3つのセーフガードを、自律型エージェントの設計と展開に組み込むことで、医療システムは、ケアの拡大が最も脆弱な人々を「デジタルの霧」の中に置き去りにしないようにすることができる。論文は、これらの構造的な変化なしには、アフリカのヘルスケアにおけるAIの約束は不完全なままであり、スピードと効率性を提供しても、あらゆる癒しの関係の基礎である責任と信頼を提供できていないと結論づけている。