Rare Diseases, Common Dilemmas: LLMs Prioritize Equal Resource Distribution over Patient Benefit in Decision-Making

医療という極めて重要な局面において、医師は単一の正解が存在しない選択に直面することがしばしばあります。患者が重篤な状態にあるときや、希少な疾患を抱えているとき、医療チームはいくつかの相反する道徳的義務のバランスを取らなければなりません。彼らは、患者を助けること、危害を加えないこと、患者自身の進むべき道を尊重すること、そして限られた資源を必要とするすべての人々の間で公平に分配すること、といった義務を果たそうと努めます。これらの義務（善行、無危害、自律、および正義として知られるもの）は、しばしば互いに異なる方向へと引き合います。例えば、命を救う可能性のある治療法が、多大な苦痛をもたらす可能性もあるでしょう。あるいは、ある一人の人を深く救う一方で、多くの人々からケアの機会を奪ってしまうような、希少で高価な薬もあるでしょう。ヘルスケアにおいて人工知能が普及するにつれ、人々は、これらのコンピュータ・システムがどのようにしてこのような困難で価値観の絡み合う決定を下すのかという問いを投げかけ始めています。懸念されているのは、機械が事実を知っているかどうかだけでなく、その機械が道徳的なトレードオフの重みを理解しているかどうかです。

新しい研究では、大規模言語モデル（人間のようなテキストを生成できる強力なAIシステム）が、希少疾患の患者をケアする際に、どのようにこれらの倫理的な選択を行うのかを調査しています。希少疾患は、影響を受ける人数が少なく、利用可能な医学的データも限られていることが多いという特有の課題を抱えています。このような状況では、家族や医師はしばしば、不完全な選択肢を天秤にかけながら、深い不確実性の下で決断を下さなければなりません。研究者たちは、AIがこうした混迷した状況を切り抜けられるかどうかを検証するためのテストを作成しました。彼らは、現実世界の希少疾患とその具体的な遺伝的・臨床的詳細に基づいた、208件の現実的な医学的物語（ヴィニエット）のコレクションを構築しました。それぞれの物語は、二つの異なる次のステップがどちらも医学的に妥当でありながら、倫理的には対立しているという、真のジレンマを提示しています。例えば、一つの選択肢は個々の患者の差し迫ったニーズを優先する一方で、もう一つの選択肢は、限られた資源をグループ全体に公平に分配することに焦点を当てている、といった具合です。研究者たちは、11種類の最先端のAIモデルに対し、これら二つの選択肢のどちらかを選ぶよう求めました。

結果は、驚くべきパターンを明らかにしました。開発元や学習方法に関わらず、テストされたすべての異なるAIモデルにおいて、システムは一貫して「正義」を優先する選択肢を選びました。これらの医学的物語の文脈において、これはAIが、より深刻な状態にある人に多くを与えるのではなく、全員に同じ分け前を与えることとして「公平性」を捉え、個々の患者の切実なニーズよりも、資源の平等な分配をほぼ常に優先したことを意味します。モデルは、公平性を、患者の病状の深刻さを見落とした、単純な「等しい分配」という概念として扱っているようでした。この研究は、これらのAIシステムが状況の道徳的な複雑さを深く推論しているのではなく、代わりに、単純な等分配のルールに陥っていることを示唆しています。

また、研究者たちは、AIの選択が、最終決定を下す人物が誰であるかという記述に大きく依存していることも発見しました。物語の中で、決定が委員会や病院の理事会によるものであると設定された場合、AIは正義と資源の平等な分配を強く支持しました。しかし、決定が個々の医師や患者自身によるものであると設定された場合、AIはその好みを変化させました。それらのケースでは、モデルは厳格な平等から離れ、患者自身の願いや、その患者の直接的な幸福を優先し始めました。これは、AIが意思決定者の社会的役割に対して非常に敏感であり、権威がどのように機能するかについての人間の直感性を反映していることを示しています。AIは、委員会は公平性に責任を持ち、個人はケアと選択に責任を持つということを学習しているようです。

この挙動は、これらのツールが実際の病院でどのように使用されるかについて、重要な問いを投げかけています。本研究は、AIによる意思決定支援システムが、新鮮で原則に基づいた視点を提供するのではなく、既存の権力構造を静かに強化してしまう可能性があることを示唆しています。もし医師が困難な症例についてAIに助言を求めた場合、その医師が個人として尋ねるのか、あるいはチームの一員として尋ねるのかによって、AIが与える回答が変わってしまう可能性があります。研究者たちは、モデルが患者にとって何が最善かという第一原理から推論しているのではなく、状況を、関与する役割に基づいた期待される行動パターンに一致させているだけであることを見出しました。この「権威バイアス」は、AIが不公平な制度的慣行に異議を唱えたり、患者の特定のニーズが一般的な平等のルールを上回るべき時にそれを認識したりすることに失敗する可能性があることを意味します。

この研究は、これらのAIモデルが壊れている、あるいは有用であり得ないと言っているわけではありません。むしろ、現在の医療AIの評価における盲点を浮き彫りにしています。ほとんどのテストは、機械が正しい事実を知っているか、あるいは医学的な質問に正しく答えられるかに焦点を当てています。この研究は、モデルが事実として正確であったとしても、道徳的価値をどのように重み付けするかにおいて、隠れたバイアスを持っている可能性があることを示しています。研究の結論は、AIが高度な医療現場で使用されるようになるにつれ、私たちは単なる正確性以上のものを見る必要があるということです。私たちは、これらのシステムがどのように価値を優先するのか、そしてその選択が、命がかかっている時に人間の医師や倫理学者が用いる複雑で微細な推論と一致しているかどうかを理解する必要があります。本研究は、これらの倫理的選好に注意を払わなければ、AIツールは単に制度的な意思決定の現状を繰り返すことになり、結果として最も脆弱な患者を犠牲にする可能性があると結論付けています。