Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

人工知能の急速に進化する分野において、文学から医学に至るあらゆる事柄について助言を与える、人間のように読み書きができる新世代のコンピュータプログラムが登場している。これらのツールがヘルスケア分野へと進出するにつれ、専門家たちは開発者に対し、特定の種類の感受性、すなわち多様性、公平性、そして包括性（DEI）への意識をプログラムに組み込むよう促してきた。その目的は、医師が患者に関する助けを求めてコンピュータに問いかける際、機械が人種、所得、あるいは文化的背景といった要因が健康状態の結果にどのように影響し得るかを考慮するようにすることである。このアプローチは、コンピュータに対してこれらの社会的現実を考えるよう明示的に指示することで、より公平で正確になると想定している。しかし、コンピュータの指示とその出力との関係は複雑であり、善意に基づいたプロンプトが、時には情報を明確にしようとする本来の意図を歪めてしまう予期せぬ挙動を引き起こすことがある。

アリゾナ州立大学の研究者たちは、医学的な質問に対してこれらの公平性に焦点を当てた指示を適用した場合に何が起こるかを調査した。彼らは、広く利用されている商用システムから特化したオープンソースのプログラムまで、47種類の異なる人工知能モデルを、膨大な医学系多肢選択式問題のコレクションを用いてテストした。実験において、彼らは標準的な医学的シナリオ（特定の症状を持つ患者の記述であるが、その背景については言及がないもの）を取り上げ、それらをモデルに解かせた。そして、追加の指示がない場合、無意味な指示を与えた場合、中立的な医学的指示を与えた場合、そして多様性と公平性を考慮するよう命じる一文を与えた場合の4つの異なる条件下で、モデルの回答を比較した。

結果は、驚くべき一貫したパターンを明らかにした。モデルが公平性に焦лоした指示を受け取ると、元の記述には存在しない患者の詳細を頻繁に捏造し始めたのである。研究者たちはこの現象を「デモグラフィック・インジェクション（人口統計学的情報の注入）」と呼んでいる。コントロールグループ（特別な指示を与えなかったグループ）では、モデルが人種や社会的地位などの明記されていない人口統計学的詳細を追加することは1パーセント未満であった。しかし、公平性のプロンプトが追加されると、テストされたすべてのモデルにおいて、その割合は33パーセントに跳ね上がった。これは、コンピュータが公平性を考慮するよう求められたとき、およそ3回に1回の割合で、属性のない患者に対して特定の、人種、年齢、あるいは経済状況を密かに割り当てていることを意味している。

ほとんどの場合、この捏造は無害であった。モデルは、現実世界における特定の疾患が特定の集団にどのように影響するかという一般的な記述を加えるだけで、最終的な医学的推奨事項を変更することはなかった。しかし、より少なくだが重大な部分において、これらの回答はさらに踏み込んでいた。約2.5パーセントのケースにおいて、モデルは捏造した人口統計学的情報を物語の中の特定の患者に直接結びつけていた。この患者のアイデンティティの変化により、モデルは医学的助言を変更し、そしてその新しい助言は、ほぼ例外なく誤っていた。例えば、痛みがない頸部の腫れと正常な血液マーカーを持つ女性の症例を提示された場合、モデルは正しくその状態を特定の種類の甲状腺炎症として特定するかもしれない。しかし、公平性を考慮するよう促されると、同じモデルが突然、その患者を黒人またはヒスパニック系の女性であると決定し、その捏造されたアイデンティティに基づいて、異なる誤った疾患へと診断を切り替えてしまうのである。

研究によれば、指示の表現方法が大きく影響することが分かった。「健康の社会的決定要因」や「特定の人口統計学的グループ」を考慮するよう求める、より詳細なプロンプトは、モデルによる詳細の捏造をより頻繁に引き起こし、その捏造率は最大で56パーセントに達した。研究者たちは、この挙動が単にモデルがより多くのテキストを読んでいるという事実によるものではなく、公平性の指示の内容自体によって引き起こされていると判断した。彼らは、指示が同じ長さであっても公平とは無関係なものである場合、同様の効果は生じなかったことから、モデルが単に余分な言葉によって注意を逸らされているという考えを排除した。むしろ、モデルはトレーニング中に強い関連性を学習していたようである。つまり、公平性に関連する言葉を目にすると、人口統計学的な詳細が存在することを期待し、ユーザーが求めていない場合でもそれを提供しなければならないと感じるのである。

この発見は、これらのシステムが指示を処理する方法における、微妙だが決定的な欠陥を浮き彫りにしている。コンピュータは人間のような悪意や偏見を持って行動しているのではなく、むしろ、役に立つためのパターンに従っているのである。公平性を考慮するように言われると、コンピュータはそれを「欠落している情報を補完せよ」という命令として解釈し、完全な医学的描写には人口統計学的なラベルが必要であると想定する。そうすることで、患者のアイデンティティを書き換え、一般的な事例を、存在もしない特定の事例へと変えてしまうのである。研究者たちは、モデルの全体的な正確性はわずかに低下しただけであるが、そのエラーはモデルが最も役に立とうとしているケースにおいて集中していることを強調している。研究は、モデルの推論方法を促すいかなる指示も、求められていない詳細を追加させる原因となり得ると結論づけており、医学という極めて重要な世界においては、患者の記述におけるわずかな変化が、危険な誤診につながる可能性がある。