Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

緊急の助けを求める際、最初の判断は多くの場合、電話の向こう側にいる声によって下されます。この通信員は、通報者に救急車が必要なのか、医師による往診が必要なのか、あるいは単に待機するよう助言すべきなのかを、迅速に判断しなければなりません。近年、病院や救急サービスは、この困難な作業を支援するために人工知能（AI）を使い始めています。これらのコンピュータプログラムは、会話を聞き、発せられた言葉を読み取り、状況がどれほど緊急であるかを算出します。その願いは、人間が痛みや苦痛の中にいるときでも、機械の方がより速く、かつ一貫して情報を処理できるという点にあります。しかし、医学における根深い問題として、女性は男性とは異なるケアを受けることがあり、それが時には彼女たちにとって不利益となることがあります。女性は痛みの緩和を待たされたり、症状を説明しても真剣に受け取られなかったりすることがあります。新しい時代の医療技術における重要な問いは、これらのコンピュータプログラムが、単にこうした古い人間の過ちを繰り返すのか、それともすべての人を公平に扱うように構築できるのかという点です。

フランスの研究チームは、まさにこの問題を救急医療派遣の文脈において調査することに着手しました。彼らは、当日の医療支援を必要とする人々から毎日数千件の電話を受けている、SOS Mé닥ins Grand Parisという大規模な組織と協力しました。研究者たちは、特定の種類の通報、すなわち、最終的に医師が患者の自宅を訪問することになった通報に焦点を当てました。すべての訪問の最後に、医師は患者が病院の救急部門に送られたのか、あるいは自宅に帰されたのかを記録しました。この記録は、研究における「正解（グラウンド・トゥルース）」として機能し、研究者がどの通報が実際に緊急の入院治療を必要としていたかを確認することを可能にしました。彼らは2018年から2023年までの約200万件の通報からデータを収集し、最初の電話の音声録音を患者の最終的な医療記録と照合しました。データのクリーニングと照合を行った後、彼らは100万組を超えるペアとなった通報と結果の膨大なコレクションを手に入れました。

次に、研究者たちは、学習データにおける男女の比率が結果にどのように影響するかを見るために、3つの異なるコンピュータモデルを構築しました。彼らは単に一つのモデルを作ってテストしたのではなく、ジェンダーバランスの影響を分離するために、3つの異なるバージョンを作成しました。第一のモデルは、男性のデータのみで学習されました。第二のモデルは、女性のデータのみで学習されました。第三のモデルは、男女が完全にバランスよく混ざったものでしたが、他の2つのモデルと比較して総サンプル数は半分に設定されました。その後、彼らは各モデルを、未知の通測に対してテストし、誰が病院に行く必要があるかをどの程度正確に予測できるかを確認しました。目的は、バランスの取れたグループで学習したモデルが、男女両方に対して等しくうまく機能するのか、それとも学習データの構成によって、機械が男性と女性をどのように「見る」かが変わってしまうのかを見極めることでした。

結果は、これらの機械がどのように学習するかについての、驚くべき、かつ複雑な実態を明らかにしました。男性のみで学習したモデルは、男性に対しては良好なパフォーマンスを示しましたが、女性に適用した際には著しく苦戦しました。このモデルは、実際に緊急ケアを必要としていた多くの女性を特定できず、明確な性能の格差を示しました。対照的に、女性のみで学習したモデルは、女性に対して良好なパフォーマンスを示し、おそらく驚くべきことに、男性に対しても同様に良好なパフォーマンスを示しました。このモデルを男性集団に適用しても、精度が低下することはありませんでした。男女がバランスよく混ざった状態で学習した第三のモデルは、その中間となりました。これは女性よりも男性に対して高い性能を示しましたが、その差は男性のみのモデルほどではありませんでした。決定的なことに、研究者たちは、学習データの中で男女の数を単に均衡させるだけでは、公平性を保証するには不十分であることを発見しました。バランスの取れたモデルでさえも、わずかに男性を優先する傾向を示しており、これは問題が単に例示される数の多寡にあるのではなく、症状と結果が両性の間でどのように関連しているかという、より深い部分にあることを示唆しています。

なぜこのようなことが起きているのかを理解するために、研究者たちはモデルが意思決定を行う際に最も重要だと判断した言葉を詳しく調べました。その結果、使用される言語がモデルによって異なる重みを持つことが分かりました。例えば、「転倒」や「息切れ」に関連する言葉は両方のグループにとって重要でしたが、「痛み」や「腹部」といった用語は女性用モデルにおいて非常に大きな影響力を持っていた一方で、「出血」や「めまい」は男性用モデルの判断を左右していました。これは、患者が述べる内容と、入院の必要性の間の関係が、男性と女性では同一ではないことを示しています。コンピュータモデルは、単に女性の例を十分に見ていないのではなく、緊急事態の兆候は性別によって異なって見えるのだと学習していたのです。一つのモデルが両方のグループから同時に学ぼうとすると、多数派のパターンに偏った妥協案を作ることになりますが、今回のケースでは、その多数派が男性側に傾いていました。

本研究は、人工知 Intelligence におけるジェンダーバイアスを修正することは、学習データ内の男女の数を等しくすることほど単純ではないと結論付けています。データのバランスを取ることは助けにはなりますが、それだけで問題を自動的に解決するわけではありません。研究者たちは、男女の間における病状の経験や表現の違いは、構造的かつ根本的なものであると示唆しています。このため、女性のために特別に構築されたモデルは男性に対しても堅牢であるように見えますが、男性のために構築されたモデルは女性にはうまく適合しません。この発見は、単一のバランスの取れたアルゴリズムがすべての人を平等に扱うことができるという一般的な仮定に疑問を投げかけています。むしろ、医療AIにおける公平性とは、単純なデータ調整によって後から修正しようとするのではなく、設計プロセスの最初から、これらの深い差異を認識しておく必要があることを示唆しています。この研究は、これらのツールが真に安全で効果的なものとなるためには、人間の病の経験が性別によって一様ではないという理解に基づいて構築されなければならないことを強調しています。