技術概要：LLM に基づく救急部門トリアージにおける性バイアスの公平性監査 EQUITRIAGE

問題提起

救急部門（ED）のトリアージは、通常、救急重症度指数（ESI）によって管理され、患者の受診順序と緊急性を決定する。数十年にわたる臨床的証拠は、このプロセスにおける体系的な性差を記録しており、急性疾患（例：急性冠症候群）を有する女性は、同等の症状を示す男性に比べ、評価時間の延長、より積極的でない検査、および体系的な過小トリアージに直面することが多い。医療システムがトリアージの意思決定支援ツールとして大規模言語モデル（LLM）の実証試験をますます進める中、重要な問いが残されている：これらのモデルは、既知の人間のバイアスを再現、増幅、あるいは緩和するか？

先行研究は臨床現場における LLM の振る舞いを特徴づけてきたが、範囲の限界に悩まされている：ほとんどの研究は 1 つまたは 2 つのモデルのみを評価し、交差分析（性×人種×年齢）を欠き、プロンプトに基づくバイアス除去介入を体系的にテストしていない。さらに、実用的なバイアス除去戦略における臨床的精度と公平性のトレードオフは定量化されていない。本研究は、複数のモデルファミリー、ベンダー、およびプロンプト戦略にわたる LLM ベースのトリアージの包括的な公平性監査を行うことで、このギャップに対処する。

方法論

本研究は、5 つの異なるベンダー（Google、NVIDIA、DeepSeek、Mistral AI、OpenAI）からの 5 つの LLM を評価するために、対話的因果アプローチ（Kusner et al., 2015）を用いた公平性監査フレームワーク「EQUITRIAGE」を導入する。

データと症例文生成

• ソースデータ： 本研究は、MIMIC-IV-ED データセット（Beth Israel Deaconess Medical Center、2011–2019）から導出された 18,714 の臨床症例文を利用し、MIMIC-IV とリンクさせて結果を検証した。
• 合成構築： MIMIC-IV は HIPAA セーフハーバー基準に基づき匿名化されているため、本研究は、性別と人種が一致するプール（米国社会保障局および国勢調査データ）からサンプリングされた合成の名前を生成し、実際の構造化フィールド（バイタルサイン、主訴、薬剤、年齢、人種）と組み合わせる。
• 対話的ペア： 元の症例文の 9,346 件が、性別を逆転させた対話的双子とペアリングされた。これらのペアでは、性別トークンと名前（逆性別かつ同一人種のプールから抽出）のみが変更され、すべての臨床コンテンツは同一のまま保持される。性に関連する 22 の症例文（例：産科関連）は、ペア分析から除外された。
• 規模： 評価は、5 モデル×4 戦略×18,714 症例文の合計 374,275 のモデル評価から構成される。

実験デザイン

• 評価対象モデル： Gemini-3-Flash、Nemotron-3-Super、DeepSeek-V3.1、Mistral-Small-3.2、および GPT-4.1-Nano。
• プロンプト戦略： プロンプトがバイアスに与える影響を分離するために、4 つの戦略がテストされた：
  1. ベースライン： 標準的なトリアージ指示。
  2. 思考連鎖（CoT）： 明示的な段階的推論の要件。
  3. バイアス除去： 人口統計を無視し、臨床的重症度のみに基づいて意思決定を行うよう指示。
  4. ブラインド： 名前、年齢、性別（代名詞の中立化）を除去し、臨床コンテンツのみを残す。
• アブレーション研究： 方向的バイアスを示した 2 つのモデル（Gemini-3-Flash および DeepSeek-V3.1）について、性別トークンの影響と患者の名前の影響を分離するために、アブレーション条件を実施した（性別のみ交換、名前のみ交換、年齢保持ブラインド）。
• 指標：
  • 対話的フリップ率： 性別交換により割り当てられた ESI レベルが変化するペアの割合。
  • 方向的 F/M 比： 女性の過小トリアージフリップ数に対する男性の過小トリアージフリップ数の比率。
  • 精度： 人間が割り当てた ESI に対する二次重み付けコヘンの$\kappa$。
  • 較正ギャップ： 同じ予測 ESI レベルにおける、性別間の入院率の不一致。

主要な結果

1. 体系的な性感受性（仮説 H1 支持）

5 つのモデルすべてが、対話的フリップ率の事前登録された 5% の確率的変動閾値を超え、体系的な性感受性を示した。モデルは 3 つの明確なバイアスプロファイルにクラスター化された：

• プロファイル A（方向的な女性の過小トリアージ）： DeepSeek-V3.1（フリップ率：12.0%、F/M 比：2.15）および Gemini-3-Flash（フリップ率：11.7%、F/M 比：1.34）。これらのモデルは、症例文の女性バージョンに一貫して低い緊急性（高い ESI 番号）を割り当てた。
• プロファイル B（ほぼ同等）： GPT-4.1-Nano（フリップ率：9.9%、F/M 比：1.11）および Mistral-Small-3.2（フリップ率：12.7%、F/M 比：0.92）。これらは方向的バイアスが最小限であった。
• プロファイル C（高感受性、弱い男性方向）： Nemotron-3-Super は、最も高いフリップ率（43.8%）を示し、統計的に検出可能な小さな男性方向の非対称性（F/M 0.92）を伴った。

2. 交差性と苦情固有のバイアス

• 苦情カテゴリー： 胸痛の呈示は、プロファイル A のモデル（DeepSeek F/M 9.10:1；Gemini F/M 4.83:1）で最も強い方向的バイアスを示した。仮説 H2 とは対照的に、精神科の呈示は最も大きな格差を示さなかった。
• 年齢勾配： 若年女性が最大の死亡率格差に直面する人間の臨床文献とは異なり、これらの LLM は逆転したパターンを示した：女性の過小トリアージは患者の年齢とともに増加した（例：Gemini の F/M 比は 18–44 歳群で 0.91 から 65 歳以上群で 2.13 に上昇）。
• 人種： 方向的バイアスは人種によって変動した。DeepSeek の場合、F/M 比はヒスパニック系（2.79）およびアジア系（2.47）の患者で最も高かった。

3. プロンプト戦略の影響

• 思考連鎖（CoT）： 一般的な推論タスクの知見とは対照的に、CoT プロンプトは 5 つのモデルすべてで人間との一致精度（$\kappa$）を普遍的に低下させ、4 つのモデルでフリップ率を増加させた。Gemini-3-Flash の場合、CoT は予測分布の崩壊（予測の 93% が ESI-1 に集中）を引き起こした。
• ブラインド戦略： この介入は不均一な効果をもたらした。Gemini-3-Flash（11.7% $\to$ 0.5%）および GPT-4.1-Nano（9.9% $\to$ 4.8%）のフリップ率を劇的に減少させ、DeepSeek の方向的バイアスを中立化（F/M 2.15 $\to$ 1.00）したが、Mistral および Nemotron についてはフリップ率を増加させた。
• バイアス除去プロンプト： この戦略は一部のモデルでグループ均等性指標を減少させたが、パラドックス的に Mistral および GPT-4.1-Nano のフリップ率を増加させ、公平性に関する指示がモデルの振る舞いを不安定化させる可能性を示唆した。

4. 機械的アブレーションの知見

本研究は、同じ「方向的な女性の過小トリアージ」という表現型が、異なるモデルにおいて反対のメカニズムから生じていることを明らかにした：

• Gemini-3-Flash： 方向的シグナルは、名前＋性別の交換の組み合わせにおいてのみ創発的に現れる。性別のみ交換は対称的（F/M 1.00）であり、名前のみ交換はわずかに男性方向であった。バイアスは 2 つのコンポーネントの相互作用から生じる。
• DeepSeek-V3.1： 性別トークン単独が方向的バイアスを担っている（性別のみ交換で F/M 1.57）。さらに、年齢保持ブラインド条件（名前/性別を除去し年齢を保持）では、残存する方向的バイアス（F/M 1.25）が残っており、年齢も除去された場合にのみ消滅した。これは、微細なテキスト代理変数ではなく、年齢（単独または臨床コンテンツとの相互作用において）が DeepSeek における支配的な残存チャネルであることを示唆する。

5. 較正と不変性

Chouldechova 型の分離が観察された：DeepSeek-V3.1 は最も強い方向的対話的バイアス（F/M 2.15）を示したが、結果に関連する較正ギャップは最低（0.013）であった。これは、モデルが性別を逆転させたペアに対して体系的に異なる ESI レベルを割り当てていたにもかかわらず、モデルの予測 ESI は、各 ESI レベル内において男女でほぼ同一の入院率と関連していたことを意味する。これは、グループ較正と対話的不変性が異なる公平性特性であることを示している。

意義と主張

本論文は、EQUITRIAGE が臨床 AI の展開に関して 3 つの重要な洞察を確立すると主張する：

1. 異なる公平性特性： グループレベルの均等性、対話的不変性、および性較正は異なる指標である。あるモデルは一方を満たしながら他方に失敗し得る。グループ均等性または較正のみに依存することは、体系的な方向的バイアスを見逃す可能性がある。
2. モデル依存の介入： バイアス除去戦略（ブラインドや CoT など）の有効性はモデルに強く依存する。あるモデルでバイアスを中立化する戦略（例：Gemini に対するブラインド）は、別のモデル（例：Nemotron）では失敗するか、バイアスを悪化させる可能性がある。したがって、臨床展開の前にはモデルごとの対話的監査が前提条件である。
3. メカニズムの分離： 本研究は、同一の表現型バイアス（例：女性の過小トリアージ）が、根本的に異なる内部メカニズム（創発的相互作用対トークン駆動対年齢駆動）に起因し得ることを実証した。これは、単一の「修正」が LLM 全体に普遍的に適用できないことを意味する。

著者らは結論として、LLM はトリアージにおいて有望であるが、その現在のイテレーションは確率的ノイズを超える体系的な性感受性を示していると述べている。彼らは、標準的な展開前ステップとして対話的監査を提唱し、現在、精度を低下させ感受性を増幅するため、臨床トリアージにおける思考連鎖プロンプトの未検証の使用に警告を発している。