Auditing Institutional Heterogeneity for Generative AI in Patient Education: A Large-Scale Study of 102 US Transplant Handbooks

あなたは、ある巨大な図書館に足を踏み入れたところを想像してみてください。そこにあるすべての本は、ある非常に特別で壊れやすい「庭」の世話の仕方を教えてくれるはずのものです。しかし、ここにはひねりがあります。これは単一の図書館ではなく、全米各地の23人の庭師による102冊の異なるガイドブックのコレクションなのです。医学の世界において、これらの「庭」は人間の臓器であり、「庭師」は移植センターです。長年、医師たちは患者の質問に答えるために、これらのガイドブックを活用したスマートなAI搭載のアシスタントを構築してきました。その大きなアイデアはシンプルでした。もしAIがその地域のガイドブックを読み込めば、その特定の病院が行っていることと正確に一致するアドバイスを提供できるはずだ、というものです。それは、あなた自身の特定の公園の秘密の小道を知っているツアーガイドを持つようなものです。

しかし、大規模にはまだ確認されていない、隠れた懸念がありました。それは、「これらすべてのガイドブックは互いに一致しているのだろうか？」という疑問です。例えば、ある本が「毎朝、花に水をやりなさい」と言い、別の本が「火曜日だけに水をやりなさい」と言っている場面を想像してみてください。もしAIが間違った本を選んでしまったら、庭はダメージを受けてしまうかもしれません。この論文は、まさにその問いを掘り下げています。彼らは、医療ハンドブックのコレクションを巨大なパズルのように扱い、数百万組のページを照合して、アドバイスが一致しているのか、それとも議論されている臓器の種類よりも「病院の声」の方が重要なのかを検証しました。その目的は、患者がスマートなコンピュータに助けを求めたとき、自分の医師の計画と不用意に矛盾することのない、安全で信頼できる回答が得られるようにすることです。

偉大なるハンドブック探偵物語

では、研究者たちは実際に何をしたのでしょうか？彼らはスーパーパワーを持つ探偵のように振る舞いました。ただし、犯罪を解決するのではなく、「一貫性」という謎を解いたのです。彼らは、23の米国固形臓器移植センターから集められた102冊の患者教育ハンドブックを集めました。これらのセンターは、心臓、肺、腎臓、肝臓、膵臓を扱っています。彼らはこれらのハンドブックを、患者が実際に投げかける1,115の現実の質問（例：「旅行できますか？」や「いつ赤ちゃんを持てますか？」など）と組み合わせました。

次に、彼らは「審判」（非常に高度なAI）を解き放ち、あらゆる回答の組み合わせを読ませました。単にいくつかの例を見るだけでなく、彼らは5,730,465組のペア比較という大規模な監査を実施しました。これは、ハンドブックAとハンドブックBが同じことを言っているのか、違うことを言っているのか、あるいは何も言っていないのかを確認するための、570万回を超えるチェックです。

大きな驚き

探偵たちが発見した内容は、単なる「全員が同意している」という単純な話よりも、少し複雑なものでした。

1. 「ハウススタイル」は臓器よりも強い
あなたは、すべての心臓専門医は互いに同意し、すべての腎臓専門医も（どこで働いていようとも）互いに同意しているだろうと思うかもしれません。しかし、研究の結果、これは必ずしも真実ではないことが分かりました。実際、「編集上の声（エディトリアル・ボイス）」は単一の病院において非常に強力であり、同じ病院の2つのハンドブック（たとえ一方が心臓用で、もう一方が肺用であっても）は、異なる病院の同じ臓器に関する2つのハンドブックよりも一致していました。それは、シカゴのパン屋が、チョコレートケーキであろうとバニラケーキであろうと、常にすべてのケーキに余分なスプリンクルをかける一方で、ニューヨークのパン屋は決してスプリンクルを使わない、というようなものです。「シカゴ・スタイル」は、「チョコレート対バニラ」の違いよりも重要なのです。これは、もし一つのAIの中に異なる病院のハンドブックを混ぜ合わせてしまうと、病院独自の執筆スタイルによって、混乱を招くアドバイスを受け取る可能性があることを意味します。

2. 「沈黙」するトピックが最も深刻な影響を与える
最大の問題は、ハンドブックが意見を違えていることではなく、多くの場合、何も言っていないことでした。研究によると、**78.9%**の確率で、ペアになったハンドブックの少なくとも一方が、答えを持っていないことが判明しました。しかし、悲しいことに、最も回答が欠落していたトピックは、しばしば見過ごされがちな人々にとって最も重要なものでした。

• 生殖に関する健康（妊娠や出産に関する質問）は、単独で最も「沈黙している」トピックであり、**82%**のハンドブックがこれに全く触れていませんでした。
• しかし、2つのハンドブックがそのトピックに回答していたとしても、高リスクな詳細において**86%**の割合で意見が食い違っていました。
• これは「二重の災難」です。患者は、このトピックについて回答を得られない可能性が最も高い一方で、もし2つの異なる情報源から回答を得たとしても、意見が矛盾している可能性が最も高いのです。
• その他の欠落しているトックには、メンタルヘルス、経済的な苦境、そして子供や高齢者といった特別な集団のケアなどが含まれていました。

3. 「ハイステークス（高リスク）」な論争
ハンドブックが意見を違えるとき、それは通常、「朝食に何を食べるか」といった些細なことではありません。不一致は991もの異なるテーマに集約されていましたが、最も危険なものは妊娠のタイミングと免疫抑制剤（新しい臓器を拒絶しないための薬）に関するものでした。例えば、あるハンドブックは手術後6ヶ月で妊娠を試みてもよいと言う一方で、別のハンドブックは1年待つようにと言うかもしれません。これらは単なる誤植ではなく、人生を左右する決定なのです。

4. トラブルを予測できる
研究者たちは、一種の「水晶玉」も構築しました。彼らは、質問のされ方を見るだけで、どの質問が最も不一致を引き起こすかを予測できることを見出しました。「～できますか？（Can I...）」で始まる質問や、旅行に関する質問は、矛盾する回答を引き起こす可能性が最も高いものでした。モデルはこの予測において0.77というスコア（AUC）を出し、AIが回答を試みる前に、問題となる質問を特定することができました。

なぜこれがあなたにとって重要なのか

論文は、単に病院のハンドブックの山をスマートなAIに投入して、それが完璧に機能することを期待してはいけないと結論付けています。「ハウススタイル」は独自の現実を作り出し、最も脆弱な患者こそが、最も少ない情報しか得られていないのです。

研究者たちは、いくつかの解決策を提案しています：

• ローンチ前に監査を行う： 病院は、AIが患者と対話する前に、自社のハンドブックに空白や矛盾がないかをチェックすべきです。
• 「Can I?（～できますか？）」フィルター： もし患者が「旅行できますか？」や「～できますか？」といった質問をした場合、システムはより慎重になるべきです。それらの質問はハンドブック同士の意見が最も食い違うため、場合によってはまず人間の医師に提示すべきです。
• ギャップについての正直さ： もしAIが答えを知らない場合（特に妊娠やメンタルヘルスについて）、適当な回答や特定の患者にとって間違いとなり得る一般的な回答を出すのではなく、「分かりません」または「これは病院によって異なります」と言うべきです。

要するに、この研究は、AIが強力なツールである一方で、すべての病院が同じ言語を話しているわけではないこと、そして最も重要な質問の中には、現在答えられずに放置されているものがあるということを教えてくれます。