Examine Clinicians' Modification of Hedging Language in Ambient AI Documentation: A Comparative Study of AI Drafts and Final Notes

技術要約：環境型AIドキュメンテーションにおける臨床医によるヘッジング言語の修正

問題提起
環境型人工知能（AI）ドキュメンテーションシステムは、自動音声認識（ASR）と生成AI（GenAI）を利用して、患者と臨床医の会話を臨床ノートのドラフトへと変換する。これらのツールはドキュメンテーションの負担軽減を目的としているが、臨床医はこれらのドラフトを電子カルテ（EHR）に確定させる前に、日常的に修正を行っている。不確実性、曖昧さ、または暫定的な臨床的推論を示す語彙的・統語的な手がかり（例：「〜かもしれない」、「おそらく」、「〜の可能性を否定できない」など）である「ヘッジング言語（hedging language）」を、臨床医がどのように具体的に修正しているのかを理解することには、重大なギャップが存在する。先行研究では、臨床医はヘッジングをリスク管理およびコミュニケーション戦略として必要不可欠なものと考えていることが示唆されているが、AIのドラフトが不確実性を過小評価しているのか、あるいは過大評価しているのか、また、編集プロセスにおいて臨床医がどのようにこの言語を再調整しているのかについては、依然として不明である。さらに、これらの編集パターンが異なるAIベンダーや臨床専門分野間で有意に異なるかどうかも分かっていない。

方法論
本研究では、カリフォルニア大学ヘルスシステム（2023年後半）の98,311件のアンビエントAIドラフトおよび対応する臨床医による確定済みノートから得られた62,811のノートセクションを用いて、ペア分析を行った。データには、プライマリケアおよび32の専門診療設定における2つの商用ベンダー（ベンダーAおよびベンダーB）が含まれる。

• データ処理： 研究者は、文レベルでの類似度スコアを用いて、ドラフトと最終的なノートを対応させた。文は「等価（equal）」、「削除（drops）」、「挿入（inserts）」、または「置換（replacements）」に分類された。主要な分析は、ドラフトのテキストが臨床医によって直接編集された「置換スパン（replacement spans）」に焦点を当て、これにより、編集前後の対称的な比較単位を提供した。
• ヘッジング・レキシコン： 先行文献およびCoNLL-2010のリソースから、536個のユニークなヘッジング用語からなる精選されたレキシコンを作成した。3名の独立したレビューアーが、各用語に対して、確実性への方向的な影響（-1：確実性が高い、1：不確実性が高い、0：中立）を注釈付けした。検者間一致度は良好であった（Fleiss' $\kappa$ = 0.72）。
• NLPパイプライン： ヘッジング用語の出現とアサーションラベルの割り当てを検出するために、SciSpaCyとEntityRulerを用いたルールベースの臨床NLPパイプラインを開発した。
• 統計分析：
  • 有病率（Prevalence）： McNemarテストおよび片側ウィルコクソン符号付順位検定を用いて、編集前と編集後の置換スパンにおけるヘッジングの存在および頻度を比較した。
  • 方向性（Directionality）： 「置換ネットスコア（replace net score）」（加算スコアから減算スコアを引いたもの）を算出し、編集がテキストをより高い確実性または不透明性のどちらにシフトさせたかを決定した。単一標本ウィルコクソン符号付順位検定を用いて、ネットスコアがゼロから有意に逸脱しているかを評価した。
  • 層別化： 分析は、ベンダー別、およびプロバイダーのグルーピング（プライマリケア対専門診療）および個別の専門分野別に層別化され、カイ二乗検定、マン・ホイットニーのU検定、およびクラスカル・ウォリス検定を利用した。

主な貢献

1. 編集パターンの定量化： 本研究は、臨床医がAI生成ドラフトのヘッジング言語をどのように修正するかについて、新しいヘッジングの導入と既存のヘッジングの削除を区別した、初の詳細なペア分析を提供するものである。
2. 方向性指標： 編集の「方向性」を測定するための定量的フレームワークを導入し、臨床医による修正が、確実性を高めるのではなく、系統的に不確実性を高める方向にシフトしていることを示した。
3. 文脈的異質性： 本研究は、異なるAIベンダー間、そしてより顕著には、多様な臨床専門分野間で、ヘッジング修正パターンに有意な差異があることを特徴づけている。

結果

• ヘッジングの有病率： 臨床医は、ヘッジングのないテキストにヘッジングを導入する傾向が、ヘッジングのあるテキストからヘッジングを削除する傾向よりも有意に高かった。置換スパンにおいて、4,803セクションが「ヘッジングなし」から「ヘッジングあり」へと移行したのに対し、3,135セクションのみが「ヘッジングあり」から「ヘッジングなし」へと移行した（$P < 0.001$）。編集後のテキストは、編集前のテキストよりもヘッジングの出現数が有意に多かった。
• 方向性： 方向性を持つヘッジング編集を含むセクションにおいて、全体として不確実性が高まるという有意な傾向が見られた。平均置換ネットスコアは、方向性を持つ編集において正の値（0.23, $P < 0.001$）であった。具体的には、5.48%のセクションがより大きな不確実性へとシフトしたのに対し、4.01%がより大きな確実性へとシフトした。
• ベンダー間の違い： 両ベンダーとも不確実性を高める傾向を示したが、ベンダーB（平均ネットスコア 0.34）はベンダーA（0.20）よりも強いシフトを示した。編集後のヘッジングの有病率もベンダー間で有意に異なっていた（10.9% 対 10.2%）。
• 専門分野の違い： プライマリケア（PCP）と専門診療は同様の方向的傾向を示した。しかし、個別の専門分野を分析すると、顕著な異質性が現れた。例えば、皮膚科とリウマチ科は平均置換ネットスコアが最も高く（それぞれ0.49および0.38）、不確実性を高める強い傾向を示したが、内分泌科は負のネットスコア（-0.26）を示し、より高い確実性へのシフトを示した。

意義と主張
本論文は、臨床医によるアンビエントAIドラフトの編集は、単なる事実誤認の修正ではなく、不確実性の系統的な再調整であると主張している。これらの知見は、アンビエントAIのドラフトが十分なヘッジングを欠いていることが多く、臨床的推論およびリスク管理の実践の暫定的な性質に合わせるために、臨床医が能動的に限定詞を追加していることを示唆している。

著者らは、これらのパターンがクロスベンダー現象であることを示しており、現在のAIモデルが臨床的文脈に不確実性の言語を適切に根付かせていない可能性を示唆している。観察された専門分野間の異質性は、「ワンサイズ・フィッツ・オール（画一的）」なAIドキュメンテーションのアプローチが不十分である可能性を意味しており、診断の曖昧さや証拠の強さをより適切に表現するために、専門分野に応じたチューニングが必要となる可能性がある。本研究は、理解を深めることが、AI生成ノートの信頼性を向上させ、不必要な臨床医の修正負担を軽減するために不可欠であると結論付けている。

著者らが指摘する限界には、置換スパンへの焦点（削除/挿入テキストの分析の除外）、社会人口統計学的コントロールの欠如、およびケースミックスの違いを考慮するための多変量モデリングの不在が含まれる。