From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

子供が病院の救急外来を退院する際、家族には二つの難しいことを同時にこなさなければならない書類が渡されます。それは、次の医師に対して、何が起こりどのような治療が行われたかを正確な医学用語を用いて伝えることです。同時に、心配している親に対しては、平易な言葉で同じ出来事を説明し、子供を自宅でどのようにケアすべきか、また、どのような場合に病院に戻るべきかを理解させなければなりません。数十年にわたり、医師たちはこれらの要約を手書きするか、固定されたフォームに記入してきましたが、そのプロセスは時間がかかることがあり、重要な詳細が漏れたり、理解しにくい言葉が使われたりすることもありました。最近、大規模言語モデルとして知られる新しい種類のコンピュータプログラムが登場しました。これらのプログラムは、患者の診療記録を読み取り、数秒で退院要約の草案を作成することができます。こうしたツールによって、文書がより明確になり、作成も迅速になることが期待されています。しかし、決定的な疑問が残っています。もしコンピュータが最初の草案を書いたとしたら、家族がその紙を持ち帰る前に、医師は本当にコンピュータが犯した間違いを見つけ出しているのだろうか、という点です。

フランスのモンペリエにある病院で、研究者たちは、医師がこれらの新しいツールとどのようにやり取りしているかをリアルタイムで観察することで、この問いに答えようとしました。彼らは単に医師にコンピュータの成果物を気に入ったかどうかを聞いたのではなく、コンピュータが草案を生成した瞬間から、医師が最終的な書類に署名するまでの全プロセスを観察しました。研究チームは、小児救急部門から退院する153人の子供たちを対象としました。彼らはこれらの家族を2つのグループに分けました。一方のグループは、病院が従来使用していた固定のテンプレートから組み立てられた標準的な退院要約を受け取りました。もう一方のグループは、病院独自のセキュアなサーバー上で動作するコンピュータプログラムによって草案が作成され、その後、その子供を診察した医師自身によってレビューされ、署名された要約を受け取りました。研究者たちは、元の診療録、コンピュータによる最初の草案、そして家族に手渡された最終的な書類という、あらゆるバージョンの文書を保存しました。これにより、コンピュータが何を書き換え、医師が何を書き換え、どのようなエラーが紛れ込んだのかを正確に把握することができました。

結果は、コンピュータが言語を簡略化することには非常に長けていることを示していました。コンピュータによる支援を受けたグループの文書は、標準的な文書よりも一般的な言葉が多く使われ、専門的な用語が少なくなっていました。しかし、数日後に家族が実際に指示をどの程度理解していたかを調査したところ、両グループの間に差はありませんでした。文書がテンプレートによって書かれたものであれ、コンピュータによって書かれたものであれ、家族がフォローアップ計画や注意すべき兆候を記憶していた正確さは同程度でした。実際、両方のグループにおいて、ほぼ半数の家族がフォローアップ計画の詳細を誤って理解しており、これは問題が単に言葉の書き方にあるのではなく、退院時の忙しい瞬間における情報の伝え方にこそあることを示唆しています。

最も示唆に富む部分は、医師がコンピュータの草案をレビューする際の舞台裏で何が起きていたかという点でした。研究者たちは、コンピュータが間違いを犯していることを発見しましたが、医師たちは能動的かつ注意深い編集者でした。コンピュータが草案を作成したグループでは、医師はほぼすべてのケースでテキストを修正していました。彼らは、診療録に記載されていない情報をコンピュータが捏造した場合にそれを取り除き、コンピュータが医学的な略語を誤解した場合にはその誤りを修正しました。例えば、コンピュータは時折、短い医学コードを誤った正式名称へと展開してしまい、尿に関する症状の記述を全く別の医学的状態へと変えてしまうことがありました。医師たちは、これら特定の誤りのごく一部しか修正していませんでした。具体的には、22件の誤った略語展開のうち修正されたのはわずか6件であり、これは16件のミスが家族に渡された最終的な文書に残ったことを意味します。このことは、捏造された事実は奇妙に見えるため見つけやすい一方で、医学用語における微妙な誤りは、極めて正常に見えるため、注意深いレビューさえも通り抜けてしまう可能性があることを示唆しています。

決定的なことに、本研究では、医師に渡された最終文書におけるいかなるエラーも、危害を及ぼすほど深刻であるとは判断されませんでした。コンピュータは危険な医学的助言を捏造しておらず、医師は最も重大な問題を見逃しませんでした。しかし、研究者たちはまた、コンピュータが標準的なテンプレートとは異なる種類の情報を消失させていることも発見しました。標準的なテンプレートは、過去のアレルギーなどの特定の項目を予測可能な形で転記できないことがありました。一方、コンピュータは、誰が医学的意見を提供したかという特定の詳細を落としたり、診療録に記録されていた否定的な所見（異常なしという記録）を省略したりすることがありました。これらの欠落は最終的なテキストの中では必ずしも明白ではなく、医師は最終的な書類を元の診療録と直接照らし合わせない限り、何かが欠けていることに気づかない可能性があるという意味です。

本研究は、これらのコンピュータツールは医学文書を読みやすくする助けにはなるものの、それらが自動的に安全性や正確性を高めるわけではないと結論付けています。人間の医師は依然として不可欠ですが、その役割は「テキストを書くこと」から「それを注意深くチェックすること」へと変化しています。研究者たちは、医師が書類に署名したからといって、単に医師がすべての間違いを見つけたと仮定することはできないと主張しています。人間がいかにツールを監視しているかを真に測定するためには、単なる最終結果だけでなく、その中間ステップ、すなわち、コンピュータが何を書き、医師が何を見て、医師が何を修正し、何をそのままにしたのかを見る必要があります。これらのステップを測定できない限り、人間のレビューという安全網が、必要なすべてを捉えているかどうかを確信することはできません。この研究は、医学的な文書作成の未来が、より優れたコンピュータだけでなく、医師がコンピュータの生成した成果物を確認し修正するための、より優れた方法にかかっていることを示唆しています。