Creating A Gold Standard Annotation Guideline for Electronic Health Records
本論文は、てんかんおよび併存疾患の検出に向けたNLPシステムの開発を支援するために、1,500件のてんかん電子健康記録から導出された、0.769という実質的なアノテーター間一致度を達成したゴールドスタンダードのアノテーション済みデータセットおよび付随するガイドラインを提示する。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
病院の静かな喧騒の中、モニターの電子音と紙のカルテが擦れる音の間で、人間の経験という膨大なライブラリが書き込まれている。何十年もの間、医師たちは電子健康記録の中に患者の物語を記録し、症状、治療、そして病と共に生きてきた人生の複雑な歴史に関する記述でデジタルファイルを埋めてきた。これらの記録は情報の宝庫であるが、それらはしばしば乱雑で、構造化されておらず、極めて個人的な言語で書かれている。コンピュータは数字を処理することには長けているが、歴史的に、人間である医師が持つようなニュア Nuance（ニュアンス）を持ってこれらの自由記述のノートを読み取ることには苦慮してきた。ここで、自然言語処理として知られる分野が登場し、人間の言葉と機械の理解との間の架け橋となる。その目的は、コンピュータに医学的なノートを読ませ、段落の中に隠された重要な事実を抽出し、その知識を用いて何百万人もの人々のケアを向上させることである。しかし、コンピュータが医師のノートの読み方を学ぶためには、まず、何が重要であるかを正確に示すことができる人間によって教えられる必要がある。
キングス・カレッジ・ロンドンとスウェンシー大学の研究チームは、てんかんを持つ人々の医療記録をコンピュータに読ませる方法を教えるための、高品質で新しいガイドを作成することにより、この取り組みにおいて大きな一歩を踏み出した。てんかんは繰り返される発作を特徴とする一般的な神経疾患であり、多くの人々は薬物療法によってうまく管理できているが、かなりの割合の人がそうではない。なぜ一部の患者が治療に反応しないのかを理解するために、医師は、服用している特定の薬、発作の頻度、そして患者の生活に影響を与える多くのその他の要因を含む、疾患の詳細な全履歴を見る必要がある。これらの詳細は、数千件の電子健康記録の中に散らばっており、しばに自由記述の説明の中に埋もれている。研究者たちは、「ゴールドスタンダード」データセット、すなわち、専門家によって注意深く読み取られ、ラベル付けされ、ラベル付けの方法に関する厳格な一連のルールを伴う記録のコレクションを作成することを目指した。このリソースは、人工知能システムがこれらの重要な詳細を自動的に見つけ出し、テキストの山を構造化された利用可能なデータへと変えるための訓練を支援するように設計されている。
このリソースを構築するために、チームはロンドンのガイーズ・アンド・セント・トーマス・トラストにあるてんかんクリニックから1,500件の電子健康記録を集めた。これらの文書はランダムに選ばれたのではなく、年齢、異なる種類の薬剤、および異なる発作の頻度を網羅するように、幅広い患者層を代表するように慎重に選定された。記録自体は、患者の生年月日のような構造化されたデータと、医師が観察事項、治療計画、および患者の対処状況に関するメモを書き込む非構造化テキストの混合物である。その後、研究者たちは、これらの文書を読み取り、ラベル付けするための8人のチームを編成した。このチームは、5人の臨床医（医師）と、てんかんを専門とする3人のデータサイエンティストの混合チームであった。彼らは、テキスト内の特定の情報をハイライトし、それを患者が持つてんかんの種類、服用している薬、用量、およびその他の健康状態などのカテゴリーに割り当てることができる専用のソフトウェアツールを使用した。
プロセスは、可能な限り明確かつ一貫性のあるものとなるよう設計された。チームは、テキストをどのように解釈するかを正確に説明する詳細なガイドラインを作成した。例えば、医師が患者が「おそらく」発作を起こしていると書いた場合、ガイドラインはアノテーター（注釈者）に対して、その確信度をどのように評価すべきかを指示した。また、チームは、患者が時間の異なるタイミングで異なる用量の薬を服用している場合など、複雑な状況をどのように扱うかを決定しなければならなかった。ガイドラインがどの程度機能するかをテストするために、すべての文書は2人の異なる人物、すなわち1人の臨床医と1人のデータサイエンティストによって読み取られ、ラベル付けされた。このダブルチェックのプロセスにより、研究者は2人の読み手がどの程度一致するかを測定することができた。もしガイドラインが明確でタスクが単純であれば、2人の読み手は同じ情報を同じ方法でラベル付けする。もし意見が食い違えば、それはガイドラインがより明確である必要があるか、あるいはテキストの情報が曖昧すぎることを示唆していた。
この取り組みの結果は、チームが信頼できるシステムを概ね構築することに成功したことを示した。研究者が各文書における2人の読み手の作業を比較したところ、全体として高い一致度が見られた。最も一貫していたラベルは、患者が服用している抗てんかん薬の名前や、現在発作がないかどうかといった、最も単純な事実に関するものであった。これらの詳細は、ノートの明確なリスト形式のセクションに現れることが多く、医師とデータサイエンティストの両方が特定し、合意しやすいものであった。しかし、研究者たちは、記述がより主観的になったり複雑になったりすると、一致度が低下することも発見した。例えば、診断の確信度や出来事の正確なタイミングについて議論する場合、2人の読み手の意見が分かれることがあった。一部の文書ブロックでは一致度が低くなっており、これは特定のノートが他の部分よりも解釈が難しいことを示唆していた。研究者たちは、これは文書自体が異なっているからではなく、おそらく人間の読み手が、特に曖昧な表現や複数の用量を扱う際に、ルールをあらゆるケースで完璧に適用することに困難を感じたためであると指摘した。
これらの課題はあるものの、全体的な一致度はコンピュータシステムを訓練するのに十分有用なレベルであった。チームは、彼らのガイドラインが概して再現可能であり、結果として得られたデータセットが将来のための貴重なリソースであると結論付けた。彼らは、情報の一致の難しさは、その情報の希少性に依存しないことも発見した。つまり、一般的な事実であっても、曖昧に書かれていれば一致するのが難しい場合があるということである。この研究は、人工知能が医学的なノートを読む技術を真に習得するためには、将来のガイドラインが、不確実性の扱い方や、時間と確率について推論する方法を教えることに、より一層の重点を置く必要があることを示唆している。チームがより多くの記録を注釈し、ルールを洗練させていくにつれ、この成長し続けるラベル付けされたデータのライブラリは、よりスマートなツールの構築のための基礎となるだろう。これらのツールは、最終的には医師が数千人の患者の履歴を数秒で分析することを助け、薬物抵抗性てんかんに苦しむ人々へのより良い治療につながるパターンを明らかにすることができるだろう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。