Generated Context versus Governed State: Functional Conditions for Accountable Longitudinal Clinical Reasoning

何十年もの間、私たちの健康に関するデジタル記録は、単なるデジタルの書類整理棚に過ぎませんでした。医師が患者の血圧についてメモを書いたり、看護師が投薬の変更を記録したりするとき、その情報は、引き出しの中の手紙のように、一つの文書として保存されます。患者の現在の状態を理解するためには、人間がこれらの手紙を読み通し、物語を繋ぎ合わせ、全体像を頭の中に保持しなければなりません。これは常に臨床医の仕事でした。散在する書類のコレクションから、ある人物の健康という真実を再構成することです。近年、大規模言語モデルとして知られる強力なコンピュータシステムが登場し、驚異的な速度と流暢さでこれらの文書を読み取ることができるようになりました。それらは患者の履歴を数秒で要約し、かつては人間が調査に数時間を要した質問に答えることができます。しかし、これらのシステムはテキストを読むことには長けていますが、ある瞬間における患者に関する「実際に真実であること」を、別途、整理された形で記録するという性質を本来備えているわけではありません。それらは、患者の履歴を、追跡すべき生きた状態としてではなく、処理されるべき言葉の流れとして扱っているのです。

この「流暢に読むこと」と「正確に知ること」の間のギャップこそが、MyndwareMedの研究者による新しい論文が取り組んでいる中心的な問題です。著者らは、患者の病歴を単なるテキストの集合体として扱うことは、長期的なケアにおいて信頼される人工知能を構築しようとする際に根本的な欠陥であると主張しています。彼らは、臨床的な推論とは読解力テストではなく、変化する現実を追跡する問題であると提案しています。ロボットが部屋を移動する際に、壁やドアの位置を示すマップを絶えず更新しなければならないのと同様に、医療システムは、患者の状態に関する継続的で統治された記録を維持しなければなりません。研究者たちは、情報の扱いにおける二つの非常に異なる方法を区別しています。一つ目は「生成されたコンテキスト（generated context）」であり、コンピュータが単一の質問に対して関連する文書を集め、回答を出した後にそれらを忘れてしまうものです。二つ目は「統治された状態（governed state）」であり、システムが、観察されたものと推論されたものを分離する厳格なルールによってのみ更新される、永続的で、バージョン管理され、監査可能な、自身が真実であると信じている記録を維持するものです。

この論文は、新しいコンピュータモデルが読書に劣っていると主張しているわけではありません。実際、それらはテキスト内のパターンを見つけることにおいて、しばしば人間よりも優れています。問題は、記録を読むことと、患者を知ることは同じではないということです。研究者たちは、現在のシステムが、書かれたメモを医学的事実と混同したり、文書の欠落を疾患の欠落と混同したりすることがよくあることを示しています。例えば、ある患者が10年前に腎臓の問題を抱えていたが、ここ1年間は何の検査も行われていない場合、標準的なシステムは、直近のメモに異常がないと書かれているため、患者の腎臓は良好であると自信を持って述べてしまうかもしれません。しかし、統治された状態を持つシステムであれば、最後の測定値が古すぎることを認識し、現在のステータスは「不明」であると判断するでしょう。それは、自信に満ちた推測で埋めるのではなく、情報の空白を明示的にフラグ立てするのです。この区別は極めて重要です。なぜなら、医療においては、「これが真実であると分かっている」ことと、「これについての証拠が見当たらない」ことの違いが、治療が安全か危険かを決定づける可能性があるからです。

これを解決するために、著者らは、決して混同してはならない5つの明確なオブジェクトへと、医療的推論の複雑なプロセスを分解しています。第一に、患者の「真の状態（true state）」であり、これは身体の実際の物理的状態を指します。どのシステムもこれを直接所有することはできず、推定することしかできません。第二に、「観察（observations）」であり、これはケアチームによる具体的な測定値やメモです。第三に、「証拠（evidence）」であり、これはシステムに取り込まれた生のデータであり、それがいつ書かれ、いつ受信され、誰が書いたのかという記録を伴います。第四に、「信念（belief）」であり、これはこれまでに見たすべての証拠に基づいた、患者の状態に関するシステムの現在の最善の推測です。最後に、「シミュレーション（simulation）」であり、これは「もし〜だったら」という問い、例えば「もし患者が別の薬を服用したらどうなるか」といった問いをテストするために使用される仮説的なシナリオです。論文は、ほとんどの現在の人工知能システムがこれら5つの別々の要素を一つに崩壊させ、蓄積されたメモをあたかも現在の真実であるかのように扱っていると主張しています。これが、古い情報を新しいものとして扱ったり、推測を事実と間違えたりするエラーにつながります。

研究者たちは、これらのシステムがどのように構築されるべきかについての新しい基準を提案しており、それはシステムが患者の状態をどれほどよく統治できているかを測定する階層的なフレームワークとして構成されています。最も低いレベルでは、システムは単にテキストを保存するだけかもしれません。より高いレベルでは、そのテキストを明確なソースとタイムスタンプを持つ構造化された事実へと整理し始めます。最も高度なレベルでは、システムは生の証拠とは異なる独立した「信念」オブジェクトを維持する必要があります。この信念オブジェクトは、測定値が欠落していることや、二人の異なる医師が相反する報告をしていることなど、不確実性を示すことができなければなりません。決定的なのは、このシステムが自身の履歴を再生できることです。もし医師が「3ヶ月前、この患者の心臓の状態についてあなたは何と信じていましたか？」と尋れた場合、システムは、今日の証拠ではなく、当時の利用可能な証拠に基づいて、その時点での知識の正確な状態を再構成できなければなりません。このように、時間の経過とともに自身の理解がどのように変化したかを振り返ることができる能力こそが、著者らが「アカウンタビリティ（説明責任/会計責任）」と呼ぶものです。

また、この論文は、欠落した情報を扱うための特定の方法を導入しています。標準的なシステムでは、記録にアレルギーの記載がない場合、システムは患者にアレルギーがないと仮定することがあります。統治されたシステムでは、情報の不在は特定の種類のデータポイントとして扱われます。システムは、「アレルギーの記載なし」（質問自体が行われなかった）、「患者がアレルギーなしと報告」（報告された否定）、「アレルギー検査陰性」（観察された否定）を区別することを学びます。これらはそれぞれ異なる確信度を持ち、異なる臨床的対応を必要とします。これらの不在を正しく類型化することで、システムは「沈黙は安全を意味する」という危険な習慣を回避します。著者らは、6年間にわたる腎臓疾患を持つ患者の詳細な例を用いてこれを実証しています。直近のメモのみを見る標準的なシステムは、リスクのある医療処置を推奨するかもしれません。一方、測定のタイムラインとそれらの間の空白を追跡している統治されたシステムは、患者の現在の腎機能は不明であることを正しく特定し、処置を進める前に新しい検査を推奨するでしょう。

この研究は、完成した製品ではなく、概念的なブループリント（設計図）として提示されています。著者らは、この新しいアーキテクチャが実世界の試行において、実際に優れた患者のアウトカムをもたらすことをまだ証明していないことを明確にしています。代わりに、彼らはそのようなシステムが存在するための必要な条件を定義し、将来のシステムがそれらの条件を満たしているかどうかを監査する方法を提供しました。彼らは、現在の焦点が言語モデルをより賢く、より速くすることにあるのは、的を外していると主張しています。真の課題は、読者の知能にあるのではなく、それが読む「状態」の統治にあります。人工知能が病院の設定において真に責任を持てるようになるためには、単にテキストを生成することを超え、自身が何を知っており、何を分かっていないのかという、永続的で、バージョン管理され、監査可能な記録を維持し始めなければならないと彼らは示唆しています。論文は、証拠を追跡するための基本的なインフラストラクチャの構築から始まり、患者が時間の経過とともにどのように変化するかという完全なモデルへと向かう、これらのシステムを構築するための研究プログラムを概説して締めくくられています。目標は、「説明責任のあるAI」という漠然とした約束を、チェック可能で、テスト可能で、信頼できる、具体的なエンジニアリング要件へと変えることです。