Clinically Grounded AI-Scribing in Psychotherapy: Benchmarking LLMs Against Expert Documentation in the iCARE Framework

心理療法が行われる静かな部屋では、その営みは深く人間的なものです。それは、セラピストがクライエントの物語に耳を傾け、沈黙の重みに気づき、何年も前から続く恐怖の背景を理解することに依存しています。セラピストがこの仕事を効果的に行うためには、記録を残さなければなりません。これらのノートは単なる事務的な書類ではなく、目の前の危機から、その人を形作ってきた家族や習慣の長い歴史に至るまで、あらゆることを捉えた、ある人の内面世界の地図なのです。伝統的に、これらのノートを書くことは重い負担となってきました。臨床家の注意を患者から引き離し、コンピュータの画面へと向かわせてしまうからです。近年、人工知能がこの負担を軽減することを約束してきました。これらの「AIスクライブ（AI代筆者）」は、会話を聞いてそれを書き出すことができますが、メンタルヘルスの複雑な世界においては、現在のシステムの多くは力不足です。それらは簡潔で乾燥した要約を作成する傾向があり、セラピーセッションを定義づけるニュアンスや感情的な底流、そして極めて重要な安全に関する詳細を見落としてしまいます。課題は、単に言葉を書き起こすだけでなく、物語を理解できる機械を構築することでした。

インドとシンガポールの研究チームは、セラピーノートがいかに構造化されるべきか、そして機械がいかにそれを書くことを学ぶべきかを再考することで、この問題の解決に向けた大きな一歩を踏み出しました。彼らはまず、iCAREと呼ばれる新しい包括的なドキュメンテーション・フレームワークを作成することから始めました。多くの病院で使用されている、迅速な事務的チェックのために設計された簡略化された標準形式とは異なり、iCAREは臨床的な出会いの全容を捉えるように構築されています。それは、基本的な識別情報やクライエントの主訴から、自傷行為などの差し迫った危険に対するリスク評価、そして将来のセッションに向けた計画に至るまで、17の明確なセクションを持つ詳細な構造となっています。研究者たちは、AIシステムが、より短い要約へと凝縮される前に、まずこの豊かで完全な全体像を生成できる能力を持たなければならないと主張しました。このアイデアをテストするために、彼らはiHOPEという新しいデータセットを構築しました。彼らは公開コレクションから174のセラピーセッションの録音を取り出し、すべての言葉が聞き取れるようにオーディオをクリーニングした後、専門の精神科医や心理学者のチームに、新しいiCARE形式を用いて各セッションに対する完璧な「ゴールドスタンダード（黄金律）」となるノートを作成させました。これにより、あらゆる機械を測定できる基準となる、理想的な回答のセットが作成されました。

研究チームは、次に11種類の異なる大規模言語モデル（LLM）をテストにかけました。これらのモデルは、現代のAIチャットボットの背後にある強力なコンピュータプログラムであり、セラピーの録音を聞いてiCAREノートを作成するように指示されました。彼らは2つの方法でモデルをテストしました。第一に、手本となる例を与えずに録音を与える方法、第二に、完璧なノートの例を一つ見せてから残りの作成を依頼する方法です。結果は、異なる種類のAIの間に明確な隔たりがあることを明らかにしました。大手テクノロジー企業によって開発され、公衆による修正ができない「クローズドソース」のモデルは、公的なコミュニティによって構築された「オープンソース」のモデルよりも一貫して高いパフォーマンスを示しました。特定のモデルであるGPT-4o-miniは、機械の言葉が人間の専門家の言葉とどの程度一致しているかを測定する標準的なコンピュータテストにおいて、最高スコアを獲得しました。また、Gemini Proという別のモデルは、自殺リスクや物質乱用などの危機マーカーを特定することにおいて、特に強みを発揮しました。これらはセラピーにおける極めて重要な安全の詳細です。

しかし、研究者がコンピュータのスコアに頼るのではなく、人間の専門家にノートを判定させたとき、物語はさらに興味深いものとなりました。彼らは6人のメンタルヘルスの専門家を招き、どのAIが書いたかを知らされない状態で（ブラインドで）ノートを読んでもらい、「信頼性」「関連性」「正確性」「完全性」「明快さ」の5つの主要な特性に基づいて評価してもらいました。人間の専門家たちは、トップクラスのコンピュータモデルは優れているものの、依然として「時間の流れ」に苦慮していることを見出しました。機械は、過去のセッションで何が起きたのかと、次のセッションに向けて何が計画されているのかを正しく区別できないことがよくありました。これは、タイムラインを理解することを必要とする、セラピーの根本的な側面です。驚くべきことに、人間の専門家は、より強力な商用モデルよりも、Mistralと呼ばれるより小規模なオープンソースモデルのノートを好みました。実際、Mistralは、特定のカテゴリーにおいて人間の書いたノートよりもわずかに高いスコアを記録した唯一のシステムでした。この発見は、現在のAIの成功を測定する方法であるコンピュータアルゴリズムが、必ずしも人間の臨床家が実際に必要とするものと一致していないことを示唆しています。商用モデルは特定のフレーズを一致させることには優れていましたが、より小さなモデルの方が、専門家の目にはセッションの臨床的な本質をより効果的に捉えているように映ったのです。

この研究は、人工知能はセラピストを支援する準備はできているものの、セラピストに取って代わる準備はまだできていないと結論付けています。研究者たちは、最善の道は協力的（コラボレーティブ）なものであることを見出しました。つまり、AIが詳細なノートのドラフト作成という重労働を担い、セラピストがその記録をレビュー、洗練、そして最終決定するという方法です。このアプローチにより、臨床家はキーボードに向かうのではなく、患者に集中するための貴重な時間を確保できるようになります。チームは、自分たちの仕事は最終的な解決策ではなく、あくまで基礎であると強調しました。彼らは、自らの新しいフレームワーク、専門家のノートのデータセット、および評価方法を他の科学者が利用できるように公開しました。これにより、分野が継続的に改善されていくことが可能になります。究極の目標は、テクノロジーを用いて、癒しの中心にある人間同士のつながりを代替するのではなく、それをサポートすることで、メンタルヘルスケアへの膨大な需要と限られた数のセラピストとの間の溝を埋めることです。