Keyphrase Generative Representation of Youth Crisis Conversations Beyond Static Taxonomies

技術的概要：静的分類を超えた若者の危機的会話のキーフレーズ生成表現

問題提起

キッズヘルプフォン（KHP）などの若者支援サービスにおける危機対応者（CR）は、数千件の非構造化 SMS 会話を迅速に評価し、メンタルヘルスの懸念を特定しなければならない。現在、これらのサービスは、会話を定義済みのカテゴリにマッピングするために、固定ラベル分類（例：不安、自傷行為）に依存している。これらの静的分類は一貫性と監査可能性を提供する一方で、危機に瀕する若者が使用する、変化する、文化的に根ざした、文脈固有の言語を捉えることができない。複雑な物語を限られたラベルのセットに圧縮することは、重要な文脈的シグナルを不可視化し、エスカレーションレビュー、公平性の監視、新たなメンタルヘルス動向の特定を妨げるリスクがある。さらに、社会文化的文脈が変化するにつれて、網羅的に更新されたラベルシステムを維持することは困難である。大規模言語モデル（LLM）は、微妙なテーマを浮き彫りにする生成能力を提供するが、制約のない出力は、幻覚、可変的な具体性、現実世界の臨床展開に必要な透明性の欠如に関する懸念を提起する。

方法論

本研究は、2018 年から 2023 年にかけて KHP が収集した 703,975 件の匿名化された若者の危機的会話のデータセットを利用した。研究は、構造化分類と制約付き生成表現を組み合わせたハイブリッドフレームワークを採用した。

1. 分類の拡張: 従来の 19 ラベルの課題分類を、4 つのドメイン（健康と福祉、安全と暴力、アイデンティティと関係性、その他）を網羅する 39 ラベルの階層スキーマに拡張した。この拡張は、臨床専門家と現場の CR による反復的な協議を通じて開発された。
2. マルチラベル分類: 拡張された 39 ラベル分類からのラベル割り当てに、Llama 3 8B モデルのゼロショット構成を使用した。モデルの予測は、3 つの集約方式（「Any」：少なくとも 1 人の注釈者が選択、「Top-2 多数決」、「Top-2 合意」）を用いて、専門家による注釈と比較評価された。
3. キーフレーズ生成表現（KGR）: 静的ラベルの限界に対処するため、著者は KGR（制約付き LLM ベースのフレームワーク）を導入した。このシステムは、診断ラベルを生成することなく、主要な課題、浮上するテーマ、アイデンティティに関連する経験を記述する、最大 5 つの簡潔で会話固有のキーフレーズを Llama 3 に生成させるよう指示する。
   • 制約: 生成は、若者の口語に合致する簡潔で非診断的なフレーズに制限される。
   • 評価: KGR の出力は 2 つの方法で評価された。
     • 専門家評価: 129 件の会話を 3 人の訓練された CR が注釈し（合計 387 件の注釈）、正確性、実生活経験との関連性、微妙な詳細を捉える能力を評価した。
     • 自動評価: 生成されたキーフレーズを、完全一致、サブラベル一致、および埋め込みベースの類似性（all-MiniLM-L6-v2 を使用）を用いて、従来の 19 ラベル分類にマッピングし、構造化カテゴリとの整合性を測定した。
4. 運用ワークフローのテスト: 本研究は、特定のトピック（いじめとボディイメージ）のキーワード検索を使用した手動アナリストワークフローに対して、KGR ベースのトピック検索ワークフローを比較した。KGR 検索は、ターゲットトピックと生成されたキーフレーズ間のコサイン類似性を利用し、Chain-of-Thought（CoT）プロンプトを補完して、verbatim（逐語的）な支持抜粋を抽出した。

主要な結果

• 分類の拡張: 拡張された 39 ラベル分類は、高い専門家合意の信頼性を達成した。「Top-2 合意」集約方式において、モデルは 0.96 の精度と 0.82 の AUROC を達成し、他の集約方式を上回った。
• KGR の精度と有用性: 専門家レビューによると、生成されたキーフレーズの 81% が会話内容を正確に反映していた。さらに、74% の専門家がキーフレーズが明確性を向上させたと同意し、71% が会話の理解に有用であると見なした。
• 浮上するテーマ: KGR は、固定分類に存在しないアイデンティティ関連および状況的テーマを成功裡に浮き彫りにした。これには、移民問題、介護者の負担、先住民コミュニティの文脈、寄宿学校生存者、マイクロアグレッションが含まれる。
• トピック検索のパフォーマンス: 運用テストにおいて、KGR ベースの検索は手動アナリストワークフローを大幅に上回った。いじめ関連の会話において、KGR は 70% の精度を達成し、手動検索の 25% を上回った（45 ポイントの改善）。ボディイメージのトピックでは、KGR は 73% の精度を達成し、アナリストの 53% を上回った。この改善は、キーワードベースの検索で一般的に見られる偽陽性を回避しつつ 100% のリコールを維持した、より高い精度によって引き起こされた。
• カテゴリのばらつき: 合意度は、高重要性カテゴリ（例：人種差別、障害者差別、自殺）で最も高く、サービス状態や相互作用のカテゴリ（例：いたずら、サービステスト）では低かった。これは、生成表現が明示的な意味的危機シグナルに対して最も効果的であることを示唆している。

主要な貢献

1. データセットと分類の拡張: 著者は 70 万件以上の会話からなる国規模のデータセットを評価し、課題分類を 19 ラベルから 39 ラベルに拡張することで、トピックのカバレッジと構造化された課題の特定が向上し、若者のメンタルヘルスおよびアイデンティティ関連の懸念のより広範な表現が可能になることを実証した。
2. キーフレーズ生成表現（KGR）: 本研究は、静的ラベルを簡潔で非診断的なキーフレーズで補強する制約付き LLM フレームワークである KGR を導入した。このアプローチは、会話内容を正確に反映しながら、固定ラベルが見逃す新たな文脈的およびアイデンティティ関連のパターンを明らかにすることが示された。
3. ハイブリッドシステムの運用証拠: 本論文は、KGR が移民の課題や介護者の負担などの浮上する、文化的に根ざした懸念を浮き彫りにし、精度において手動アナリストプロセスを大幅に上回るトピック検索ワークフローを支援する証拠を提供する。

意義と主張

本論文は、KGR が静的分類を超えて危機対応を拡張する、解釈可能なハイブリッド生成表現への転換を意味すると主張している。著者は、ラベル空間内での高い分類精度は価値があるが、若者の苦悩の多様性と進化を捉えるためのラベル空間そのものの適切さを保証するものではないと主張している。

この研究の意義は、適切に制約され確立された分類フレームワーク内にアンカーされた生成手法が、補完的な層として機能し得ることを実証している点にある。これらの層は、確立された分類システムを置き換えることなく事後の会話表現を豊かにし、運用の継続性と監査可能性を維持しつつ、それまで潜在化していた文脈的シグナルを浮き彫りにする。本研究は、このハイブリッドアプローチが、信頼性と透明性の必要性と、微妙で文化的に根ざした苦痛のパターンを捉える能力とのバランスを取りながら、生成 AI をメンタルヘルス分析に統合するための実用的な道筋を提供すると論じている。