Hybrid Rule-Based and Machine Learning Classification of Military Working Dog Medical Problems Using SNOMED CT and the Veterinary Extension

技術要約：軍用作業犬の医学的問題における、ルールベースと機械学習のハイブリッド分類

問題提起
軍用作業犬（MWD）は米国国防総省（DoW）の作戦において極めて重要であるが、その健康監視は、既存の電子健康記録（EHR）システムである獣医サービス管理システム（VSSM）の構造によって阻害されている。VSSMのマスター問題リスト（MPL）フィールドには、構造化された国際標準術語（SNOMED CT）の選択肢と、非構造化されたフリーテキストが混在している。現在、システムにはこれらのエントリーを身体系や問題の種類別に自動的に分類する機能が欠けており、疫学的調査のために研究者が数千もの記録を手動で抽出・レビューすることを強いている。この手動によるボトルネックは、監視の規模と頻度を制限し、新たな健康上の脅威のタイムリーな特定や、集団レベルの健康監視を妨げている。獣医記録における標準化された診断コーディングの欠如は、研究およびプロセス改善における既知の障壁となっている。

手法
本研究では、MPLのエントリー（2018年1月1日から2025年12月31日までに記録されたもの）を標準的なSNOMED CT概念にマッピングし、それらを19のレベル1臨床カテゴリのいずれかに割り当てるための、自動化されたハイブリッド分類パイプラインを開発した。このパイプラインは、最も精密な手法から最も許容度の高い手法へとエントリーをルーティングする、逐次的な階層型マッチング戦略を通じて動作する。

1. データ前処理： エントリーに対して、ケース正規化、トークン化、ストップワード除去（否定語は保持）、略語展開（例：「OE」を「otitis externa（外耳炎）」へ展開）、およびレマタイゼーション（語形解析）を含むテキスト正規化を行った。
2. 階層型ルールベース・マッチング（ティア0–4）：
   • ティア0： アクティブなSNOMED概念に対して検証済みの、特定のMWD用語（例：予防接種）に対するハードコードされたマッピング。
   • ティア1： SNOMED CTのシノニム（類義語）に対する、ケース不問の完全一致。
   • ティア2： 正規化およびレマタイゼーションされたマッチング。これには、臨床的修飾語（部位の左右性、重症度）を削除して一致を探すサブティア（2c）が含まれる。
   • ティア3： ファジー文字列マッチング（RapidFuzzのトークンソート比率90以上）。
   • ティア4： 特定の概念が特定できなかった場合に、レベル1カテゴリを割り当てるための解剖学的キーワードマッチング。
   • 注記： ティア0–3は特定のSNOMED CT概念に解決するが、ティア4はカテゴリのみを割り当てる。
3. 未一致項目のための機械学習（ティア5）： すべてのルールベースのティアに失敗したエントリーは、保持された80/20分割の3,677語に対して評価された4つの競合手法を用いて分類された。
   • TF-IDF特徴量（単語および文字n-gram）を用いたロジスティック回帰。
   • SapBERT埋め込み（生物医学用トランスフォーマーベクトル）を用いたロジスティック回帰。
   • SapBERT埋め込みを用いた多層パーセプトロン（MLP）。
   • 汎用大規模言語モデル（Gemma 4:12b）によるフューショット・プロンプティング。
4. 概念の連結（目的3）： ティア4の用語（概念IDを伴わないキーワード一致）に対しては、コサイン類似度に基づき、高信頼度（≥0.85）およびレビュー対象（0.70–0.85）の閾値を設定して、候補となるSNOMED概念を検索するためにSapBERTを使用した。
5. バリデーション（妥当性確認）： 9名の獣医専門家によるブラインド・パネルが、384項目の層化ランダムサンプル（各ティア48項目）をレビューし、リファレンス標準とした。一致度は、Fleiss' κおよびモダル・コンセンサス（最頻値による合意）に対する精度を用いて測定された。

主な結果

• カバー率： パイプラインは、73,856件の記録（13,653一意の用語）に対し、**93.7%**の割合でレベル1臨床カテゴリを割り当てた。
  • **80.0%**の記録は、概念ベースのティア（ティア0–3）を通じて解決された。
  • **13.7%**は、解剖学的キーワードによって割り当てられた。
  • **6.1%**の記録は、どのティアにも一致せず、機械学習分類のためのティア5に割り当てられた。
  • 残りの0.1%（92件）は、IS-Aパスがレベル1ルートに到達せず、カテゴリが付与されなかった概念に一致した。
• 機械学習の性能： 保持された分割データにおいて、TF-IDFを用いたロジスティック回帰が最高のトップ1精度（80.0%）を達成し、SapBERT埋め込みを用いたMLP（76.4%）や、フューショットLLM（58.6%）を上回った。その結果、TF-IDFがティア5のデプロイ用分類器として選択された。
• 獣医拡張機能の貢献： SNOMED CT 獣医拡張機能は、一致した概念の22.8%（1,928一意の概念のうち439個）を提供し、概念識別子を持つ記録の21.7%を占めた。これは、国際版には相当するものがない、高頻度の犬特有の疾患（例：尾の傷、足底皮膚炎）にとって不可欠であった。
• 階層の深さ： 一致した項目は平均階層深度3.84であり、27.4%がリーフ概念（末端概念）に解決した。これは、ユーザー入力の特異性が中程度であることを示している。
• 専門家による検証： パイプラインは、データセット全体で専門家パネルのコンセンサスと**82.7%**の一致を示した。性能はティアによって異なり、デプロイされたティア5の分類器は、サンプリングされた未一致項目の項目に対して66.7%の一致を得た。専門家間の検者間信頼性は高かった（Fleiss' κ = 0.796）。

意義および主張
本論文は、このフレームワークがDoWの獣医部門における臨床インフォマティクスの能力ギャップを正常に埋めるものであると主張している。混合構造のMPLデータを自動分類することで、本システムは、以前は手動レビューの制約によって制限されていた集団レベルの健康監視を可能にする。

主な貢献は以下の通りである：

1. 獣医拡張機能の必要性の実証： 本研究は、作業犬の監視においてSNOMED CTの国際版だけでは不十分であり、犬特有の多くの一般的な病理を捉えるために獣医拡張機能が必要であることを、経験的な証拠をもって示している。
2. ハイブリッド・アーキテクチャの有効性： 結果は、短く半構造化された問題リストのエントリーに対しては、より単純な特徴表現（TF-IDF）と線形分類器の組み合わせが、複雑なディープラーニングモデル（MLP）やフューショットLLMよりも優れた性能を発揮することを示唆している。これは、入力データに高頻度かつ反復的なパターンが含まれる場合に特に顕著である。
3. スケーラブルな監視： 本システムは、トレンドモニタリング、拠点間比較、および他のSNOMEDベースの健康情報システムとの統合に適した、標準化された階層的出力を提供する。これにより、手動のデータ抽出の必要性が置き換えられる。

著者らは、機械学習の精度数値が絶対的な正解（グラウンドトゥルース）ではなく、ルールベースのパイプラインとの一致を反映していること、およびティア5の性能推定が小さなサンプルサイズに基づいていることを認め、限界事項に対して謙虚な姿勢を保っている。また、本システムは、用語のキュレーションの完全な代替ではなく、レビューのためのエントリーをルーティングするためのスクリーニング層として機能するのが最適であると述べている。これは、ユーザーの文書化慣行の多様性を考慮したものである。