技術概要：MEDIQA-SYNUR 2026 における MasonNLP

問題定義

本論文は、看護師と患者の会話トランスクリプトを、構造化されスキーマに準拠した臨床観察に変換するという課題に取り組んでいる。臨床文書化はケアの継続性にとって不可欠であるが、医療従事者に大きな負担を強いる。彼らは電子カルテ（EHR）のタスクに多大な時間を費やし、直接的な患者ケアに充てる時間が減少している。具体的なタスクである MEDIQA-SYNUR は、システムに対してトランスクリプトから臨床的に重要な観察事項を抽出し、193 個の観察概念からなる事前定義されたスキーマに正規化することを要求する。このスキーマには、厳格な値タイプ制約（数値、文字列、単一選択、複数選択）と、カテゴリ値に対する列挙された妥当性要件が含まれる。難しさは、大きく異質な出力空間にあること、および厳格なスキーマ条件下で大型言語モデル（LLM）に頻発する失敗モードである、概念名の幻覚（ハルシネーション）やタイプ制約の違反をモデルが回避する必要がある点にある。

手法

著者は、検索された例とスキーマ制約の両方に条件付けられた LLM の出力を生成するためのモジュール型、検索拡張生成（RAG）パイプラインを提案する。システムは以下の構成要素からなる：

1. 検索コーパスと知識ベース:

   • 訓練セットが唯一の検索コーパスとして機能する。
   • 各訓練インスタンスは、元のトランスクリプトと、ゴールドラベルの概念 ID をスキーマ名にマッピングして導出された「概念名サマリー」という 2 つのテキストビューで表現される。
   • 埋め込みは、Llama-4 バックボーンに対して Sentence-Transformers all-MiniLM-L6-v2 を、GPT-5.2 バックボーンに対して OpenAI text-embedding-3-large を用いて生成される。

2. 例の検索（RAG）:

   • トランスクリプトの埋め込みに対するコサイン類似度によって候補プールが検索される。
   • プールは、トランスクリプトの類似度（$w_t=0.70$）、概念名サマリーの類似度（$w_c=0.25$）、Jaccard 類似度による語彙的重なり（$w_l=0.05$）を組み合わせた重み付きスコアで再ランク付けされる。
   • トップ-$k$ の例（$k \in \{3, 5, 10, 20, 30, 50\}$ を変数とする）は、例のトランスクリプトとそのゴールドラベルの JSON 出力をペアリングし、ファウショットデモンストレーションとしてプロンプトに挿入される。

3. スキーマ制約:
   本研究は、スキーマ $S$ に基づいて LLM を条件付けるための 2 つのプロンプト戦略を比較する：

   • フルスキーマプロンプト: モデルは、識別子、名前、値タイプ、許容されるカテゴリ値を含む 193 個の概念の完全なリストを受け取る。
   • プルーニングされた候補スキーマプロンプト: 各インスタンスの候補セット $C(x)$ は、トランスクリプトとの語彙的一致、概念名との意味的類似度、検索拡張（検索された例に見られる概念の追加）に基づいて概念をスコアリングすることで構築される。これにより、出力空間は関連する概念のコンパクトな部分集合に制限される。

4. 推論と後処理:

   • LLM には、(id, v) のペアの JSON リストのみを出力するよう指示される。
   • 決定論的拡張: 名前やタイプの幻覚を防ぐため、システムは出力を後処理し、予測された各 id に対してスキーマから正規の name と value_type を参照する。
   • スキーマ検証: 予測はスキーマに対して検証される。未知の ID は破棄され、値は正規化される（例：数値文字列を浮動小数点数に変換、カテゴリタイプに対して列挙リストを強制）。

5. 第 2 段階の監査:
   監査用 LLM が元のトランスクリプト、スキーマ、第 1 段階の予測をレビューする改良段階である。サポートされていない項目の削除、スキーマ準拠の問題の修正、明確にサポートされている欠落観察事項の追加のみが指示される。

このパイプラインは、2 つの LLM バックボーンを用いて評価された。Llama-4-Scout-17B-16E-Instruct（オープンウェイト）と GPT-5.2（クローズドウェイト）である。

主要な結果

論文の表 2 に要約された実験は、以下の性能指標（F1 スコア）をもたらした：

• 最良の設定: 最高性能は、GPT-5.2 を用い、フルスキーマプロンプト、RAG（$k=30$ の例を使用）、および第 2 段階の監査を組み合わせた場合に達成され、F1 スコア 80.36% となった。
• RAG の影響: 検索拡張は、偽陰性を減少させ、期待される JSON 構造と値の正規化を強化することにより、両方のモデルおよびスキーマ構成において一貫して性能を向上させた。
• スキーマの相互作用:
  • Llama-4（オープンウェイト）: プルーニングされた候補スキーマで最もよく機能した（RAG 使用時 F1 73.20%）。出力空間を縮小することで、小規模モデルが制約に準拠し、関連する概念に集中するのに役立った。
  • GPT-5.2（クローズドウェイト）: フルスキーマで最もよく機能した（RAG 使用時 F1 80.27%）。大規模モデルは、関連する概念を曖昧さなくするために完全な文脈の恩恵を受けた。一方、プルーニングは精度の低下（過抽出を促す「チェックリスト的なバイアス」）をもたらした。
• 第 2 段階の監査: 残存するスキーマ準拠および正規化エラーの修正により、主に抽出カバレッジを大幅に変更することなく、わずかな追加の利益（例：GPT-5.2 で +0.09 F1）を提供した。

エラー分析

エラー分析（表 3 および 4）は、ほとんどのエラーがニアミス的な値の不一致ではなく、以下のものであることを明らかにしている：

• 偽陽性（608 インスタンス）: 81.9% は偽の概念予測（ゴールドラベルに含まれていない ID）であった。一般的に過剰に予測された概念には、「二次診断」や「患者識別」が含まれており、これらは臨床的に妥当であったが、ゴールドスタンダードではめったに注釈付けられていなかった。
• 偽陰性（485 インスタンス）: 78.8% は概念の完全な見落としであった。
• 体系的な問題: エラーの相当部分は、概念 ID の先頭ゼロ（例：「03」対「3」）やカテゴリトークンのエンコーディングの違い（例：温度単位）などの表現レベルの不一致に起因していた。これらの問題は、異質なスキーマにおける厳密な文字列一致の脆さを浮き彫りにしている。

意義と貢献

本論文は、臨床情報抽出（IE）の分野に対して 3 つの主要な貢献を主張している：

1. モデルを考慮したスキーマ制約: 本研究は、LLM の出力を制約するための最適戦略は普遍的ではなく、モデルの規模とアーキテクチャに依存することを示している。プルーニングされた候補スキーマは、決定空間を縮小するために小規模なオープンウェイトモデルに有益であるのに対し、大規模なクローズドウェイトモデルは、推論能力を活用するためにフルスキーマの文脈から恩恵を受ける。
2. RAG とスキーマの相互作用: この研究は、検索拡張生成（RAG）がスキーマ制約付き抽出を一貫して改善することを体系的に証明しているが、その有効性はモデルにスキーマがどのように提示されるかによって調整されることを示している。
3. 改良対中核コンポーネント: 著者は、第 2 段階の監査が残存する正規化エラーを修正することでわずかな改善をもたらすが、RAG とスキーマ制約の中核メカニズムを代替するものではないことを示している。これは最終的な改良段階として最もよく活用される。

全体として、これらの知見は、効果的なスキーマ制約付き観察抽出には、基盤となる LLM の特定の能力に合わせて検索とスキーマ制約アプローチを共同で選択する戦略が必要であることを示唆している。