Resp-Agent: 多モーダル呼吸音生成と疾患診断のためのエージェントベースシステム

技術的サマリー（日本語）

本論文は、ICLR 2026 にて発表された「Resp-Agent」に関する研究です。これは、呼吸音の自動診断と高忠実度な合成を統合した自律的なマルチモーダルエージェントシステムを提案するものです。既存の深層学習アプローチが抱える「情報の欠落」と「データ不足」という二大課題を解決するため、診断（Analysis）と生成（Synthesis）を密接に連携させた閉ループ構造を採用しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

呼吸音の深層学習に基づく聴診自動化は、以下の2つの根本的な課題に直面しています。

1. 単一モーダル表現のボトルネックと情報損失:
   • 従来の音声モデルは、信号をスペクトログラムに変換して画像処理用 CNN に投入する傾向があります。この際、位相情報が失われ、微細な時間構造（特に「クリスル」や「ラッパ音」などの一過性の音響イベント）がぼやけてしまい、臨床的文脈が欠落します。
   • 一方、テキストモデルは電子カルテ（EHR）の文脈を捉えますが、客観的な音響証拠が不足しており、類似の病歴を持つが聴診パターンが異なる疾患の識別が困難です。
2. 大規模でバランスの取れたマルチモーダルデータの不足:
   • 既存の呼吸音データセットは規模が小さく、特定の疾患に偏っており、体系的なキュレーションが不足しています。
   • 疾患の分類においてクラス不均衡（長尾分布）が深刻であり、稀な疾患の診断精度が低くなっています。
3. 分析と生成の分断:
   • 現在の研究は診断タスクに偏っており、生成モデルの活用（データ拡張や教育用シミュレーション）は限定的です。診断の弱点を特定し、それに基づいて生成を行うという「分析↔生成」の協調設計を行うフレームワークは存在しませんでした。

2. 提案手法 (Methodology)

Resp-Agent は、中央制御型エージェント「Thinker-A2CA」によって調整される、診断と生成を統合した閉ループシステムです。

A. データセット: Resp-229k

• 概要: 5 つの公開データセット（UK COVID-19, ICBHI, SPRSound, COUGHVID, KAUH）から集約された、229,101 件の高品質な呼吸音クリップを含む大規模ベンチマークです。
• 特徴: 各サンプルには、LLM（DeepSeek-R1-Distill-Qwen-7B）を用いて構造化されたメタデータから生成・要約された「臨床ナラティブ（EHR 要約）」がペアリングされています。
• 評価プロトコル: 厳格な「ソース分離（Source-Disjoint）」分割を採用し、訓練データとテストデータで装置や施設が異なる条件下での汎化性能を評価します。

B. 中央制御エージェント: Thinker-A2CA

• 役割: 診断モデルの弱点（エラープロファイル）を分析し、どの疾患・ドメインに対して合成データを生成すべきかを計画する「アクティブ・アドバーサリアル・カリキュラム・エージェント」です。
• 機能: 診断の失敗モードに基づいて、生成エージェントに特定の条件（稀な疾患や困難なドメイン）での合成を指示し、データ拡張を「受動的」なものから「能動的・自己修正型」のトレーニングカリキュラムへと転換します。

C. 生成エージェント (Generator): Resp-MLLM

• 目的: 疾患のセマンティクス（何を作るか）と音響スタイル（どのように聞こえるか）を分離・制御可能な高忠実度呼吸音の生成。
• アーキテクチャ:
  1. ユニット生成 (Stage 1): 軽量な LLM（Qwen3-0.6B）を基盤とし、BEATs 特徴量から抽出したスタイル埋め込みを「スタイル・プレフィックス」として注入（Modality Injection）します。これにより、疾患ラベルと参照音声を条件とした離散音響ユニットを予測します。
  2. 波形再構成 (Stage 2): 予測されたユニットを、条件付きフローマッチング（Conditional Flow Matching, CFM）とニューラルボコーダ（Vocos）を用いて高忠実度の波形に変換します。
• 利点: 位相を考慮した安定した一過性イベントの再構成と、臨床的なリアリズム（機器の音や音色の再現）を実現します。

D. 診断エージェント (Diagnoser): Modality Weaving

• 目的: 臨床ナラティブと音声トークンを融合し、高精度な疾患分類を行う。
• アーキテクチャ:
  • モダリティ・ウィービング: 従来の後融合（Late Fusion）ではなく、入力レベルでテキストトークンと音声トークンを交互に配置（Weaving）し、単一のシーケンスとして処理します。
  • 戦略的グローバルアテンション: Longformer をベースに、[CLS] トークン、EHR 文脈、および音声ストリーム上の「アンカー（Anchor）」にグローバルアテンションを割り当てます。
  • 音声アンカー: 約 80ms 間隔で配置されたアンカーにより、テキストの症状（例：「喘鳴」）が遠く離れた時間的な一過性音響イベントを直接クエリ可能にします。これにより、計算コストを二次関数的に増大させずに、ミリ秒単位の微細なイベントを捉えることが可能になります。

3. 主要な貢献 (Key Contributions)

1. Resp-229k ベンチマーク: 229k 件の音声と LLM 要約された臨床ナラティブをペアリングした、大規模かつクロスドメインの評価基準の確立。
2. 制御可能な合成 (Controllable Synthesis): 疾患セマンティクスと音響スタイルを分離し、フローマッチングを用いて高忠実度な呼吸音を生成する初のマルチモーダル大規模言語モデル（RESP-MLLM）の提案。
3. ロバストな診断 (Robust Diagnosis): 入力レベルでのモダリティ・ウィービングと、戦略的グローバルアテンション（音声アンカー）を組み合わせた診断モデルにより、長尾分布やドメインシフトに対する頑健性を向上。
4. 分析と生成の統合: 診断の弱点に基づいて生成を計画する「Thinker-A2CA」による閉ループシステムの実装。

4. 実験結果 (Results)

• ICBHI データセット: 公式リーダーボードにおいて、既存の最良の音声モデル（スコア 67.55%）を大きく上回る 72.70% のスコアを達成（特異度 79.29%, 感度 66.10%）。
• Resp-229k (クロスドメイン評価):
  • 診断性能: 音声単独の Conformer ベースライン（Macro-F1 0.1935）に対し、提案する Resp-Agent（マルチモーダル）は 0.2118 を達成。さらに、生成されたデータでバランス調整を行った場合、Macro-F1 は 0.5980 まで大幅に向上しました。
  • 生成の質: 生成された音声は、スタイルの忠実度（Cosine Similarity 0.92）と音響的品質（FAD 1.13）において、StableAudio Open や AudioLDM 2 などの強力なベースラインを上回りました。
  • データ拡張の効果: 従来の単純なデータ拡張（ピッチシフト等）はクロスドメイン性能を低下させましたが、提案する「条件付き生成」によるバランス調整は、稀な疾患の検出能力を劇的に向上させました。
  • Thinker-A2CA の有効性: 単なるクラス優先サンプリングや不確実性サンプリングと比較し、Thinker-A2CA による能動的なカリキュラム学習が、特に稀なクラス（Macro-F1_tail）において最も高い性能を示しました。

5. 意義と結論 (Significance)

Resp-Agent は、医療 AI における「データ不足」と「表現の限界」という二重の課題に対し、「モデルがどこで失敗するか（診断）」と「何を生成するか（データ）」を密接に連携させるという新しいパラダイムを示しました。

• 臨床的意義: 稀な疾患や困難な症例に対する診断精度を向上させ、医療教育や解釈可能性研究のための高品質な合成データを提供します。
• 技術的意義: 生成と診断を単一の閉ループで統合し、LLM を中核とした自律的なエージェントシステムが、データスケアな医療ドメインにおいて有効であることを実証しました。
• 将来展望: 臨床現場での意思決定支援や、医師をループ内に入れた（Human-in-the-loop）信頼性の高い医療 AI への発展が期待されます。

本論文は、オープンソース化されたコードとデータ（GitHub, Hugging Face）を通じて、研究の再現性と発展を促進しています。