Resp-Agent: An Agent-Based System for Multimodal Respiratory Sound Generation and Disease Diagnosis

1. 문제 정의 (Problem Definition)

기존의 딥러닝 기반 호흡음 분석 기술은 두 가지 근본적인 한계에 직면해 있습니다.

• 정보 손실 (Information Loss): 신호를 스펙트로그램으로 변환하는 과정은 위상 (phase) 정보와 미세한 시간적 구조 (예: 10ms 단위의 크랙클, 천명음 등) 를 소실시킵니다. 또한, 텍스트 기반 모델은 임상적 맥락은 포착하지만 객관적인 음향 증거가 부족하여 유사한 증상을 가진 질병을 구분하는 데 한계가 있습니다.
• 데이터 부족 및 불균형 (Data Scarcity & Imbalance): 공개된 호흡음 데이터셋은 규모가 작고, 특정 질병에 편중되어 있으며, 심각한 클래스 불균형 (Long-tail distribution) 을 보입니다. 이로 인해 희귀 질병에 대한 진단 성능이 낮고, 도메인 간 일반화 (Cross-domain generalization) 가 어렵습니다.
• 분석과 생성의 단절: 기존 연구는 진단 (분류/탐지) 에 치중되어 있으며, 생성 모델 (Generative Modeling) 을 활용한 데이터 증강이나 해석 가능성 연구는 미흡합니다.

2. 방법론 (Methodology)

저자들은 Resp-Agent라는 자율형 멀티모달 에이전트 시스템을 제안합니다. 이 시스템은 중앙 컨트롤러인 Thinker-A2CA가 진단 약점을 식별하고 타겟팅된 합성을 스케줄링하는 폐루프 (Closed-loop) 구조로 작동합니다.

A. 핵심 구성 요소

1. Thinker-A2CA (Active Adversarial Curriculum Agent):

   • DeepSeek-V3.2-Exp 기반의 계획자 (Planner) 로서, 모델의 오류 프로파일 (Error Profiles) 과 보정된 신뢰도 (Calibrated Confidence) 를 분석합니다.
   • 진단 실패 모드를 식별하고, 생성 에이전트에게 특정 조건 (희귀 질병, 어려운 도메인) 에 맞는 합성 데이터를 요청하여 적대적 학습 커리큘럼을 구성합니다.

2. Generator (Resp-MLLM):

   • 목적: 질병 의미 (Content) 와 음향 스타일 (Style) 을 분리하여 고품질의 호흡음을 생성합니다.
   • 구조:
     • 1 단계 (단위 생성): 텍스트 전용 LLM (Qwen3-0.6B) 을 멀티모달로 개조합니다. 진단 텍스트와 참조 오디오 (BEATs 특징) 의 스타일 임베딩을 주입 (Modality Injection) 하여 이산적인 음향 단위 (Discrete Acoustic Units) 를 예측합니다.
     • 2 단계 (파형 재구성): 예측된 단위를 조건부 흐름 매칭 (Conditional Flow Matching, CFM) 디코더와 신경 보코더 (Vocos) 를 통해 고충실도 파형으로 변환합니다.
   • 특징: 질병의 병리학적 내용은 텍스트로, 녹음 환경/음색은 참조 오디오로 제어 가능하여 임상적 현실감을 유지합니다.

3. Diagnoser (Modality Weaving Diagnoser):

   • 목적: 임상 텍스트 (EHR 요약) 와 오디오 토큰을深度融合하여 진단합니다.
   • 구조:
     • 모달리티 직조 (Modality Weaving): 오디오와 텍스트를 별도의 인코더가 아닌 입력 단계에서 하나의 시퀀스로 결합합니다.
     • 전략적 글로벌 어텐션 (Strategic Global Attention): Longformer 아키텍처를 기반으로, 전체 시퀀스와 상호작용하는 희소 글로벌 토큰 (Global Tokens) 을 도입합니다.
     • 오디오 앵커 (Audio Anchors): 약 80ms 간격으로 배치된 오디오 앵커를 통해 텍스트 증상 (예: "야간 기침") 이 짧은 시간적 사건 (Transient events) 을 직접 조회할 수 있게 하여, 100ms 미만의 미세한 호흡음 사건을 포착합니다.

B. 데이터셋: Resp-229k

• 5 개의 공개 데이터셋 (ICBHI, SPRSound, UK COVID-19 등) 에서 229,101 개의 고품질 호흡음을 수집했습니다.
• 각 샘플마다 LLM (DeepSeek-R1-Distill-Qwen-7B) 을 통해 EHR 메타데이터를 표준화된 임상 요약 텍스트로 변환했습니다.
• 엄격한 평가 프로토콜: 훈련/검증 데이터 (ICBHI, SPRSound, UK COVID-19) 와 테스트 데이터 (KAUH, COUGHVID) 를 완전히 분리하여 도메인 간 일반화 능력을 평가합니다.

3. 주요 기여 (Key Contributions)

1. Resp-229k 벤치마크: 16 개 진단 카테고리 (15 가지 질병 + 정상) 를 포함하는 대규모 멀티모달 데이터셋과 엄격한 도메인 간 평가 프로토콜을 제시했습니다.
2. 제어 가능한 합성 (Controllable Synthesis): 병리학적 내용과 음향 스타일을 분리하여 합성하는 최초의 멀티모달 LLM 기반 생성 모델 (Resp-MLLM) 을 개발했습니다.
3. 강건한 진단 (Robust Diagnosis): 모달리티 직조와 전략적 글로벌 어텐션 (오디오 앵커) 을 통해 장기적 임상 맥락과 순간적 음향 사건을 동시에 포착하는 진단 모델을 제안했습니다.
4. 폐루프 에이전트 시스템: 진단과 생성을 단일 시스템으로 통합하여, 모델의 약점을 실시간으로 파악하고 이를 보완하는 데이터를 생성하는 자기 교정 (Self-correcting) 학습 커리큘럼을 구현했습니다.

4. 실험 결과 (Results)

• ICBHI 데이터셋: 기존 최첨단 (SOTA) 오디오 모델들 (AST, Conformer 등) 보다 72.7 점의 ICBHI 점수를 기록하여 약 5 포인트 이상 향상시켰습니다. (특이도 79.3%, 민감도 66.1%)
• Resp-229k (도메인 간 일반화):
  • 진단 성능: 불균형 데이터에서 멀티모달 Diagnoser 는 정확도 84.9%, Macro-F1 0.212 를 달성했습니다.
  • 생성 증강 효과: Thinker-A2CA 가 계획한 합성 데이터를 사용하여 클래스 불균형을 해결했을 때, 희귀 클래스에 대한 Macro-F1 이 0.598로 급격히 향상되었습니다.
  • 비교: 단순한 데이터 증강 (SpecAugment 등) 이나 기존 생성 모델 (c-WaveGAN, AudioLDM 2) 보다 Thinker-A2CA 기반의 합성 데이터가 진단 성능을 훨씬 더 크게 향상시켰습니다.
• 아키텍처 검증: 오디오 앵커 (Audio Anchors) 를 제거할 경우 성능이 급격히 저하되어, 80ms 단위의 시간적 해상도가 transient 사건 포착에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 의료 AI 분야에서 데이터 부족과 불균형이라는 난제를 해결하기 위해 생성 모델과 진단 모델을 통합한 에이전트 기반 접근법을 제시했습니다.

• 데이터-모델 공동 설계 (Co-design): 모델이 실패하는 지점을 생성 모델이 학습 데이터로 채워주는 "적극적 증강 (Active Augmentation)" 전략은 데이터가 부족한 의료 분야에서 새로운 패러다임을 제시합니다.
• 임상적 가치: 희귀 호흡기 질환에 대한 진단 민감도를 높이고, 다양한 장비와 환경에서도 견고한 성능을 발휘하여 실제 임상 현장에서의 신뢰할 수 있는 AI 도구 개발의 토대를 마련했습니다.
• 오픈 소스: 코드, 모델, 데이터셋 (Resp-229k) 을 공개하여 연구의 재현성과 투명성을 보장했습니다.

요약하자면, Resp-Agent 는 단순한 분류기를 넘어, 진단 약점을 스스로 분석하고 이를 보완하는 고품질 데이터를 생성하는 지능형 시스템으로서, 호흡기 질환 진단의 정확성과 공정성을 혁신적으로 개선한 연구입니다.