StethoLM: Audio Language Model for Cardiopulmonary Analysis Across Clinical Tasks

이 논문은 16,125 개의 심폐음 기록을 기반으로 7 가지 임상 태스크를 수행할 수 있는 77,027 개의 지시 - 응답 쌍으로 구성된 StethoBench 를 통해 훈련된 최초의 오디오 - 언어 모델인 StethoLM 을 제안하여, 심폐 청진 분석의 자동화와 임상적 해석 가능성을 혁신적으로 개선합니다.

핵심

이 논문은 **'StethoLM(스테토엘엠)'**이라는 새로운 인공지능을 소개합니다. 이 AI 는 의사가 청진기로 심장과 폐 소리를 들어 진단하는 것을 도와주는 '디지털 청진사' 역할을 합니다.

기존의 AI 들이 단순히 "소리가 정상인가요, 비정상인가요?"라고만 대답했다면, StethoLM 은 **"왜 비정상일까요? 어떤 병일 가능성이 높고, 어디에 문제가 있을까요?"**라고 의사와 대화하듯 설명해 줍니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "소리를 듣는 건 전문가만 할 수 있다"

예전부터 의사는 환자가 기침하거나 숨 쉴 때 나는 소리를 듣고 병을 진단했습니다. 하지만 이 소리는 매우 미세하고 복잡해서, 초보자가 들으면 그냥 '바스락거리는 소리'로 들릴 뿐, 전문가에게는 '폐렴의 초기 증상'이나 '천식의 경고'로 들립니다.

• 비유: 마치 고급 오디오 장비를 처음 보는 사람이 "소리가 좀 찌릿하네"라고만 느끼는 반면, 전문 오디오 엔지니어는 "저기 3kHz 대역에서 고주파 노이즈가 섞여 있어 스피커가 손상된 거야"라고 정확히 진단하는 것과 같습니다.
• 문제점: 이런 전문가가 전 세계에 부족하고, AI 도 대부분 "정상/비정상" 이라고 딱딱 구분하는 단순한 분류기 역할만 해왔습니다.

2. 해결책: "의사처럼 생각하며 대화하는 AI"

저자들은 StethoLM이라는 새로운 AI 를 만들었습니다. 이 AI 는 단순히 소리를 분류하는 게 아니라, 의사처럼 '지시'를 받아서 다양한 임무를 수행합니다.

• 일상적인 비유:
  • 기존 AI: "이 노래는 재즈야." (단순 분류)
  • StethoLM: "이 노래는 재즈인데, 특히 베이스가 너무 무겁고 드럼 소리가 흐릿해요. 아마 녹음실 환경이 습해서 그랬을 거예요. 다음엔 베이스를 10% 줄이고 드럼을 더 선명하게 녹음해 보세요." (분석, 진단, 조언, 비교까지 가능)

이 AI 는 다음과 같은 7 가지 일을 할 수 있습니다:

1. 진단: "이 소리는 정상인가요?"
2. 탐지: "어디에 숨겨진 이상 소리가 있나요?"
3. 보고서 작성: "환자 기록지에 쓸 소견을 써주세요."
4. 이유 설명: "왜 천식이라고 생각하나요?"
5. 감별 진단: "천식일 수도 있고, 기관지염일 수도 있는데, 어느 쪽일 확률이 높나요?"
6. 비교: "지난달 소리와 이번 소리를 비교해 주세요. 나아졌나요?"
7. 위치 분석: "오른쪽 폐 아래쪽에서 들리는 이 소리는 무슨 의미인가요?"

3. 학습 방법: "수만 명의 의사와 함께 한 모의고사"

이 AI 를 가르치기 위해 **StethoBench(스테토벤치)**라는 거대한 시험지를 만들었습니다.

• 데이터: 실제 환자들의 심장과 폐 소리 1 만 6 천 건을 모았습니다.
• 방식: 이 소리들에 대해 7 만 7 천 개의 '질문과 답변' 쌍을 만들었습니다. (예: "이 소리를 듣고 천식일 확률이 높은 이유를 설명해 줘" → "호흡 시 휘파람 소리가 들리고, 이는 기관지 수축을 의미하므로...")
• 비유: 마치 수만 명의 의사가 모의고사를 치고, 정답을 함께 논의하며 AI 에게 가르친 것과 같습니다. AI 는 단순히 정답을 외우는 게 아니라, 의사가 생각하는 '논리'를 배웠습니다.

4. 성과: "일반 AI 보다 훨씬 똑똑하다"

기존에 음악이나 환경 소리를 듣는 데 훈련된 일반 AI 들과 비교해 봤습니다.

• 결과: StethoLM 은 일반 AI 들보다 훨씬 정확한 진단과 설명을 해냈습니다.
• 이유: 일반 AI 는 "휘파람 소리"를 들으면 "새 소리"라고 생각할 수 있지만, StethoLM 은 "그 휘파람 소리가 0.01 초 차이로 들리면 폐의 미세한 염증일 수 있다"는 전문적인 맥락을 이해합니다.

5. 주의할 점: "완벽한 의사는 아직 아니다"

이 AI 는 매우 강력하지만, 아직 몇 가지 한계가 있습니다.

• 비유: 이 AI 는 의대 10 년 차 인턴 정도의 실력을 가졌습니다. 매우 유창하게 설명하고 논리적이지만, 아주 드문 병이나 복잡한 상황에서는 실수할 수도 있습니다.
• 안전 문제: 실험 중에는 소리가 없는데도 AI 가 "소리가 들립니다"라고 거짓말을 하는 경우가 있었습니다. (소리가 없으면 "소리가 없습니다"라고 해야 하는데, AI 가 계속 대답을 만들어낸 것)
• 역할: 따라서 이 AI 는 **의사를 대체하는 것이 아니라, 의사의 '조수'나 '제 2 의 눈'**으로 사용되어야 합니다. AI 가 제안한 내용을 최종적으로 의사가 확인하고 결정하는 방식입니다.

요약

StethoLM은 심장과 폐 소리를 듣고, 의사와 대화하듯 병의 원인을 설명하고, 진단을 내리며, 치료 방향을 제안하는 최초의 AI 입니다. 아직 완벽하지는 않지만, 전 세계의 의사가 더 빠르고 정확하게 환자를 진단할 수 있게 도와줄 미래의 디지털 청진기가 될 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

심폐 청진 (Auscultation) 은 임상 검사의 가장 기본적이고 중요한 단계 중 하나이지만, 이를 해석하는 데는 수년의 임상 경험이 필요합니다. 기존의 심폐음 분석을 위한 딥러닝 연구들은 대부분 단일 레이블 분류 (Single-label Classification) 패러다임에 국한되어 있었습니다 (예: "잡음 있음/없음"). 이러한 접근 방식은 실제 임상 현장의 복잡성과 부합하지 않습니다.

임상 의사는 청진 소견을 기술하고, 시간에 따른 변화를 비교하며, 유사한 소리를 내는 병리를 감별하고, 근본적인 원인을 추론해야 합니다. 그러나 기존 모델들은 이러한 다양한 임상 추론 작업을 지원하지 못하며, 해석 가능성과 의사결정 지원 기능이 부족하여 실제 임상 적용에 한계가 있었습니다. 또한, 범용 오디오 - 언어 모델들은 음악이나 환경음에 최적화되어 있어, 수 밀리초 단위의 미세한 시간적 패턴 (예: 미세한 크랙클 vs 거친 크랙클) 이나 주파수 특성이 중요한 의료 청진 데이터에는 적합하지 않았습니다.

2. 방법론 (Methodology)

저자들은 심폐 청진을 위한 최초의 전용 오디오 - 언어 모델인 StethoLM과 이를 훈련 및 평가하기 위한 벤치마크 StethoBench를 제안합니다.

A. StethoBench (데이터셋 및 벤치마크)

• 구성: 16,125 개의 레이블이 지정된 심폐음 녹음 (7 개 데이터셋) 에서 생성된 77,027 개의 지시 - 응답 쌍 (Instruction-Response Pairs) 으로 구성됨.
• 작업 범주: 단순 분류를 넘어 7 가지 임상 작업 카테고리를 포함:
  1. 이진 분류 (Binary Classification)
  2. 탐지 (Detection)
  3. 임상 보고서 작성 (Reporting)
  4. 임상 추론 (Reasoning)
  5. 감별 진단 (Differential Diagnosis)
  6. 비교 분석 (Comparison)
  7. 위치 기반 분석 (Location-based Analysis)
• 생성 방식: GPT-4o 와 같은 대형 언어 모델 (LLM) 을 사용하여 메타데이터와 레이블로부터 고품질의 지시 - 응답 쌍을 합성 (Synthetic Data Generation) 했습니다.
• 데이터 분할: 훈련/검증/테스트용 도메인 내 (In-Distribution) 데이터와, 다른 녹음 장비, 환자 군, 질병 유병률을 가진 도메인 외 (Out-of-Distribution, OOD) 데이터로 구성하여 일반화 능력을 평가합니다.

B. StethoLM 아키텍처

StethoLM 은 오디오 인코더, 프로젝션 네트워크, 언어 모델 백본으로 구성된 멀티모달 모델입니다.

1. 오디오 인코더 (Audio Encoder): 16kHz 오디오를 멜 스펙트로그램으로 변환 후, 의료 음향으로 사전 훈련된 EfficientNet 기반 인코더를 통해 특징 벡터를 추출합니다.
2. 프로젝션 네트워크 (Projection Network): 추출된 오디오 특징을 언어 모델의 임베딩 공간으로 매핑하여 토큰 시퀀스 (Prefix tokens) 로 변환합니다.
3. 언어 모델 백본 (LLM Backbone): 의료 도메인 지식이 풍부한 MedGemma-4B-IT를 사용합니다.
4. 학습 전략:
   • 지도 미세 조정 (SFT): 오디오, 지시문, 정답 응답 쌍을 사용하여 모델이 다양한 임상 작업을 수행하도록 훈련합니다.
   • 직접 선호도 최적화 (DPO/mDPO): 응답의 품질을 개선하기 위해 시도되었으나, 의료 오디오의 특성상 BERTScore 기반 선호도 학습이 진단 정확도 향상으로 이어지지 않아 한계가 있음을 발견했습니다.

3. 주요 기여 (Key Contributions)

1. StethoLM: 심폐 청진을 위해 특별히 설계된 최초의 오디오 - 언어 모델로, 7 가지 이상의 지시 기반 임상 추론 작업을 수행할 수 있습니다.
2. StethoBench: 분류를 넘어선 일반화된 청진 모델 개발을 위한 포괄적인 벤치마크 (77,027 개의 지시 - 응답 쌍, 7 개 작업 카테고리).
3. 실증적 성과: 도메인 특화 훈련이 필수적임을 입증했습니다. StethoLM 은 범용 멀티모달 모델 (Qwen2.5-Omni, Gemini 등) 보다 도메인 내/외 데이터 모두에서 압도적인 성능을 보였습니다.

4. 실험 결과 (Results)

A. 도메인 내 (In-Domain) 성능

• 성능: StethoLM 은 전체 BERTScore 71.8%, 임상 정확도 **47.8%**를 기록하여 가장 강력한 베이스라인 (Qwen2.5-Omni) 보다 BERTScore 에서 +15.3%p, 정확도에서 +26.6%p 향상되었습니다.
• 작업별 성능: 이진 분류 (정확도 66.4%) 에서 가장 높은 성능을 보였으며, 감별 진단 (정확도 30.6%) 과 같은 주관성이 강한 작업에서는 성능이 낮아졌으나, 이는 인간의 전문가 간 일치도 (Inter-rater concordance) 와 유사한 패턴을 보였습니다.
• 오디오 그라운딩의 중요성: 오디오 입력 없이 텍스트만 입력받은 LLM 은 유창한 텍스트를 생성할 수 있으나 (BERTScore 43.8%), 임상적 정확도는 2.8% 에 불과했습니다. 이는 오디오 정보가 임상 추론에 필수불가결함을 시사합니다.

B. 도메인 외 (Out-of-Distribution) 일반화

• StethoLM 은 TR, CinC, BMD-HS 등 다양한 OOD 데이터셋에서 최상의 성능을 보였습니다.
• 다만, FluSense(기침, 재채기 등 자발적 호흡 이벤트 포함) 와 같은 비구조화된 환경 데이터에서는 범용 모델 (Qwen2.5-Omni) 보다 정확도가 낮았습니다. 이는 훈련 데이터가 구조화된 임상 청진에 치중되어 있어 일상적인 호흡 소리에 대한 학습이 부족했기 때문입니다.

C. 제로샷 분류 (Zero-Shot Classification)

• 명시적인 분류 학습 없이 생성된 임상 보고서를 기반으로 한 텍스트 임베딩 유사도를 통해 분류 작업을 수행했을 때, AudioMAE, CLAP 등 전처리된 오디오 모델들과 경쟁력 있는 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 임상 의사결정 지원 (CDS) 의 새로운 패러다임: StethoLM 은 단순한 분류기를 넘어, 의사가 이해할 수 있는 자연어 설명과 추론 과정을 제공하여 임상 의사결정을 보조하는 도구로 적합함을 입증했습니다.
• 도메인 특화 훈련의 필수성: 대규모 일반 멀티모달 모델조차 의료 청진의 미세한 음향 특징을 포착하지 못하며, 의료 데이터에 특화된 훈련이 임상 등급의 성능을 얻기 위해 필수적임을 보여줍니다.
• 한계 및 안전성: 모델은 오디오 입력이 없거나 잘못된 경우에도 진단을 생성하는 '안전성 문제 (Refusal behavior loss)'를 보였으며, 도메인 외 데이터에서 정확도가 감소하는 경향이 있습니다. 따라서 현재 단계에서는 완전한 자동 진단이 아닌, 전문가의 감독 하에 보조하는 도구 (Augmentative Tool) 로서의 역할이 적합합니다.

이 연구는 임상 청진 분야에서 지시 기반 AI 시스템의 기초를 마련하며, 전 세계 심폐 질환 관리의 효율성을 높일 수 있는 확장 가능한 AI 도구의 가능성을 제시합니다.