기술 요약: 분류를 넘어: 호흡기 음향 파운데이션 모델을 위한 기침 회귀 벤치마크

문제 정의

호흡기 음향 파운데이션 모델(FMs)은 범주형 기침 분류에서는 숙련된 능력을 보여주었습니다. 그러나 연령, 체질량 지수(BMI), 질병 확률과 같은 연속적인 건강 수치를 기침 오디오로부터 예측하는 능력은 여전히 미개척 영역으로 남아 있습니다. 이러한 격차는 물리적 측정값(예: 출생 기록, 체중계)을 사용할 수 없는 저소득 및 중소득 국가(LMICs)와 환경에서 매우 중요합니다. 이러한 맥맥락에서, 기침 음향을 통한 생리학적 상태의 수동적 추정은 트리아지(triage, 환자 분류)를 위한 실행 가능한 대리 지표 역할을 할 수 있습니다. 기존 문헌은 분류 작업에 대해 FMs를 벤치마킹해 왔으나, 여러 모델, 타겟, 데이터셋에 걸쳐 이들의 회귀 능력을 체계적으로 규명한 연구는 아직 이루어지지 않았습니다.

방법론

저자들은 다섯 가지 고정된(frozen) 호흡기 음향 파운데이션 모델의 회귀 능력을 평가하기 위해 설계된 통합된 다중 모델, 다중 타겟 기침 회귀 벤치마크를 소개합니다.

데이터셋 및 작업

본 벤치마크는 피험자 불일치(subject-disjoint) 프로토콜 하에 세 가지 별도의 데이터셋을 활용합니다:

1. CIDRZ: 잠비아의 결핵 클리닉에서 스마트폰으로 녹음된 자발적 기침 ($N=1049$). 타겟은 연령, BMI, 흉부 X-선 이상 점수, 결핵 확률을 포함합니다.
2. Coswara: 팬데믹 기간 동안 인도에서 원격으로 수집된 얕은 기침 ($N=2560$). 타겟은 자기 보고식 연령입니다.
3. CoughVID: 스마트폰을 통해 전 세계적으로 제출된 자발적 기침 ($N=6858$). 타겟은 연령입니다.

파운데이션 모델 (인코더)

세 가지 사전 학습 패러다임에 걸친 다섯 가지 고정된 인코더를 평가합니다:

• OPERA 제품군 (호흡기 특화 SSL):
  • OPERA-CT: 대조적 트랜스포머 (768-d).
  • OPERA-CE: 대조적 CNN (1280-d).
  • OPERA-GT: 8.18초의 위치 그리드를 가진 생성적 마스크 오토인코더(MAE) (384-d).
• HEAR: 호흡기 소리를 넘어 임상적 오디오를 포함하여 3억 1,300만 개의 헬스 오디오 클립으로 사전 학습된 ViT-L MAE (512-d).
• M2D+RESP: AudioSet 상의 마스크 스펙트로그램 예측과 호흡기 미세 조정을 결러합하며, 평균 풀링을 통해 3840-d 벡터로 변환됨.

회귀 헤드 및 학습

본 연구는 고정된 임베딩에 적용되는 세 가지 회귀 헤드를 비교합니다:

1. Linear: 표준 선형 프로빙 ($d_{feat} \to 1$).
2. MLP-small: 병목 구조 ($d_{feat} \to 256 \to 1$)로, ReLU와 드롭아웃을 포함하며 임베딩 크기에 구애받지 않도록 설계되었습니다.
3. Full MLP: 전체 너비 구조 ($d_{feat} \to d_{feat} \to 1$)로, 높은 용량을 가질 것으로 예상됩니다 (예: M2D+RESP의 경우 약 1,500만 개의 파라미터).

모든 모델은 Adam 옵티마이저, MSE 손실 함수, 그리고 조기 종료(early stopping)를 사용하여 학습됩니다. 성능은 자연 단위에서의 평균 절대 오차(MAE)를 통해 측정되며, 단순 평균 예측기 베이스라인(평균 절대 편차, MAD)과 비교됩니다.

평가 체계

1. 데이터셋 내 회귀: 홀드아웃 테스트 분할에서 모든 타겟을 평가합니다.
2. 헤드 비교: 데이터셋 크기와 헤드 용량 사이의 상호작용을 특징짓습니다.
3. 교차 데이터셋 전이: 하나의 데이터셋에서 학습하고 다른 데이터셋에서 평가합니다 (특히 여러 데이터셋의 공통 타겟인 연령에 대해).
4. 저데이터(Low-Data) 환경: 학습 세트 크기($N$)에 따른 성능 변화를 분석합니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 제공합니다:

1. 포괄적 벤치마크: 피험자 불일치 프로토콜 하에서 여섯 가지 타겟과 세 가지 데이터셋에 대해 다섯 가지 FM을 다중 모델, 다중 타겟으로 평가했습니다.
2. 회귀 헤드 분석: 작은 MLP 헤드가 선형 프로빙보다 일반적으로 우수한 성능을 보이며, 작은 임상 데이터셋에서 발생하는 과적합을 방지한다는 점을 확인했습니다.
3. 생성적 사전 학습의 이점: 모든 데이터셋에서 연령 회귀에 대해 대조적 사전 학습(OPERA-CT)보다 생성적 사전 학습(OPERA-GT)이 더 우수한 성능을 보임을 입증하였으며, 이는 이전의 호흡 소리 연구 결과를 기침으로 확장한 것입니다.
4. 비대칭적 전이: 교차 데이터셋 전이가 강력하게 비대칭적임을 입증했습니다. 즉, 웹에서 수집된 대규모 데이터는 소규모 임상 인구로 일반화될 수 있지만, 그 역은 성립하지 않습니다.
5. 저데이터 효율성: 다양한 사전 학습 코퍼스를 가진 모델(HEAR, M2D+RESP)은 단 50개의 레이블된 샘플만으로도 거의 완전한 성능에 도달하는 반면, 도메인 특화된 더 작은 코퍼스를 가진 모델(OPERA)은 훨씬 더 많은 데이터($N=400$)가 필요함을 분석했습니다.

결과

데이터셋 내 성능

• 신호 강도: 가장 강력한 신호는 Coswara 데이터셋의 연령 예측에서 관찰되었습니다 (최적/MAD 비율 = 0.81). CoughVID의 연령 예측은 더 약한 신호를 보였습니다 (0.93).
• 임상 점수: CIDRZ 타겟(BMI, X-선 이상, 결핵 확률)에 대해 모든 모델은 기회 수준(chance floor) 근처에서 성능을 보였습니다 (Best/MAD가 0.92에서 0.99 사이). 이러한 최소한의 모델 간 차이는 선형 프로빙 하에서 임베딩이 이러한 특정 임상 점수에 대한 사용 가능한 환자 수준의 신호를 포착하지 못하는 표현력의 한계(representational ceiling)를 시사합니다.
• 베이스라인 비교: 모든 모델이 명목상으로는 평균 예측기 베이스라인을 초과했으나, 그 차이는 종종 미미했습니다.

헤드 아키텍처 비교

• MLP-small의 우위: MLP-small 헤드는 30개의 모델 $\times$ 태스크 조합 중 23개에서 승리하며, 선형 프로보잉보다 최대 0.38년(Coswara의 HEAR) 더 나은 성능을 보였습니다.
• 과적합 vs. 회복: Full MLP는 작은 데이터셋에서 과적합되었습니다 (예: CIDRZ의 M2D+RESP는 MLP-small 대비 성능이 +0.53년 저하됨). 그러나 더 큰 데이터셋(CoughVID)에서는 회복되었으며, 이는 데이터 크기 $\times$ 헤드 용량 간의 트레이드오프를 드러냅니다.

사전 학습 패러다임

• 생성적 vs. 대조적: OPERA-GT는 세 데이터셋 모두에서 연령 회귀에 대해 OPERA-CT보다 일관되게 우수한 성능을 보였습니다. CIDRZ에서의 격차는 시드 변동 범위 내에 있었으나, Coswara와 CoughVID에서의 격차는 유의미했으며, 이는 생성적 목적 함수가 더 많은 생리학적 변이를 포착함을 시사합니다.
• 교차 데이터셋 전이: 전이는 대규모 웹 수집 데이터(CoughVID, Coswara)를 사용하여 소규모 임상 인구(CIDRZ)를 위한 모델을 학습할 때만 성공적이었습니다.
  • CoughVID $\to$ CIDRZ: 성능이 -0.17년 개선되었습니다.
  • CIDRZ $\to$ Coswara: 성능이 크게 저하되었습니다 (+2.43년, +26.6%).
  • 이러한 비대칭성은 임상 코호트가 글로벌 크라우드소싱 코퍼스보다 인구 통계적 범위가 좁다는 것을 시사합니다.

저데이터 환경

• 데이터 효율성: HEAR와 M2D+RESP는 $N=50$ 샘플에서 거의 완전한 성능에 도달했습니다.
• OPERA 모델: 더 작은 호흡기 전용 사전 학습 코퍼스 때문인지 안정화되기 위해 $N=400$ 샘의 샘플이 필요했습니다.

의의 및 주장

본 논문은 기침 음향 FM이 지속적인 건강 추정에 유망하지만, 그 효용성은 특정 작업, 데이터셋 및 아키텍처 선택에 크게 의존한다는 점을 주장합니다.

1. 실용적인 헤드 선택: 고정된 임베딩의 경우, 데이터가 부족한 임상 환경에서 비선형 용량과 과적합 방지 사이의 균형을 맞추는 작은 MLP 헤드가 선호되는 아키텍처입니다.
2. 사전 학습의 영향: 생성적 사전 학습 목적 함수가 연령 회귀에 대해 대조적 목적 함수보다 우월해 보이며, 사전 학습 코퍼스의 다양성이 모델 아키텍처 자체보다 저데이터 성능의 더 강력한 결정 요인입니다.
3. 전이의 한한계: 본 벤치마크는 현재 모델의 중요한 한계를 드러냅니다. 즉, 대규모의 다양한 웹 데이터로부터 소규모 임상 인구로 잘 일반화되지만, 소규모 임상 데이터로부터 광범위한 인구로 일반화하는 데는 실패합니다. 이는 효과적인 임상 배포를 위해 다양한 사전 학습 데이터가 필요함을 강조합니다.
4. 태스크 특이성: 결과는 연령 추정은 학습 가능한 구조를 보여주는 반면, 기침 오디오만으로 특정 임상 점수(결핵 확률이나 X-선 이상 등)를 예측하는 것은 여전히 큰 도전 과제이며, 현재 모델들이 이러한 특정 타겟에 대해 기회 수준의 성능을 보인다는 것을 나타냅니다.

저자들은 이러한 결론이 고정된 임베딩, 얕은 프로브(shallow-probe) 환경에 국한된 것이며, 전체 미세 조정(full fine-tuning)을 통해 달성 가능한 성능의 상한선을 나타내는 것은 아니라고 명시했습니다. 향후 연구로는 추가적인 타겟, 미세 조정 방식, 그리고 어텐션 풀링 헤드에 대한 탐색이 제안되었습니다.