기술 요약: CBT-Audio

문제 제기

인지행동치료 (CBT) 에 인공지능을 적용하는 현재의 연구는 주로 텍스트 기반 상호작용에 국한되어 있습니다. 대규모 언어 모델 (LLM) 이 치료적 응답 생성 및 지식 분류에 대해 평가되어 왔으나, 이러한 평가들은 텍스트 전사본에 의존하여 중요한 '맹점'을 만들어냅니다. 임상 현장에서는 치료사들이 환자의 고통을 평가하기 위해 어조, 속도, 망설임, 떨림, 음높이와 같은 비언어적 음성 단서에 크게 의존하며, 종종 환자가 무엇을 말하는지와 어떻게 말하는지 사이의 불일치를 해석합니다. 기존 데이터셋과 벤치마크 (예: Cactus, DiaCBT, RealCBT) 는 합성적이거나 텍스트만 포함하여 실제 구두 치료에서 발견되는 정서적 변이성과 반응성 패턴을 포착하지 못합니다. furthermore, 음성 기반 정신건강 연구가 존재함 (예: DAIC-WOZ) 에도 불구하고, 이는 주로 치료 세션 내의 턴 단위 고통 추정이 아닌 진단 분류에 초점을 맞추고 있습니다. 오디오 언어 모델 (ALM) 이 CBT 맥락에서 환자의 고통 강도를 추정하기 위해 음성 단서를 효과적으로 활용할 수 있는지 평가할 자원이 부족합니다.

방법론

데이터셋 구축: CBT-Audio

저자들은 구두 CBT 세션에서 환자의 고통을 추정하기 위해 설계된 CBT-Audio 데이터셋을 소개합니다.

• 소스 자료: 이 데이터셋은 유튜브에 호스팅된 96 개의 공개 CBT 교육 녹음 (총 약 20 시간) 에서 추출된 1,802 개의 환자 턴으로 구성됩니다. 이러한 녹음은 역할극과 사례 연구 walkthrough 를 포함하며, '환자'는 배우, 훈련생 또는 임상가가 연기하여 실제 환자 식별자가 포함되지 않도록 했습니다.
• 처리 파이프라인:
  1. 턴 추출: WhisperX(Whisper-large-v3 사용) 가 전사 및 강제 정렬에 사용되었고, pyannote speaker-diarization-3.1 이 화자 라벨을 할당했습니다. 5 초 미만으로 분리된 연속된 동일 화자 세그먼트는 병합되었습니다.
  2. 역할 분류: Claude Sonnet 4.5 가 대화 패턴을 기반으로 치료사와 환자의 턴을 구분하도록 전사본을 처리했습니다.
  3. 필터링: 오디오 길이가 2 초 이상인 환자 턴만 유지되었으며, 단일 단어 백채널은 필터링되었습니다.
• 레이블링 전략:
  • 척도: 고통 강도는 '차분함 (1)'에서 '압도당함 (5)'까지의 범위를 가진 긍정 및 부정 정서 스케일 (PANAS) 에서 적응된 1~5 순위 척도로 평가됩니다.
  • 참조 레이블: 의미적 유사도 평가 (SSR) 방식을 사용하여 생성되었습니다. GPT-audio 1.5 에 환자의 오디오 클립과 선행하는 3 턴의 맥락을 프롬프트하여 정서 상태 설명을 생성했습니다. 이 설명은 BGE-m3 를 사용하여 임베딩되고 5 개의 앵커 정의와 코사인 유사도를 통해 비교되었습니다. 가장 높은 유사도를 가진 앵커가 레이블을 결정했습니다. 이 과정은 세 번 반복되었으며, 다수결 (동점인 경우 중앙값) 이 최종 참조 레이블로 사용되었습니다.
  • 검증: 임상 및 연구 배경을 가진 5 명의 독립 전문가가 194 개의 클립 하위 집합에 레이블을 지정했습니다. 전문가 합의는 81.4% 의 클립에서 참조 레이블과 ±1 수준 내에서 일치했으며, 중간 정도의 평가자 간 일치 (Krippendorff's $\alpha$ = 0.439) 를 보였습니다.

실험 설정

• 모델: SALMONN-7B, MiniCPM-o 2.6, Phi-4-Multimodal, Qwen2.5-Omni, Qwen3-Omni, Kimi-Audio, Ultravox, Audio Flamingo 3, Voxtral-Mini, Gemma-4-E4B 를 포함한 10 개의 오픈 소스 오디오 언어 모델 (ALM) 이 평가되었습니다. 이러한 모델들은 Whisper 기반 인코더, 커스텀 오디오 인코더, MoE 구조 등 다양한 아키텍처를 대표합니다.
• 입력 조건: 각 모델은 세 가지 조건에서 테스트되었습니다:
  1. 오디오만 (AO): 환자 오디오 클립 + 3 턴 맥락 (전사본).
  2. 전사본만 (TO): 환자 전사본 + 3 턴 맥락.
  3. 오디오 + 전사본 (AT): 환자 오디오 클립 + 환자 전사본 + 3 턴 맥락.
• 작업: 모델은 환자의 고통 강도를 추정하는 단일 정수 (1~5) 를 출력하도록 프롬프트되었습니다.
• 지표: 주요 지표는 평균 절대 오차 (MAE) 였습니다. 보조 지표로는 1 오프 정확도 ($A_1$), 스피어만 순위 상관 계수 ($\rho$), 2 차 가중 코헨의 $\kappa$ (QWK), RMSE 가 포함되었습니다. 통계적 유의성은 턴 단위 절대 오차에 대한 쌍체 윌콕슨 부호 순위 검정을 사용하여 평가되었습니다.

주요 결과

전반적 성능

• 최고 성능자: Gemma-4-E4B 와 Qwen3-Omni-30B-A3B 가 가장 낮은 MAE 를 달성했습니다. Gemma-4-E4B 는 오디오 + 전사본 입력으로 가장 잘 수행되었으며 (MAE 0.720), Qwen3-Omni 는 오디오만으로 가장 잘 수행되었습니다 (MAE 0.785).
• 모델 변동성: 성능은 모델 계열 간에 크게 달라졌습니다. 예를 들어, SALMONN-7B 는 높은 오차율 (MAE > 1.6) 로 명확한 이상치였으나, Voxtral-Mini(36 억 파라미터) 는 크기가 두 배인 모델들과 비교 가능한 성능을 보였습니다. 파라미터 수는 7~8 억 파라미터 범위 내에서 성능과 명확한 상관관계를 보이지 않았습니다.

입력 모달리티의 영향

• 오디오 vs 텍스트: 오디오만 입력된 것이 전사본만 입력된 것보다 일관되게 우월하지는 않았습니다. 실제로 일부 모델 (예: Ultravox, SALMONN) 의 경우 전사본만이 더 우월한 설정이었습니다.
• 오디오 + 전사본: 오디오를 전사본과 결합하는 것이 가장 일관된 개선을 가져왔습니다. 10 개 모델 계열 중 8 개에서 전사본만 사용할 때보다 오디오를 추가하여 고통 추정을 개선했습니다. 이 개선은 Audio Flamingo 3, Kimi-Audio-7B, Gemma-4-E4B, Qwen3-Omni-30B-A3B 의 네 가지 모델에 대해 통계적으로 유의미했습니다 ($p < 0.05$).
• 사례 연구: 특정 사례에 대한 분석은 오디오가 언어적 내용과 음성 전달이 다를 때 가장 큰 가치를 제공함을 보여주었습니다.
  • 텍스트에 의한 과소평가: 환자가 말로 절망감을 표현했지만 눈물을 머금고 망설이는 목소리로 말했을 때, 텍스트만 사용하는 모델은 고통을 과소평가했으나 오디오를 고려한 모델은 이를 수정했습니다.
  • 텍스트에 의한 과대평가: 환자가 말로 불안 증상을 묘사했지만 차분하고 통제된 목소리 (또는 웃음) 로 말했을 때, 텍스트만 사용하는 모델은 고통을 과대평가했으나 음성 단서는 모델이 즉각적인 급성 고통의 부재를 인식하도록 도왔습니다.
  • 정합: 말과 목소리가 일치할 때 모든 입력 조건은 유사하게 수행되었습니다.

중요성과 주장

본 논문은 CBT-Audio가 구두 환자 행동을 평가 가능하게 만들어 정신건강 분야의 AI 에서 중요한 격차를 해소한다고 주장합니다. 저자들은 임상 진단 시스템을 구축했다고 주장하는 것이 아니라, 다음과 같은 점을 입증합니다:

1. 오디오는 보완적 정보를 제공합니다: 음성 단서는 특히 내용과 전달 사이의 불일치가 있을 때 텍스트로 포착되지 않는 고통 신호를 포함합니다.
2. 현재의 ALM 은 이러한 단서를 활용할 수 있습니다: 오디오만으로는 텍스트를 보편적으로 대체할 수는 없지만, 오디오를 전사본과 결합하면 현재 오픈 소스 모델이 환자의 고통 강도를 더 잘 추정할 수 있습니다.
3. 향후 방향: 이 연구는 미래 CBT 모델이 텍스트 생성이 아닌 구두 치료 상호작용의 모델로 설계되고 평가되어야 한다는 주장을 뒷받침합니다. CBT-Audio 는 정신건강 상호작용을 위한 더 안전하고 오디오 인식 시스템을 개발하고, 모델이 환자의 고통 미묘함을 감지하는 능력을 평가하는 기반을 제공합니다.

한계

저자들은 몇 가지 한계를 인정합니다:

• 데이터 소스: 모든 녹음은 영어로 되어 있으며 치료seeking 실제 환자가 아닌 배우/훈련생을 특징으로 하므로, 실제 치료와 비교하여 정서적 범위의 일반화가 제한될 수 있습니다.
• 자동화: 턴 추출은 자동 화자 분리 및 전사에 의존했으며, 이는 특히 중첩된 음성에서 오류를 유발할 수 있습니다.
• 범위: 레이블은 관찰 가능한 상호작용에서 지각된 고통을 측정하며, 임상 진단이나 환자 자기 보고는 아닙니다. 이 데이터셋은 임상 평가가 아닌 연구 평가를 목적으로 합니다.