When Consistency Becomes Bias: Interviewer Effects in Semi-Structured Clinical Interviews

1. 문제 정의 (Problem Statement)

자동화된 우울증 감지 시스템은 최근 공개된 말뭉치와 언어 모델의 발전 덕분에 주목받고 있습니다. 그러나 기존 연구들은 종종 높은 성능을 보고하면서도, 모델이 어떤 근거로 예측을 내리는지 (해석 가능성) 에 대해서는 명확히 밝히지 못합니다.

이 논문은 반구조화된 임상 인터뷰 (Semi-structured Clinical Interviews) 데이터셋을 분석하여 다음과 같은 시스템적 편향 (Systematic Bias) 을 발견했습니다:

• 인터뷰어 프롬프트 의존성: 모델이 환자의 언어적 특징을 학습하는 대신, 인터뷰어가 사용하는 고정된 질문 (프롬프트) 과 질문의 위치 (순서) 를 학습하여 우울증 여부를 판단합니다.
• 성능 왜곡: 인터뷰어의 발화만으로도 환자를 분류하는 모델이 환자 발화만 사용하는 모델보다 더 높은 성능을 보이는 경우가 많습니다. 이는 인터뷰어 질문이 임상적으로 더 유용해서가 아니라, 스크립트상의 인위적 패턴 (Artifacts) 을 학습했기 때문입니다.

2. 연구 방법론 (Methodology)

2.1 데이터셋

세 가지 주요 임상 인터뷰 데이터셋을 분석 대상으로 사용했습니다:

1. DAIC-WOZ: 북미 영어 기반, 가상 인터뷰어 'Ellie'가 인간 조종사 (Wizard-of-Oz) 에 의해 제어됨. 191 개의 고정된 프롬프트를 사용.
2. E-DAIC: DAIC-WOZ 의 확장판으로, 인터뷰어가 완전히 자동화됨. 환자 발화만 제공되므로 연구팀은 WhisperX 를 이용해 인터뷰어 발화도 자동 생성 (ASR) 함.
3. ANDROIDS: 이탈리아어 기반, 자연스러운 환경에서 수집됨. 인터뷰어는 최소한의 개입만 허용됨.

2.2 데이터 전처리

• 텍스트 모달리티: 모든 실험은 텍스트 기반.
• ASR 적용: ANDROIDS 와 E-DAIC 의 경우 인터뷰어 발화에 대한 정답 전사본 (Ground Truth) 이 없으므로, WhisperX 파이프라인을 사용하여 인터뷰어와 환자 발화 모두를 자동 전사하여 일관된 비교를 수행했습니다.
• 모델 입력 분리: 각 모델은 두 가지 변형으로 훈련 및 평가되었습니다:
  • P (Participant-only): 환자 발화만 입력.
  • I (Interviewer-only): 인터뷰어 프롬프트만 입력.

2.3 모델 아키텍처

편향이 특정 모델에 국한되지 않는지 확인하기 위해 두 가지 다른 아키텍처를 사용했습니다:

1. Longformer: 긴 문서 (인터뷰 전체) 에 적합한 Sparse Attention Transformer 모델.
2. GCN (Graph Convolutional Network): 단어와 문서 (인터뷰) 노드로 구성된 그래프 기반 모델. 단어별 기여도를 해석 가능하게 분석할 수 있음.

3. 주요 기여 (Key Contributions)

1. 프롬프트 유발 편향 (Prompt-induced Bias) 의 정량화: 여러 데이터셋 (ANDROIDS, DAIC-WOZ, E-DAIC) 에서 인터뷰어 모델 (I-model) 이 환자 모델 (P-model) 을 능가하거나 동급의 성능을 보임을 입증했습니다.
2. 모델 중립성 (Model-agnostic) 입증: Transformer(Longformer) 와 GCN 모두에서 동일한 편향 현상이 발생함을 확인하여, 이 문제가 특정 알고리즘의 결함이 아님을 증명했습니다.
3. 정성적 분석 및 시각화:
   • I-model: 결정 근거 (Keywords) 가 인터뷰의 특정 구간 (고정된 프롬프트) 에 집중됨.
   • P-model: 결정 근거가 인터뷰 전체에 고르게 분포됨.
   • 이를 통해 모델이 실제 우울증 징후가 아닌 스크립트 패턴을 학습했음을 시각적으로 증명했습니다.

4. 실험 결과 (Results)

4.1 성능 비교 (F1 Score)

• DAIC-WOZ: 인터뷰어 모델 (I-GCN: 0.88, I-Longformer: 0.73) 이 환자 모델 (P-GCN: 0.85, P-Longformer: 0.71) 보다 성능이 높거나 비슷했습니다.
• ANDROIDS: 편향이 가장 극명하게 나타났습니다. I-Longformer 는 0.98 의 F1 점수를 기록하여 P-Longformer(0.76) 보다 19% 이상 높은 성능을 보였습니다. I-GCN 또한 P-GCN 보다 4% 높았습니다.
• E-DAIC: GCN 모델에서 인터뷰어 모델이 우세했으나, Longformer 에서는 두 모델의 성능이 비슷했습니다.

4.2 테스트셋 일반화

• E-DAIC: 개발 세트뿐만 아니라 테스트 세트에서도 인터뷰어 모델이 환자 모델을 능가하거나 동급의 성능을 보여 편향이 유지됨을 확인했습니다.
• DAIC-WOZ: GCN 은 인터뷰어 발화에서 편향을 보였으나, Longformer 는 환자 발화에서 더 나은 성능을 보였습니다. 이는 의미론적 모델링이 일부 편향을 완화할 수 있음을 시사하지만, 전반적인 경향은 변하지 않았습니다.

4.3 해석 가능성 분석 (Heatmaps)

• I-model (인터뷰어 모델): 히트맵에서 특정 시간대 (고정된 질문 위치) 에만 높은 밀도의 키워드가 나타나는 좁은 고대비 밴드를 보였습니다.
  • 예: "How do you cope with that?", "Do you still go to therapy?"와 같은 특정 질문들만 집중적으로 학습.
• P-model (환자 모델): 시간 전체에 걸쳐 낮은 대비의 활동이 분포되어 있어, 환자의 다양한 발화에서 증거를 추출하고 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 방법론적 경고: 반구조화된 인터뷰에서 인터뷰어 발화를 포함하는 것은 모델이 환자의 실제 언어적/행동적 징후를 학습하는 대신, 스크립트상의 인위적 패턴 (Script Artifacts) 을 단서 (Shortcut) 로 활용하게 만들어 성능을 과대평가할 수 있음을 경고합니다.
• 편향의 보편성: 이 편향은 데이터셋 (영어/이탈리아어), 인터뷰어 유형 (가상/실제), 모델 아키텍처에 관계없이 존재하는 보편적인 방법론적 문제입니다.
• 제안: 향후 임상 인터뷰 기반 정신건강 평가 시스템을 설계할 때는 인터뷰어의 영향을 통제해야 합니다.
  • 환자 발화만 분리하여 모델을 훈련하거나 평가하는 것.
  • 편향을 인지한 평가 프로토콜 개발.
  • 모델이 환자의 언어를 기반으로 genuine 한 진단을 내리는지 검증하는 과정의 필수화.

이 연구는 자동화된 우울증 감지 시스템의 신뢰성을 높이기 위해, 데이터 전처리 및 모델 평가 단계에서 인터뷰어 발화의 역할을 신중하게 재고할 것을 강력히 요구합니다.