CARE: An Explainable Computational Framework for Assessing Client-Perceived Therapeutic Alliance Using Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 심리 상담에서 '치료적 동맹 (Therapeutic Alliance)'은 상담 성과의 가장 강력한 예측 변수 중 하나입니다. 특히 내담자가 느끼는 동맹의 질 (Client-Perceived Alliance) 은 상담사의 평가보다 치료 성공과 더 밀접하게 연관되어 있습니다.
• 문제점:
  1. 측정의 한계: 기존에는 세션 후 설문지 (WAI 등) 를 통해 내담자의 인식을 측정했으나, 이는 내담자에게 부담을 주고 시차가 발생하며 불규칙하게 수행되는 경우가 많습니다.
  2. 기존 계산적 접근법의 부족: 자연어 처리 (NLP) 를 활용한 기존 연구들은 주로 전역적 (Global) 인 점수만 산출하거나, 해석 가능한 근거 (Rationale) 를 제공하지 않으며, 개별 대화 턴을 분리하여 분석함으로써 전체적인 세션 맥락을 포착하지 못합니다.
  3. 상담사의 인식 격차: 상담사는 내담자의 관점에서 동맹의 질을 정확히 파악하는 데 어려움을 겪는 경우가 많습니다.

2. 제안된 방법론: CARE 프레임워크 (Methodology)

저자들은 상담 대화 텍스트에서 내담자가 인지한 다차원적 치료적 동맹 점수를 예측하고, 이를 뒷받침하는 해석 가능한 근거를 생성하는 CARE (Client-perceived Alliance Relationship Evaluator) 프레임워크를 제안했습니다.

• 데이터셋 확장 (CounselingWAI):
  • 기존 중국어 기반 상담 데이터셋 (CounselingWAI) 을 기반으로, 793 개의 세션 (82 명의 내담자) 을 사용했습니다.
  • 핵심 혁신: 12 개의 질문 항목과 내담자 점수 쌍에 대해 **9,516 개의 전문가가 작성한 근거 (Rationales)**를 추가했습니다. 이는 상담 대화의 전 과정을 분석하고, 특정 대화 턴이 내담자의 점수에 미친 영향을 설명하는 전문가의 피드백입니다.
• 모델 아키텍처:
  • 베이스 모델: LLaMA-3.1-8B-Instruct 를 백본으로 사용했습니다.
  • 학습 전략 (Rationale-Augmented Supervision): 단순 점수 예측이 아닌, 전문가 근거가 포함된 데이터로 파인튜닝했습니다. 이를 통해 모델이 상담 맥락과 동맹 요소 간의 연관성을 학습하도록 유도했습니다.
  • 입력/출력: 상담 대화 전체를 입력으로 받아, 3 가지 차원 (목표 공유, 과제 조율, 정서적 유대) 의 점수와 해당 점수를 뒷받침하는 대화 내 근거를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 데이터셋 풍부화: 상담 대화와 내담자 점수를 연결하는 9,516 개의 전문가 검증 근거 (Expert-annotated rationales) 를 포함한 데이터셋을 구축했습니다.
2. 해석 가능한 프레임워크 개발: CARE 모델을 통해 미세한 동맹 차원을 예측하면서도, 상담 대화에 기반한 인간과 유사한 추론 과정 (근거) 을 생성하는 모델을 구현했습니다.
3. 실증적 검증: CARE 모델이 인간 상담사 및 주요 대규모 언어 모델 (GPT-4o, DeepSeek-R1 등) 보다 내담자의 인식과 더 높은 상관관계를 보임을 입증했습니다.
4. 실무적 통찰: 실제 상담 세션에 적용하여 동맹 형성의 장애 요인과 상담사 - 내담자 상호작용 패턴이 동맹 발달에 미치는 영향을 분석하고 실행 가능한 인사이트를 제공했습니다.

4. 실험 결과 및 분석 (Results)

• 성능 비교:
  • 내담자 인식과의 일치도: CARE 모델은 내담자의 자기 보고 점수와 Pearson 상관관계에서 **Goal(0.52), Task(0.50), Bond(0.46)**를 기록했습니다. 이는 인간 상담사의 점수 (0.22~0.30) 보다 약 70% 이상 높은 상관관계를 보였습니다.
  • 타 모델 대비 우위: GPT-4o, DeepSeek-R1 등 최상위 범용 LLM 들보다 모든 차원에서 높은 상관관계와 더 낮은 MSE(평균 제곱 오차) 를 기록했습니다. 특히 목표 (Goal) 차원에서 GPT-4o 대비 MSE 가 51% 낮았습니다.
  • 안정성: CARE 모델은 다른 모델들에 비해 표준 편차가 매우 낮아 예측의 안정성이 뛰어났습니다.
• 근거 증강 학습의 효과:
  • 근거 (Rationale) 없이 점수만으로 파인튜닝한 모델보다, 근거가 포함된 데이터로 학습한 CARE 모델의 성능이 모든 차원에서 유의미하게 향상되었습니다. 이는 전문가의 추론 패턴을 모델이 내재화했음을 시사합니다.
  • Qwen2.5-7B 모델에서도 동일한 학습 전략이 적용되어 성능 향상이 확인되었으며, 이는 방법론의 일반화 가능성을 입증했습니다.
• 생성된 근거의 품질: 자동 평가 (BLEU, ROUGE, BERTScore) 및 인간 평가 (Faithfulness, Relevance, Informativeness) 에서 전문가가 작성한 근거와 높은 일치도를 보였습니다.

5. 의의 및 시사점 (Significance)

• AI 기반 상담 보조 도구: CARE 는 상담사가 내담자의 관점을 실시간으로 이해하고, 동맹 형성의 문제점을 파악할 수 있는 AI 보조 도구로 활용 가능합니다.
• 해석 가능성 (Explainability): 단순히 점수만 주는 것이 아니라 "왜" 그 점수가 나왔는지 구체적인 대화 예시와 함께 설명함으로써, 상담사의 임상적 판단을 지원하고 훈련에 활용할 수 있습니다.
• 실무 개선: 분석 결과, 상담사의 '지나친 지지 (Supporting)'가 내담자의 부정적 반응과 결합될 때 동맹이 약화되는 등, 상호작용 패턴이 동맹에 미치는 영향을 규명하여 상담 전략 수정에 기여했습니다.
• 윤리적 고려: 이 도구는 진단이나 치료 대체가 아닌, 상담사의 이해를 돕는 보조 수단으로 사용되어야 함을 강조하며, 데이터 프라이버시 보호 및 전문가 감독 하에 운영되어야 함을 명시했습니다.

결론적으로, CARE 는 대규모 언어 모델과 전문가의 근거 기반 학습을 결합하여, 내담자의 치료적 동맹 인식을 정확하고 해석 가능하게 평가하는 새로운 패러다임을 제시한 연구입니다.