기술 요약: DeepSAGE

문제 정의

대규모 언어 모델(LLM)은 상담 응답을 생성하는 데 있어 유창함과 지지적인 태도를 보여주었으나, 일관된 치료 세션을 위해 필요한 구조적이고 목표 지향적인 진행 능력은 부족한 경우가 많다. 기존 시스템들은 규칙 기반 스크립트, 얕은 NLP 파이프라인, 또는 사용자 주도의 상호작용에 의존하는 경우가 많아, 사용자를 심리학적으로 근거 있는 과정으로 안내하는 데 실패한다. 인지 행동 치료(CBT)는 구조화된 방법론을 제공하지만, 현재의 LLM 기반 CBT 시스템은 전체 세션을 구조화된 단계별 프로세스로 관리하기보다는 개별 대화 턴이나 고립된 구성 요소에 집중하는 경elik이 있다. 결과적으로, 신뢰할 수 있는 세션 수준의 치료적 가이드는 여전히 미개척 영역으로 남아 있다.

방법론

저자들은 CBT의 첫 세션에 근거하여 단계 인지형 상담 대화를 가능하게 하는, LLM과 심층 강화 학습(DRL)을 결합한 하이브리드 프레임워크인 DeepSAGE(Strategic AI Guidance Engine)를 제안한다.

1. 단계 구조화 프레임워크

상담 세션은 임상 문헌(Beck, 2020)에서 도출된 11개의 명확한 치료적 목표를 가진 단계로 모델링된다:

1. 인사 (Greet)
2. 의제 설정 (Set Agenda)
3. 기분 확인 (Mood Check)
4. 업데이트 확보 (Obtain Updates)
5. 진단 논의 (Discuss Diagnosis)
6. 문제 및 목적 식별 (Identify Problems and Purposes)
7. 인지 모델 교육 (Educate About Cognitive Model)
8. 클라이언트 문제에 인지 모델 적용 (Apply Cognitive Model to a Client Problem)
9. 요약 도출 (Elicit Summary)
10. 숙제 검토 (Review Homework)
11. 피드백 도출 (Elicit Feedback)

2. 단계 전환 메커니즘

외부 컨트롤러는 정량적 성공 기준인 $G(S_i, r_t)$를 기반으로 다음 단계($S_{i+1}$)로 진행할지를 결정한다. 이 점수는 각 클라이언트의 답변($r_t$) 이후에 계산되며 다음을 결합한다:

• 의미적 유사도 (Semantic Similarity): 클라이언트의 답변과 단계별 목표 설명 사이의 코사인 유사도.
• NLI 함의 (NLI Entailment): 클라이언트가 단순히 주변 이야기를 하는 것이 아니라 실제로 목표를 충족했는지 확인하기 위해, 답변이 단계 목표를 함의할 확률.
  단계는 $G(S_i, r_t) \geq \tau$ (임계값)를 만족하거나 해당 단계의 최대 턴 수($T_{max}$)에 도달했을 때 완료된 것으로 간주된다.

3. 하이브리드 LLM-DRL 아키텍처

단계가 아직 완료되지 않은 경우, DRL 에이전트는 LLM의 응답 생성을 가이드할 **치료적 의도(therapeutic intention)**를 선택한다.

• 상태 ($s_t$): 최근 대화 이력($h_t$)의 의미적 임베딩과 현재 단계 인덱스 및 턴 수를 인코딩하는 문맥 벡터($c_t$)로 구성된다.
• 행동 공간 (Action Space): Hill과 O'Grady(2001)를 변형한 7가지 치료적 의도: 지지(Support), 카타르시스 격려(Encourage Catharsis), 명료화(Clarify), 집중(Focus), 감정 식별(Identify Feelings), 부적응적 인지 식별(Identify Maladaptive Cognitions), 경험 정상화(Normalize Experience).
• 보상 함수 ($R_t$): 다음을 균형 있게 조절하는 모듈형 함수:
  • 관련성 ($Rel_t$): 클라이언트 입력과의 일관성 및 단계 목표와의 정렬.
  • 자기 노출 횟수 ($SDC_t$): 1인칭 대명사와 개인적 엔티티 언급을 통해 클라이언트의 참여를 독려.
  • 단계 턴 페널티 ($-\lambda T_t$): 적시 세션 완료를 촉진하기 위해 과도한 루핑 방지.
• 학습: 정책은 근사 정책 최적화(PPO)를 사용하여 최적화된다.

4. 평가 설정

시스템은 통제된 환경에서 LLM 시뮬레이션 클라이언트(불안 장애 및 주요 우울 장애)를 사용하여 평가되었다. 베이스라인으로는 검색 증강 봇, 표준 LLM, 그리고 다양한 프롬프팅 전략(LLM4CBT, Full-Protocol, Stage-Prompt)이 포함되었다.

주요 기여

1. 최초의 단계 구조화 프레임워크: 저자들은 11개 단계와 명시적 목표를 가진 초기 CBT 세션을 모델링하고, 대화 관리를 위한 자동화된 단계 탐지를 갖춘 프레임워크를 제안한다.
2. 하이브리드 아키텍처: DRL 정책이 LLM 생성을 가이드할 치료적 의도를 선택하도록 하여, 대화의 유연성을 유지하면서도 구조적인 진행을 가능하게 하는 LLM-DRL 아키텍처를 개발하였다.
3. 치료적 근거 기반 최적화: 클라이언트 참여, 의미적 관련성, 단계 진행 및 완료를 공동으로 최적화하는 행동 공간과 보상 함수를 설계하였다.
   로써, 시뮬레이션된 참여도, 자기 노출, 세션 효율성 측면에서 검색, 프롬프팅 및 비-DRL 단계 구조화 대안들보다 우수한 성능을 입증하였다.

결과

각 조건당 100회의 세션을 포함한 시뮬레이션 평가 결과:

• 참여 및 노출: DeepSAGE는 불안 장애(AD)와 주요 우울 장애(MDD) 클라이언트 모두에 대해 가장 높은 사용자 발화 길이(UL)와 자기 노출 횟수(SDC)를 달 기록했다. MDD의 경우, 가장 강력한 비-DeepSAGE 베이스라인인 LLM4CBT와 비교하여 UL은 약 59.9%, SDC는 약 80.8% 개선되었다.
• 정서적 강도 감소 (EID): DeepSAGE는 강력한 정서적 완화를 보여주었다. AD 클라이언트에 대해 가장 높은 EID를 달성했으며, MDD에 대해서는 (높은 참여도와 함께 고통 감소를 결다는 점에서) 표준 LLM(높은 EID를 보이지만 낮은 참여도를 보임)과 차별화된 균형 잡힌 결과를 나타냈다.
• 세션 효율성: DeepSAGE는 가장 적은 상담사 발화 수를 요구하면서도 가장 높은 세션 성공률(SSR)을 달 기록했다. 절제 변형 모델인 DeepSAGE_R(무작위 행동 선택)과 비교했을 때, DeepSAGE는 SSR을 각각 약 10.9%(AD) 및 약 8.6%(MDD) 향상시켰으며, 상담사 턴 수는 각각 약 9.3% 및 약 7.0% 감소시켰다.
• 전문가 검토: 도메인 전문가들은 생성된 대화가 대체로 타당하며 인식 가능한 CBT 과정을 보여준다고 평가했으나, 일부는 간헐적인 질문 과잉 의존이나 성급한 해결책 제시를 지적했다.

의의 및 한계

본 논문은 단계 구조화된 대화와 학습된 전략 선택을 결합하는 것이 AI 상담을 위한 유망한 접근 방식임을 주장하며, 대화 제어, 참여도 및 세션 효율성 측면에서의 비교 우위를 입증한다. 결과는 학습된 정책이 복잡한 CBT 세션의 역동성을 탐색하는 데 있어 정적 프롬프팅이나 무작위 행동 선택보다 우월함을 시사한다.

그러나 저자들은 다음과 같은 임상적 유효성에 대한 신중한 입장을 유지한다:

• 시뮬레이션의 특성: 평가는 주로 시뮬레이션된 클라이언트와 모델 기반 지표에 의존한다. 이 결과는 임상적 효과를 입증하기보다는 비교적인 대화 제어 능력의 향상을 보여주는 것이다.
• 안전 제약: 현재의 행동 공간에는 전용 위기 에스컬레이션 또는 의뢰 메커니즘이 부족하다. 안전 스트레스 테스트 결과, 시스템은 고위험 입력에 대해 "부적응적 인지 식별"을 선택하는데, 이는 급성 위기 상황에 적절한 임상적 대응이 아니다.
• 배포 상태: DeepSAGE는 연구 프로토타입이지 면허를 받은 임상 도구가 아니다. 저자들은 면허를 가진 임상의의 감독, 전용 위기 탐지, 그리고 안전 및 효능에 대한 엄격한 인간 평가 없이는 실제 사용자에게 배포해서는 안 된다고 명시적으로 밝히고 있다.

이 연구는 DeepSAGE를 단순한 정신 건강 전문가의 대체재가 아닌, 구조화된 대화 지원이 임상의의 감독과 결합되는 인간-AI 워크플로우를 향한 단계로 포지셔닝한다.