기술 요약: PSYCHEPASS

문제 정의

정신 건강 관리 분야에서 대규모 언어 모델(LLM)을 평가하는 작업은 두 가지 형태의 불안정성을 초래하는 근본적인 "앵커 없는 결함(unanchored defect)"에 직면해 있습니다:

1. 프로세스 표류(Process Drift): 현재의 시뮬레이션 패러다임은 종종 통제되지 않은 자유 형식의 대화나 단발성 질의응답에 의존합니다. 임상적 방향성이 결여된 이러한 상호작나용은 목적 없이 방황하며, 고위험 시나리오(예: 트라우마 처리)를 유도하거나 특정 치료 역량을 측정하는 데 실패하여, 결과적으로 일반적인 공감과 같은 피상적인 특징만을 포착하는 평가에 그칩니다.
2. 표준 표류(Standard Drift): 기존의 판단 방법은 주로 정적인 점수 부여 방식(예: 리커트 척도)을 사용합니다. 이는 평가자가 비교 참조점 없이 모호하고 절대적인 기준에 의존하게 만들어, 평가의 붕괴(evaluation collapse)를 초고착화합니다. 즉, 점수가 좁은 범위에 밀집되어 변별력이 떨어지게 되며, 이로 인해 정확한 순위 매기기와 최적화가 불가능해집니다.

방법론: PSYCHEPASS 프레임워크

PSYCHEPASS는 시뮬레이션에서의 **상호작용 궤적(Interaction Trajectory)**과 판단에서의 **배틀 궤적(Battle Trajectory)**이라는 두 가지 추적 가능한 궤적을 고정함으로써 치료적 역량을 보정하는 통합 프레임워크를 도입합니다.

1. 상호작용 궤적의 고정 (시뮬레이션)

프로세스 표류를 제거하기 위해, 본 프레임워크는 단회기 치료(SST) 이론에 기반한 **스크립트 기반 탐사(Scripted Probing)**로 개방형 대화를 대체합니다.

• 클라이언트 프로필: 시뮬레이션되는 클라이언트는 비식별화된 실제 데이터를 바탕으로 초기화되며, 핵심 동기, 반응 패턴, 특정 갈등 사건을 포함하는 고충실도 페르소나로 확장됩니다.
• 역량 차원: 평가는 동맹 형성(공감, 통찰, 참여), 전문적 기법(기술, 암시, 재구조화, 진행, 트라우마), 신뢰성 지원(위기, 윤리, 다양성, 기억)의 세 가지 범주로 분류된 12가지 특정 차원을 대상으로 합니다.
• 궤적 제어: 시뮬레이션은 5단계(평가, 패턴 인식, 갈등 진화, 행동 구축, 통합)로 구조화됩니다. 시스템 프롬프트는 각 턴마다 시뮬레이션된 클라이언트의 행동을 동적으로 업데이트하여 9가지 로컬 역량 차원을 겨냥한 특정 반응을 유도함으로써, 포괄적인 "스트레스 테스트"를 보장합니다.

2. 배틀 궤적의 고정 (판단)

표준 표류를 해결하기 위해, 본 프레임워크는 정적 점수 부여 대신 **동적 쌍체 배틀(Dynamic Pairwise Battles)**을 채택합니다.

• 스위스 시스템 토너먼트: 계산 비용($O(N^2)$ 대비 $O(N \log N)$)을 관리하기 위해 4라운드 스위스 시스템 토너먼트를 사용합니다. 모델들은 유사한 승률을 가진 상대와 매칭되어, 강력한 모델들이 서로 경쟁하도록 보장합니다.
• 편향 제거: LLM 판사의 위치 편향(position bias)에 대응하기 위해 **단계별 슬라이싱 편향 제거 전략(stage-slicing debiasing strategy)**을 사용합니다. 대화 세그먼트는 교차 패턴(모델 A의 세그먼트 1, 모델 B의 세그먼트 1, 모델 B의 세매트 2, 모델 A의 세그먼트 2)으로 제시되어 선행자 이점(first-mover advantage)을 상쇄합니다.
• Elo 레이팅 추정: Bradley-Terry 모델을 사용하여 쌍체 결과(pairwise outcomes)를 전역 최적화(최대 우도 추정)를 통해 안정적인 스칼라 Elo 레이팅으로 변환함으로써, 견고하고 비교 가능한 순위를 제공합니다.

3. 궤적 기반 RL을 통한 최적화

프레임워크는 토너먼트 궤적이 **온-폴리시 강화 학습(On-Policy Reinforcement Learning)**을 위한 보상 신호로 변환되는 폐쇄 루프를 구축합니다.

• 보상 모델링: 배틀 결과의 부분 순서(partial orders)를 학습하여 치료적 품질을 차원별로 구분하는 보상 모델($M_{RM}$)을 훈련합니다.
• 그룹 상대 정책 최적화 (GRPO): 타겟 LLM은 토너먼트에 사용된 것과 동일한 클라이언트 프로필 상에서 보상 모델을 사용하여 최적화됩니다. 목적 함수는 높은 보상을 받는 응답의 이점을 극대화하는 동시에 KL 발산을 통해 분포 변화(distribution shift)를 억в합니다.
• 일반화 검증: 모델이 특정 상호작용 패턴을 암기하는 것이 아니라 일반화된 치료 원칙을 학습했는지 확인하기 위해, 100개의 별도 클라이언트 프로필 세트에서 성능을 검증합니다.

주요 결과

본 프레임워크는 도메인 특화 상담 모델과 최첨단 범용 모델을 포함한 12개의 LLM을 평가하는 데 적용되었습니다.

• 역량 지형: 독점적인 프런티어 범용 모델(예: GPT-5.2, Gemini 3 Pro)은 도메인 특화 모델보다 현저히 높은 성능을 보였습니다. 도메인 모델은 공감과 같은 좁은 지표에서는 강점을 보였으나, 엄격하고 장기적인 상담 시나리오에 필요한 추론, 세상 지식, 지시 이행 능력은 부족했습니다.
• 차원별 차별화: 모델들은 뚜렷한 프로필을 나타냈습니다. 예를 들어, DeepSeek-V3.2는 다양성 측면에서 매우 높은 점수를 받았으나 다른 영역에서는 낮았습니다. 반면 PsyLLM은 공감 능력에서 GPT-5.2를 능가했으나 기억력과 진행 능력에서는 어려움을 겪었습니다.
• 인간 정렬: PSYCHEPASS는 인간 전문가의 판단과 높은 일치도(Cohen's $\kappa > 0.7$)를 보였으며, 강한 모델 대 약한 모델의 대결에서는 거의 완벽한 일치(1.000)를 달랐고, 일부 사례에서는 전문가 간 일치도를 상회하기도 했습니다.
• RL 효과성: 궤적 기반 RL 훈련 후, 타겟 모델은 원래의 모델을 상대로 62:25의 승률을 달성했습니다. 다양성(4.0% $\to$ 92.0%)과 공감(31.0% $\to$ 82.0%)에서 유의미한 개선이 관찰되었으나, 직접적인 조언 제공에서 치료적 참여로의 전환으로 인해 위기 및 윤리 차원에서는 일부 퇴보가 발생했습니다.

의의 및 주장

본 논문은 PSYCHEPASS가 엄격하고 변별력 있으며 추적 가능한 패러다임을 구축함으로써 LLM의 치료적 역량을 평가하는 데 있어 결정적인 격차를 해소한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 보정 프레임워크: 앵커 없는 시뮬레이션과 정적 점수 부여를 넘어, 앵커링된 상호작용 및 배틀 궤적을 기반으로 LLM을 순위 매기고 최적화하는 최초의 통합 프레임워크를 제공합니다.
2. 보상 생성: 온-폴리시 RL을 통해 LLM의 상담 역량을 정렬하기 위한 고충실도 보상을 얻는 실행 가능한 경로를 입증하며, 평가에서 최적화에 이르는 완전한 루프를 생성합니다.
3. 신뢰의 토대: 인간 전문가와의 높은 일치도를 검증하고 효과적인 최적화를 입증함으로써, PSYCHEPASS는 전문적인 감독 하에 스크리닝, 심리 교육 및 참여를 위한 지원 도구로서 임상 워크플로우에 통합될 수 있는 신뢰할 수 있고 지속적으로 진화하는 상담 시스템의 토대를 마련하는 것을 목표로 합니다.

저자들은 PSYCHEPASS가 인간 치료사를 위한 임상 표준이나 면허를 가진 전문가를 대체하는 것이 아님을 명시적으로 밝힙니다. 대신, 본 도구는 AI 어시스턴트가 지원적 메커니즘으로서 임상 워크플로우에 통합되기 전 전문적인 기준을 충족하는지 확인하기 위한 보정 도구입니다.