기술 요약: 인간 정렬된 정신 건강 지원을 위한 치료적 판사 및 멀티 에이전트 시스템 훈련

문제 정의

대규모 언어 모델(LLM)은 정신 건강 지원 분야에서 유망한 가능성을 보여주고 있으나, 평가가 단순한 수동적 지표를 넘어 실행 가능한 제어 신호로 기능하지 않는 한 그 치료적 품질을 개선하는 데 한계가 있다. 기존의 접근 방식들은 '평가-실행 간극(evaluation–action gap)'이라는 결정적인 문제에 직면해 있다. 즉, 응답을 점수화하거나 필터링하는 것만으로는 평가 신호가 수정을 유도하도록 명시적으로 사용되지 않는 한 품질 개선을 보장할 수 없다. 또한, 기존의 평가자들은 검증된 치료적 루브릭(rubric)이나 안전 중심적 선호도를 결여한 채 독점적인 폐쇄형 모델에 의존하고 있으며, 오픈 소스 모델들은 이러한 고위험 영역에서 일반적으로 성능이 저하되는 경향이 있다. 핵심 과제는 단순히 생성 능력을 갖추는 것이 아니라, 다차원적이고 인간 정렬된 치료 표준에 대응하여 표적화되고 해석 가능한 정교화를 어떻게 유도할 것인가 하는 점이다.

방법론

저자들은 다차원적인 인간 정렬 평가에 의해 구동되는 '의사결정-정교화(decision-refinement)' 문제로 치료적 응답 생성을 변환하는 2단계 프레임워크를 제안한다.

1단계: TheraJudge (평가자)

첫 번째 구성 요소는 TheraJudge로, 가이드(Guidance), 정보성(Informativeness), 관련성(Relevance), 안전성(Safety), 공감(Empathy), 유용성(Helpfulness), 이해도(Understanding)라는 7가지 심리학적 차원에 대해 신뢰할 수 있는 판단을 내리도록 훈련된 오픈 소스 치료적 평가자이다.

• 훈련 데이터: 이 모델은 인간이 주석을 달은 응답을 포함하는 Mental-Align-100K 데이터셋의 대화 10,000건을 통해 훈련된다.
• 최적화: TheraJudge는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 훈련되며, 이는 응답 그룹(특히 16개 그룹)을 비교하여 치료적 품질의 미세한 차이를 학습한다.
• 보상 구조: 훈련에는 두 가지 구성 요소의 보상 시스템이 사용된다:
  1. 포맷 보상(Format Reward): 출력이 7개의 키를 모두 가진 유효한 JSON 구조임을 보장한다.
  2. 점수 기반 보상(Score-based Reward): 안전성(가중치 0.20) 및 공감(가중치 0.25)과 같이 임상적으로 중요한 차원을 우선순위에 둔 7개 차원의 가중 합계이다.
• 기반 모델: 평가자는 강력한 오픈 소스 성능과 투명성을 위해 선택된 Qwen2.5-7B를 사용하여 구현된다.

2단계: TheraAgent (정교화 시스템)

두 번째 구성 요소인 TheraAgent는 TheraJudge의 평가를 협력적인 멀티 에이전트 정교화 과정을 통해 실행한다. 이는 평가자 편향을 방지하기 위해 평가와 생성을 분리하며, 역할이 분리된 아키텍처를 사용한다:

1. 평가자 (TheraJudge): 초기 응답을 평가하고 구조화된 다차원 등급을 제공한다.
2. 비평가 (Critic): 평가자의 낮은 점수를 바탕으로 응답의 구체적인 문제점(예: 행동 부족, 안전 프레이밍 누락)을 식별한다.
3. 코치 (Coach): 5점 미만으로 평가된 차원에 대해 간결하고 실행 가능한 제안을 제공하며, 수정이 필요한 응답의 특정 부분을 명시적으로 안내한다.
4. 치료사 (Therapist/Generator): 비평가가 식별한 문제와 코치의 가이드를 통합하여 임상적 적절성을 유지하면서 응답을 재작성한다.

• 프로세스: 이 사이클은 최대 8회까지 반복된다. 점수가 안정화되거나 임계값을 초과하면 조기에 종료되며, 반복 과정 중 가장 높은 품질의 응답이 선택된다. 이 단계에서 사용되는 생성기는 견고성을 확보하기 위해 평가자와 구별되는 LLaMA 3.1–8B이다.

주요 기여

1. 의사결정-정교화의 공식화: 본 논문은 치료적 응답 생성을 다차원적인 인간 정렬 판단이 명시적인 제어 신호로 작용하는 의사결정-정교화 문제로 정의함으로써, '평가-실행 간극' 문제를 직접적으로 해결한다.
2. TheraJudge: 높은 신뢰도(ICC > 0.87)를 달면서 7가지 치료적 차원에 대해 감독 학습 기반 모델 및 강력한 폐쇄형 모델을 능가하는 오픈 소스 선호도 기반 최적화 평가자를 도입하였다.
3. TheraAgent: 평가 신호를 표적화된 응답 수정으로 변환하는 멀티 에이전트 프레임워크를 제시한다. 단일 모델의 재생성과 달리, 이 시스템은 고품질 응답은 보존하면서 저품질 응답만을 선택적으로 수리한다.
4. 실증적 검증: 면허를 소지한 임상의에 의한 블라인드 평가를 통해 평균 점수 개선뿐만 아니라 효과 크기, 저품질 응답의 회복률, 검사자 간 신뢰도를 측정하는 광범위한 평가를 수행하였다.

결과

프레임워크는 267개의 까다로운 정신 건강 대화에 대해 평가되었으며, 응답은 면허를 소지한 임상의들에 의해 7개 차원에서 평가되었다.

• 평가자 성능: TheraJudge는 임상의의 평가와 비교했을 때 **0.87에서 0.95 사이의 급내 상관계수(ICC)**를 달성하였으며, 이는 감독 학습 기반 베이스라인(Qwen-SFT) 및 폐쇄형 모델(예: GPT-4o, Claude-3.7, o4-mini)을 유의미하게 능가하는 수치이다. 특히, 폐쇄형 모델이 불안정한 모습을 보였던 안전성 및 공감과 같은 핵심 차원에서 TheraJudge는 우수한 성능을 보였다.
• 치료적 품질 개선: TheraAgent는 TheraJudge의 평가를 바탕으로 블라인드 평가 하에서 전체 평균 인간 평가 치료적 품질을 4.26에서 4.69로 (+0.43 포인트) 향상시켰다(5점 척도 기준).
• 표적 회복: 시스템은 안전하지 않거나 저품질인 출력을 교정하는 데 높은 효능을 입증했다. 저품질 응답(초기 점수 ≤3)은 평균 +2.45 포인트(110% 이득) 개선되었다.
  • 안전성 회복: 안전하지 않은 응답은 1.74에서 4.93으로 개선되어, 허용 가능한 안전 수준에 도달하는 100% 회복률을 달성했다.
  • 전체 회복: 초기 저품질 등급의 94%가 성공적으로 허용 가능한 임계값 위로 격상되었다.
• 신뢰성: 개선 사항은 독립적인 임상의들에 의한 2차 블라인드 평가를 통해 검증되었으며, 품질 임계값에 대해 96%의 정확한 일치(exact agreement) 및 **100% 다수 일치(majority agreement)**를 기록했다.
• 절제 연구(Ablation Studies): 명시적 평가자를 제거했을 때 개선 폭이 0.21 포인트 감소하였으며, 이는 구조화된 다차원 피드백이 효과적인 정교화에 필수적임을 확인시켜 준다.

의의 및 주장

본 논문은 정신 건강 LLM의 효과적인 정렬은 단순히 더 강력한 생성 능력에 의존하는 것이 아니라, 인간 정렬된 평가에 기반하여 행동하는 것에서 비롯된다고 주장한다. 평가와 실행 사이의 루프를 닫음으로써, 제안된 프레임워크는 다음을 가능하게 한다:

• 해석 가능한 개선: 시스템은 특정 결함(예: 안전 프레이밍 부족)을 식별하고, 응답의 다른 측면을 저하시키지 않으면서 이를 교정한다.
• 안전성 및 일관성: 안전하지 않은 출력을 일관되게 교정하는 동시에 이미 수용 가능한 응답에 대해서는 높은 성능을 유지한다.
• 오픈 소스의 생존 가능성: 특화된 인간 정렬 평가자와 구조화된 정교화 파이프라인을 갖춘 오픈 소스 모델이 핵심적인 안전 및 공감 차원에서 독점적인 폐쇄형 모델의 평가자를 능가하는 치료적 품질을 달성할 수 있음을 입증한다.

저자들은 결론적으로, 고위험 영역에서 반복적이고 표적화된 응답 정교화를 위한 동적이고 실행 가능한 제어 신호로서 평가가 기능하는 프레임워크를 구축하는 것이 단순한 생성 지표를 넘어선다는 점을 강조한다.