기술 요약: StoryMI: 조종 가능한 다중 에이전트 동기부여 면담 대화 생성

문제 제기

대형 언어 모델 (LLM) 은 대화 생성에서 유창함을 보여주지만, 동기부여 면담 (MI) 에 대한 선행 연구는 세 가지 중요한 장벽에 직면해 있습니다:

1. 상황적 토대 부재: 기존 방법들은 종종 추상적인 리커트 척도 평가나 분리된 회차 단위 생성에 의존하여, MI 의 핵심인 풍부한 내러티브 맥락과 개인적 의도를 포착하지 못합니다.
2. 불충분한 동적 제어 가능성: 현재의 접근 방식은 다중 회차 대화 전반에 걸쳐 거시적 상담 전략 (예: 반영과 질문의 특정 비율) 을 강제하는 데 어려움을 겪으며, 종종 정적이거나 스크립트에 의존하는 상호작용으로 이어집니다.
3. 평가의 충실도: 표준 어휘 지표와 일반적인 LLM 을 심사관으로 활용하는 평가 기준은 거시적 치료 전략과의 정합성 및 치료적 태도의 진정성과 같은 임상적으로 의미 있는 차이를 포착하지 못합니다.

방법론: StoryMI 프레임워크

StoryMI 는 통제 가능하고 상황적으로 토대가 마련된 MI 대화를 생성하도록 설계된 다중 LLM 에이전트 프레임워크입니다. 이는 Client Agent(내담자 에이전트), Therapist Agent(치료사 에이전트), Interaction Management Agent(상호작용 관리 에이전트) 라는 세 가지 서로 다른 에이전트가 관여하는 3 단계 워크플로우를 통해 작동합니다.

1. 설문지 기반 프로파일링

시스템은 표준화된 DSM-5 설문지를 사용하여 구조화된 내담자 프로파일을 생성합니다. LLM 은 13 가지 증상 영역 (예: 우울증, 분노, 수면) 에 걸쳐 23 개 항목에 대한 심각도 점수 (0–4) 와 짧은 1 인칭 근거를 생성합니다. 이는 대화에 대한 심리적으로 일관되고 해석 가능한 제어 신호 ($P$) 를 생성합니다.

2. 상황적 스토리 맥락화

추상적인 점수와 자연스러운 대화 간의 간극을 메우기 위해, 시스템은 내담자 프로파일 $P$ 를 약 200 단어 분량의 상황적 스토리 ($N$) 로 확장합니다. 이 내러티브는 내담자의 증상을 구체적인 생활 경험, 특정 장면, 정서적 질감에 기반하여 토대함으로써, 수동적인 큐레이션 없이도 다중 회차 상호작용 전반에 걸쳐 페르소나 일관성을 보장합니다.

3. 통제 가능한 MI 대화 시뮬레이션

핵심 시뮬레이션은 조정된 루프로 구성됩니다:

• Client Agent: 상황적 스토리와 대화 기록을 기반으로 내담자 MI 코드 (변화, 유지, 중립) 와 짝을 이루는 발화를 생성합니다.
• Interaction Management Agent: 조정자 역할을 수행합니다. 내담자의 동기 부여 지향을 분류하고, MI 코드 세트 (반영, 질문, 입력) 에서 적절한 치료사 전략 ($\ell^*_T$) 을 선택하며, 공유 대화 상태를 업데이트합니다. 이 에이전트는 반영 - 질문 비율 > 2.0 유지와 같은 거시적 제약을 강제합니다.
• Therapist Agent: 선택된 전략과 현재 대화 상태를 조건으로 응답을 생성합니다.

이 과정은 종료 조건 (예: 자연스러운 종료 신호 또는 최대 회차 제한) 이 충족될 때까지 반복되어, 완전히 시뮬레이션되고 MI 일관성을 갖춘 대화가 완성됩니다.

주요 기여

1. 다중 에이전트 워크플로우: 상황적 스토리 맥락화와 동적으로 통제 가능한 MI 코드 상호작용을 통합하는 구조화된 워크플로우를 설계하고, 6 가지 대표 LLM 을 대상으로 벤치마크했습니다.
2. MI 특화 평가 프로토콜: 표준 어휘 지표와 6 가지 MI 특화 행동 지표 (예: 전략 준수, 복합 반영 비율, 개방형 질문 비율) 를 결합한 2 단계 평가 시스템과 LLM 및 인간 심사관을 위한 6 차원 평가 기준을 제안했습니다.
3. 데이터셋 구축: 1,000 개의 고유한 설문지 - 스토리 쌍에 기반한 6,000 개의 시뮬레이션 다중 회차 대화로 구성된 데이터셋을 생성했으며, 12 가지 MI 코드와 13 가지 증상 영역을 포괄합니다.

실험 결과

본 연구는 StoryMI 프레임워크를 사용하여 6 가지 LLM(GPT-5-Nano, LLaMA 3.1-8B, Phi-4-14B, OpenChat-7B, Gemma-7B, Qwen 2.5-7B) 을 벤치마크했습니다.

• 전략 준수: 프레임워크는 성공적으로 거시적 제어를 가능하게 했습니다. GPT, OpenChat, Gemma, Qwen 과 같은 모델들은 전략 준수 점수가 80% 이상을 기록하여 목표 MI 분포 (50% 반영, 25% 질문, 20% 입력) 와 밀접하게 정합되었습니다. 모든 모델은 복합 반영 비율에 대한 권장 임계값 (>50%) 을 초과했습니다.
• 어휘 대 임상적 품질: 어휘 지표 (Perplexity, Distinct-2) 만으로는 치료적 품질을 예측하지 못했습니다. 예를 들어, Phi-4-14B 는 높은 어휘 다양성을 보였으나 전략 준수는 낮았으며, 반면 Qwen 은 중간 수준의 어휘 점수에도 불구하고 높은 반영 깊이와 복합 반영 비율을 보여주었습니다.
• Ablation 연구: MI 코드를 제거하면 전략 준수율이 크게 감소 (80.9% 에서 64.2% 로) 하여, 상호작용 수준의 코딩이 거시적 제어에 필수적임을 확인했습니다. 상황적 스토리를 제거하면 코드 엔트로피가 감소하여 내러티브 토대가 행동 다양성을 풍부하게 함을 시사했습니다.
• 인간 정합성: 인간 전문가와 LLM 심사관은 '깊이'와 '진전'에 대해 강한 합의를 보였으나, '자연스러움', '공감', '준수'에 대해서는 상당한 차이를 보였습니다. 특히 개방형 질문 비율이 높은 모델들은 더 높은 인간 공감 평가를 받아, 개방형 질문이 수용적인 치료적 태도를 신호한다는 MI 원칙을 검증했습니다.

의의 및 한계

본 논문은 구조화된 다중 에이전트 조정이 상황적으로 토대가 마련되고 전략적으로 통제 가능한 치료적 일관성을 갖춘 대화 생성을 가능하게 한다고 주장합니다. 이 연구는 MI 스타일의 품질이 모델 규모에만 의존하는 것이 아니라 대화 전략을 통제함으로써 형성될 수 있음을 보여줍니다.

저자들은 평가 프레임워크가 향후 연구, 특히 다중 모달 치료로의 통제 가능한 생성 확장 및 실제 임상 훈련 환경에서의 시스템 검증을 위한 기초를 제공한다고 강조합니다. 그들은 DSM-5 서구 진단 규범에 대한 의존성, 실제 내담자와의 상호작용 부재, 특정 MI 전략과 치료 결과 간의 인과 관계를 확립하기 위한 종단 연구의 필요성 등 한계를 인정합니다. 이 작업은 자격을 갖춘 정신건강 전문가를 직접 대체하는 것이 아니라 시뮬레이션 및 훈련을 위한 연구 도구로 제시됩니다.