Tell Me: An LLM-powered Mental Well-being Assistant with RAG, Synthetic Dialogue Generation, and Agentic Planning

기술 요약: Tell Me – LLM 기반 정신 건강 보조 도구

문제 정의

대규모 언어 모델(LLM)이 정신 건강 애플리케이션에 빠르게 도입되고 있음에도 불구하고, 현재의 시스템은 세 가지 지속적인 한계에 직면해 있습니다:

1. 맥락 부족: 충분한 맥락적 근거가 부족하여 응답이 일반적이거나 피상적인 수준에 머무는 경우가 많습니다.
2. 데이터 희소성 및 기밀성: 실제 치료 대화에 대한 접근이 제한되어 있어, 데이터셋의 가용성, 재현성 및 특화된 모델 학습을 저해합니다.
3. 정적 기능: 기존의 웰빙 도구 중 상당수는 개인의 필요나 변화하는 정서 상태에 적응하는 능력이 부족하며, 정적인 조언 이상의 기능을 제공하지 못합니다.

방법론

저자들은 책임 있는 LLM 애플리케이션을 위한 경량화되고 확장 가능한 테스트베드로 설계된 오픈 소스 프로토타입인 Tell Me를 소개합니다. 이 시스템 아키텍처는 클라우드 기반(예: GPT-4o, Claude 3.7 Sonnet) 및 로컬(Ollama) 추론을 모두 지원하는 Streamlit 프런트엔드를 통해 통합된 세 가지 별도의 모듈로 구성됩니다.

1. RAG 기반 어시스턴트 (맥락 인지 대화)

이 핵심 모듈은 성찰적이고 지식에 근거한 대화를 제공합니다.

• 지식 베이스: Context–Response 스키마로 재구성된 오픈 소스 데이터셋(Counsel Chat 및 Mental Health Counseling Conversations)을 활용합니다.
• 검색(Retrieval): 벡터화를 위해 BAAI/bge-small-en-v1.5 임베딩 모델을 사용하며, 이는 Massive Text Embedding Benchmark(MTEB)에서의 성능과 추론 효율성을 고려하여 선택되었습니다. 문서는 128 토큰 단위로 청킹(chunking)되며, 코사인 유사도를 통해 상위 3개의 결과를 반환하는 VectorIndexRetriever를 사용하여 검색됩니다.
• 안전성: LangChain을 통한 LLM 기반 가드레일(Sentiment_chain)이 입력을 전처리하여 고위험 신호(예: 자해)를 감지하고, 자유 형식의 생성 대신 결정론적인 위기 대응 라우팅 메커니즘을 트리거합니다.
• 메모리: ChatMemoryBuffer(3,000 토큰 제한)를 사용하여 대화의 일관성을 유지합니다.

2. 합성 대화 생성기 (Synthetic Dialogue Generator)

데이터 희소성 문제를 해결하기 위해, 이 모듈은 사용자 정의 클라이언트 프로필(인구 통계, 고민, 이력)을 조건으로 하는 합성 클라이언트-치료사 대화 스크립트를 생성합니다.

• 아키텍처: 대화 버퍼 메모리(Conversation Buffer Memory)를 갖춘 두 개의 격리된 LLMChain 객체를 사용하여 LangChain을 통해 구현되었습니다.
• 프로세스: "클라이언트 체인"은 사용자 페르소나를 연기하고, "치료사 체인"은 성찰적 경청 기법을 활용합니다. 시스템은 두 모델 사이에서 대화 이력을 반복적으로 전달하여 다회차(multi-turn) 스크립트를 생성합니다.

3. 에이전트 기반 웰빙 플래너 (CrewAI)

이 모듈은 멀티 에이전트 오케스트레이션 프레임워크를 사용하여 대화를 실행 가능한 장기적 지원으로 변환합니다.

• 에이전트:
  • 트랜스크립트 분석가 (Transcript Analyzer): 감정, 고민, 트리거를 추출합니다.
  • 플랜 생성기 (Plan Generator): 구조화된 7일간의 셀프 케어 루틴을 생성합니다.
  • 명상 생성기 (Meditation Generator): 가이드형 오디오 세션을 스크립트화합니다.
• 워크플로우: 에이전트들은 순차적으로 작동합니다. 분석가의 출력값은 플랜 생성기를 위한 엄격한 맥락(context) 역할을 합니다. 최종 명상 스크립트는 텍-투-스피치(TTS) 통합(예: Edge Neural TTS, ElevenLabs)을 통해 비동기적으로 오디오로 변환되어 MP3로 전달됩니다.

주요 기여

1. 맥락 민감형 RAG 어시스턴트: 9개의 LLM과 10개의 웰빙 시나리오를 통해 벤치마킹되었으며, LLM-as-a-judge 프레임워크와 RAG 적용 여부에 따른 블라인드 인간 연구를 통해 검증되었습니다.
2. 합성 대화 생성기: 환자의 기밀성을 침해하지 않으면서도 현실적인 치료적 교환을 생성할 수 있는, 프로필 기반의 안전한 데이터 증강 도구입니다.
3. 에이전트 기반 플래너: 대화를 실행 가능한 셀프 케어 계획과 가이드 명상으로 동적으로 전환하는 CrewAI 기반 워크플로우를 제공하여, 정적 도구의 한계를 극복합니다.

평가 결과

검색 성능 (Retrieval Performance)

30개의 합성 쿼리-문서 쌍을 사용한 검색 전용 평가 결과:

• Hit Rate@5: 1.0000
• MRR@5: 0.9222
• 참고: 저자들은 완벽한 Hit Rate가 제한된 탐색 공간($N=30$)과 합성 쿼리로 인한 결과일 가능성이 높다고 주의를 기울였으며, 이는 주로 무결성 확인(sanity check) 용도로 사용되었습니다.

LLM-as-a-Judge 벤치마크

9개의 모델이 10개의 프롬프트에 대해 5가지 차원(안전성, 공감도, 유용성, 명확성, 전반적 품질)에서 평가되었습니다.

• 최고 성능 모델: Claude 3.7 Sonnet이 GPT-5에 의한 평가에서 가장 높은 점수(9.5/10)를 기록했습니다.
• 관찰 사항: 고성능 모델(Claude, Gemma-3, LLaMA-3)은 공감적 검증, 초대형 대화(invitational dialogue), 문화적 감수성을 보여주었습니다. 저성능 모델은 사용자의 경험을 병리화하거나 일반적이고 최소화하는 경향이 있는 조언을 제공하는 문제를 보였습니다.

인간 평가 (Human Evaluation)

10명의 참가자를 대상으로 RAG 기능이 활성화된 어시스턴트와 비 RAG 베이스라인을 비교하는 피험자 내 설계(within-subject) 연구를 진행했습니다.

• RAG의 장점: 참가자들은 RAG 시스템이 명확성(4.2 대 3.5)과 도움됨(4.0 대 3.9) 측면에서 유의미하게 높다고 평가했습니다. 질적 피드백에서 RAG 어시스턴트는 "체계적이고", "핵심을 짚으며", 사용자의 입력을 잘 검증할 수 있다는 평가를 받았습니다.
• 트레이드오프: 비 RAG 시스템은 더 빠른 속도를 보였으나 덜 몰입적이라는 평가를 받았습니다. RAG 시스템은 간혹 응답 시간이 느려지는 현상이 있었습니다.
• 종합: RAG 어시스턴트는 더 높은 평균 종합 점수(3.8 대 3.6)를 기록하였으며, 이는 검색 기반의 근거(retrieval grounding)가 성찰적 지원을 위한 가치를 향상시킨다는 것을 시사합니다.

의의 및 주장

본 논문은 Tell Me를 전문적인 심리 치료의 대체제가 아니라, 정서적 처리를 위한 성찰적 공간이자 책임 있는 혁신을 위한 연구 테스트베드로 규정합니다.

• 연구적 유용성: 이 시스템은 프로필 기반의 합성 대화를 생성하는 메커니즘을 제공함으로써, 비밀 유지가 필요한 치료 데이터의 부족 문제를 해결하고 더 안전한 실험과 데이터 증강을 가능하게 합니다.
• 간극 해소: 본 연구는 정적인 도구가 실패하는 지점에서 동적 적응(에이전트 기반 플래너를 통해)을 제공함으로써, 대화형 어시스턴트가 어떻게 지원의 장벽을 낮출 수 있는지 보여줍니다.
• 학제간 잠재력: 저자들은 이 시스템을 자연어 처리(NLP) 연구자와 정신 건강 전문가가 협력하여 인간-AI 상호작용을 발전시킬 수 있는 플랫폼으로 강조합니다.
• 겸허한 태도: 저자들은 표본 크기가 작은 인간 연구, 면허를 가진 전문가에 의한 임상적 검증 부재, 그리고 합성 대화가 실제 치료적 교환의 미묘한 차이를 완전히 포착할 수 없다는 점 등 한계점을 명시적으로 인정합니다. 이 시스템은 신체 활동이 의료적 처치를 보완하는 것과 마찬가지로, 일상적인 성찰과 정서적 유지를 위한 프로토타입으로 제시됩니다.