Generative AI Purpose-built for Social and Mental Health: A Real-World Pilot

기술 요약: 사회적 및 정신 건강을 위해 특화된 생성형 AI: 실제 사례 연구 파일럿

문제 제기
정신 건강 문제는 전 세계적인 장애의 주요 원인으로 남아 있으나, 지리적 격리, 경제적 제약, 전문가 부족, 낙인 효과 등의 장벽이 치료를 가로막고 있다. 디지털 중재 기술이 접근성을 개선해 왔지만, 대부분의 연구는 실시간 비디오 테라피나 규칙 기반 챗봇에 집중되어 있어 개인화 수준이 제한적이었다. 거대언어모델(LLM) 챗봇이 자연스럽고 개인화된 대화를 제공할 수 있다는 예비 연구들이 존재하지만, 통제된 무작위 대조 시험(RCT) 이외의 실제 환경에서 이들의 타당성, 안전성 및 효과성에 대한 증거는 부족한 실정이다. 특히, 임상 데이터로 학습된 파운데이션 모델이 안전 가드레일을 유지하고, 사용자 참여를 지속하며, 자연스러운 환경에서 이질적인 증상 궤적을 생성할 수 있는지에 대한 평가가 필요하다.

연구 방법론
본 연구는 정신 건강 지원을 위해 특별히 학습된 파운데이션 모델인 "Ash"를 평가하기 위한 단일 군, 종단적 자연주의 파일럿 연구이다.

• 참가자: Meta 광고를 통해 1,808명의 사용자를 모집하였으며, 최종 분석 대상은 미국에 거주하는 성인 305명($N=305$, 평균 연령 41.7세, 연령 범위 1873세)이다. 선정 기준은 영어 숙련도, 스마트폰 사용 가능 여부, 그리고 환자 건강 설문지(PHQ-9) 또는 범불안장애 척도(GAD-7) 점수가 10점 이상인 경우였다. 제외 기준은 활성 자살 사고(C-SSRS 항목 36), 정신병적 장애, 심각한 약물 남용, 또는 증상을 더 잘 설명할 수 있는 의학적 상태를 포함한다.
• 중재: 사용자는 모바일 기기를 통해 텍스트 또는 음성으로 Ash와 상호작용하였다. 이 모델은 10만 시간 이상의 비식별화된 정신 건강 전사 데이터(임상 인터뷰, 사례 연구)를 바탕으로 사전 학습되었으며, 임상가 주석을 통한 지도 미세 조정(Supervised Fine-tuning)을 통해 정렬되었다. 학습 데이터에는 다양한 치료 양식(예: CBT, DBT, ACT, 동기 부여 상담)이 포함되었다. 시스템은 고재현율(high-recall)의 유해 콘텐츠 탐지를 위한 임베딩 기반 분류기와, 플래그가 지정된 메시지를 차단하거나 교체하는 LLM 안전 검증 레이어로 구성된 2단계 안전 아키텍처를 채택하였다.
• 절차: 참가자들은 옵트인(opt-in) 동의를 제공하고 기초 평가를 완료하였다. 평가는 6주 동안 2주 간격으로 반복되었으며, 10주 차에 최종 추적 조사를 실시하였다. 측정 도구로는 PHQ-9, GAD-7, 우울증을 위한 행동 활성화 척도(BADS), UCLA 외로움 척도, 다차원적 지각 사회적 지지 척도(MSPSS), 그리고 작업 동맹 척도-단축 보고(WAI-SR)가 사용되었다.
• 분석 전략:
  • 안전성: 임상가들이 플래그가 지정된 모든 세션(전체의 1.02%)을 검토하여 에스컬레이션 프로토콜 준수 여부를 확인하였다. 모델의 적절성은 10가지 임상 시나리오(예: 망상, 조증)에 대해 각 100회의 생성을 수행하여 테스트되었다.
  • 궤적 모델링: 잠재 성장 혼합 모델(LGMM)을 사용하여 우울, 불안, 사회적 지지, 행동 활성화 전반에 걸친 이질적인 변화 패턴을 동시에 식별하였다.
  • 참여 분석: 혼합 효과 모델을 통해 참여 지표(활성 일수, 분, 교환된 단어 수)와 증상 감소($\Delta$PHQ-9) 사이의 관계를 궤적 클래스별로 층화하여 조사하였다.
  • 예측 요인: 다항 로지스틱 회귀 분석을 통해 기초 인구통계학적 특성과 2주 차 치료 동맹이 궤적 멤버십의 예측 변수임을 확인하였다.

주요 결과

• 임상적 결과: 우울 및 불안 증상의 유의미한 감소가 관찰되었다. 10주 차 추적 조사에서 코헨의 $d$ 효과 크기는 PHQ-9의 경우 0.93 (95% CI [0.76, 1.13]), GAD-7의 경우 0.79 (95% CI [0.65, 0.96])였다. 악화율은 낮았다 (GAD-7 1.83%, PHQ-9 2.29%).
• 궤적의 이질성: LGMM은 네 가지 임상 결과 모두에서 세 가지 뚜렷한 궤적을 식별하였다:
  1. 급격한 개선군: 9.5% ($n=29$)
  2. 개선군: 42.3% ($n=129$)
  3. 비반응군: 48.2% ($n=147$)
     기초 중증도는 그룹 간 유사했으나, 차이는 변화의 속도와 동기화에서 기인했다.
• 사회적 및 기능적 결과: 외로움, 지각된 사회적 지지, 사회적 상호작용 횟수의 개선은 10주 차 추적 조사에서도 지속되었다.
• 안전성 및 적절성: 총 7,493개의 세션 중 76개(1.02%)가 위험으로 플래그가 지정되었으며, 모두 인간 자원에 정확히 에스컬레이션되었다. 1,200개의 세션을 무작위 샘플링한 결과, 놓친 위기 메시지(위음성)는 없었다. 10가지 임상 시나리오에 대한 스트레스 테스트에서 모델은 인간 치료사 벤치마크와 유사한 87.7%의 통과율을 달 기록했다.
• 참여 및 동맹: 평균 사용 시간은 9.02시간($SD=11.5$)이었다. 높은 참여도(활성 일수, 분, 단어 수)는 특히 "개선군"과 "급격한 개선군" 클래스에서 PHQ-9 감소와 유의미한 상관관계가 있었다. 치료 동맹(WAI-SR)은 전통적인 케어와 유사한 수준(평균 점수 ~4.0)이었으며, 개선 궤적 멤버십을 예측하는 변수였다.

의의 및 주장
저자들은 본 연구가 임상적으로 근거를 갖춘 생성형 AI 파운데이션 모델이 정신 건강 지원을 위해 실현 가능하고, 매력적이며, 수용 가능하다는 것을 보여주는 최초의 실제 환경, 자연주의적 증거를 제공한다고 주장한다. 본 연구는 다음을 입증한다:

1. 안전성 관리가 가능하다: 자동화된 가드레일은 모든 메시지에 대한 인간의 개입 없이도 라이브 환경에서 위험을 효과적으로 탐지하고 에스컬레이션할 수 있다.
2. 효능이 관찰 가능하다: 구조화된 모니터링이나 일일 알림 없이도 비구조화된 실제 사용 환경에서 RCT 결과와 유사한 증상 감소를 달 수 있다.
3. 메커니즘이 치료와 일치한다: 치료 동맹, 참여, 증상 개선 사이의 관계는 전통적인 심리 치료의 결과와 일치하며, 이는 AI 모델이 단순한 대체제가 아닌 관계적 가교 역할을 할 수 있음을 시사한다.
4. 확장 가능성: 높은 참여도와 낮은 악화율은 이러한 도구가 정신 건강 서비스의 범위를 확장할 수 있음을 시사하지만, 저자들은 고위험군(급성 자살 사고, 정신병)의 제외가 일반화 가능성을 제한한다는 점을 언급하였다.

본 논문은 이러한 결과가 실제 환경에서의 정신 건강 GAI에 대한 추가 조사를 뒷받침하며, 안전 표준을 유지하면서도 의료 접근성을 확대하기 위한 유효한 구성 요소로서 해당 기술을 위치시킨다고 결론짓는다.