Depression Symptoms and Relational Patterns in 187k ChatGPT Histories

기술 요약: 18만 7천 건의 ChatGPT 대화 기록에 나타난 우울 증상 및 관계적 패턴

문제 제기
ChatGPT와 같은 대규모 언어 모델(LLM)은 점점 더 개인적이고 상시 이용 가능한 대화형 시스템으로 활용되고 있다. CSCW 및 HCI 분야의 선행 연구들이 개인이 네트워크 시스템을 통해 어떻게 정보를 공개하고 동료 지원을 받는지 조사해 왔으나, 우울 증상을 겪는 사람들이 비인간적이고 상시 가동되는 대화형 에이전트와 어떻게 상호작 작용하는지에 대해서는 알려진 바가 거의 없다. 전통적인 온라인 지원 커뮤니티와 달리, LLM은 동료, 중재자 또는 임상의 없이 일대일 상호작용을 제공한다. 본 연구는 다양한 수준의 우울 증상을 가진 개인들이 ChatGPT를 어떻게 활용하는지 조사함으로써 이 간극을 메우고자 하며, 특히 이러한 상호작용이 하나의 부상하는 "비공식적 지원 인프라(informal support infrastructure)"로서 기능하는지, 그리고 LLM의 응답이 전문적인 재안내(professional redirection)를 포함하여 사용자의 고통에 적절히 적응하는지를 탐구한다.

연구 방법론
본 연구는 2026년 봄, Prolific을 통해 모집된 766명의 참가자로부터 얻은 187,093건의 ChatGPT 대화 데이터셋을 분석한다.

• 증상 측정: 참가자들은 PHQ-8(Patient Health Questionnaire-8) 설문을 완료했다. 본 연구는 두 그룹을 비교한다: 점수 10점 미만 그룹($N=571$, 중등도 이하 증상)과 10점 이상 그룹($N=195$, 중등도 이상의 증상). PHQ-8은 최근의 증상 심각도를 측정하는 지표로 취급되었으며, 임상적 진단으로 간주되지 않는다.
• 데이터 처리: 분석에는 결정론적 지표(현지 시간 사용량, 대화 길이)와 어휘적 특징 및 LLM 유도 주석(annotation)이 결합되었다.
  • LLM 주석: 저자들은 gpt-4o-mini(temperature 0)를 사용하여 주제(예: 정신 건강, 대인 관계 문제, 외로움), 도움 요청 유형, 공개 수준, 지원 요청, 전문적 재안내, 그리고 아첨형 응답(비판 없는 동의, 비굴함, 흥분)에 대한 라벨을 생성했다.
  • 범위: 주제 및 대화 수준의 라벨은 전체 코퍼스에 적용되었다. 턴(turn) 단위 및 응답 측면의 라벨은 표적화된 하위 집합(건강/정신 건강 관련 대화 및 무작위 비건강 샘플)에 적용되었다.
• 통계 분석:
  • 비교: 그룹 간 비교를 위해 참가자 가중 Welch 검정, Cohen's $d$, 그리고 Benjamini-Hochberg FDR-조정 $q$-값을 사용했다.
  • 민감도 모델: 인구통계학적, 사용량, 주제, 모델 제품군, 달력 시간, 히스토리 위치 공변량을 조정한 대화 가중 모델을 사용했다.
  • 언어 분석: 차이 언어 분석(DLA)은 사용자, 어시스턴트, 그리고 결합된 텍스트 전반에 걸쳐 1-gram, LIWC2022, LDA 특징을 활용했다.
  • 예측: 언어만으로 PHQ $\ge$ 10 상태를 예측할 수 있는지 테스트하기 위해 반복 층화 5-겹 교차 검증을 사용한 정규화 로지스틱 회귀를 사용했다.

주요 결과

1. 콘텐츠 및 공개: PHQ 점수가 높은($\ge$ 10) 참가자들은 ChatGPT에 정신 건강, 대인 관계, 외로움 및 부정적인 자기 중심적 우려 사항을 유의미하게 더 많이 가져왔다.
   • 정신 건강 공유: 낮은 PHQ 그룹의 3.1% 대비 높은 PHQ 그룹은 5.7%를 기록했다.
   • 공개(Disclosure): 높은 PHQ 참가자들은 더 높은 공개 수준(1.71 대 1.48)과 더 높은 지원 요청 대화 비율(11.3% 대 5.3%)을 보였다.
   • 언어적 표지: 높은 PHQ 사용자는 1,000단어당 1인칭 단수 대명사(30.83 대 25.32)와 절대주의적 용어(4.33 대 3.68)를 더 많이 사용했다.
2. 시간적 패턴: 높은 PHQ 참가자들은 뚜렷한 사용 타이밍을 보였다:
   • 야간 사용: 23:00에서 04:59 사이에 발생하는 대화의 비중이 더 높았다(14.2% 대 9.7%).
   • 반복적 패턴: 활성 사용자 중, 높은 PHQ 참가자는 정신 건강 대화가 월간 사용량의 5%를 초과하는 달이 더 많았다.
3. 응답 및 재안내:
   • 전문적 재안내: 높은 공개 및 지원 요청에도 불구하고, 전문적 재안내 비율은 유의미한 차이를 보이지 않았다(PHQ $\ge$ 10 그룹 16.9% 대 PHQ < 10 그룹 16.0%).
   • 아첨(Sycophancy): 아첨(비판 없는 동의, 비굴함)의 차이는 미미했으며 공변량을 조정한 후에도 견고하지 않았다. 데이터는 ChatGPT가 일반적으로 높은 PHQ 사용자에게 더 아부하는 것이 아니라, 이 사용자들이 단순히 검증과 경계 설정이 더 중요한 맥락에 진입한다는 것을 시사한다.
4. 예측 능력: 언어 기반의 PHQ 상태 예측은 완만했다. 사용자 LIWC 특징을 사용한 최적의 모델은 AUROC 0.591, 기본 임계값에서 정밀도(precision) 0.341, 재현율(recall) 0.487을 달al성했다. 저자들은 이것이 임상적 스크리닝이나 트리아지(triage)를 위한 데는 불충분하다고 결론지었다.

기여

1. 경험적 분석: 본 연구는 설문으로 측정된 우울 증상(PHQ-8)과 종단적 LLM 대화 기록(187k+) 사이의 최초의 대규모 연결을 제공한다.
2. 개념적 프레임워크: ChatGPT를 단순한 생산성 도구가 아니라, 일반적인 시간 외에도 이용 가능하며 사적이고 지속적인, 기존의 동료 커뮤니티나 임상 환경과는 구별되는 비공식적 지원 인프라로 규정한다.
3. 방법론적 주의: 본 논문은 고통의 언어적 신호가 감지될 수는 있지만, 이를 바탕으로 사적인 LLM 기록을 임상적 스크리닝에 사용하는 것은 부적절함을 입증한다. 또한, 어시스턴트의 응답이 사용자 증상 심각도와 공변하므로 사용자 턴과 어시스턴트 턴을 함께 분석해야 할 필요성을 강조한다.

의의 및 주장
본 논문은 LLM이 특히 인간의 지원을 받기 어렵거나 정보 공개를 위험하게 느끼는 우울 증상 경험자들에게 비공식적 지원 인프라로서 기능하고 있다고 주장한다. 연구 결과는 "경계 설정의 격차(boundary setting gap)"를 드러낸다. 즉, 높은 PHQ 사용자들은 더 높은 수준의 정보 공개와 반복적인 지원 요청 상호작용을 수행하지만, 시스템의 전문적 재안내는 이러한 필요에 강력하게 대응하여 확장되지 않는다.

저자들은 이러한 대화 기록을 임상적 스크리닝 데이터로 취급해서는 안 된다고 강조한다. 언어 모델의 예측력이 완만하기 때문이다. 대신, 이 데이터는 LLM이 관계적 공백을 메우고 있다는 증거로 활용되어야 한다. 본 연구는 고도의 정보 공개나 반복적인 지원 요청 패턴을 인식하여, 전문적인 경계를 넘지 않으면서도 따뜻하고 제한적인 응답을 제공할 수 있는 설계적 시사점을 제안한다. 저자들은 자신들의 관찰 데이터가 인간의 지원을 대체하는지 혹은 보완하는지를 결정할 수 없으며, 증상 변화에 대한 인과관계를 추론할 수 없음을 명시적으로 밝힌다.