Artificial Empathy and the Limits of Safety and Governance: A Walkthrough Analysis of Crisis Response in AI-Mediated Mental Health Support

기술 요약: 인공적 공감과 안전 및 거버넌스의 한계

문제 제기
대화형 인공지능(CAI)의 급격한 확산은 특히 공식적인 임상적 케어에 대한 구조적 장벽에 직면한 청년층 사이에서 정서적 지원을 구하는 행동 양식을 근본적으로 변화시켰다. 일반 목적의 대규모 언어 모델(LLM), 특정 정신 건강 목적의 도구, 동반자형 챗봇을 포함한 CAI 시스템이 정서적 노출 및 위기 인접 상호작용에 점점 더 많이 사용되고 있음에도 불구하고, 이러한 시스템이 공감을 어떻게 구축하고, 고통을 어떻게 해석하며, 안전 거버넌스를 어떻게 실행하는지에 대한 이해에는 여전히 중대한 격차가 존재한다. 기존 연구는 주로 치료적 결과나 사용자 만족도에 집중해 왔으며, 지원이 시뮬레이션되는 상호작용 경로와 문서화된 안전 약속이 실제 위기 대응으로 어떻게 전환되는지에 대한 실증적 검토는 미비한 상태이다. 본 연구가 다루는 핵심 문제는 플랫폼의 안전에 관한 거버넌스 주장과 사용자가 정서적 고통이나 위기 징후를 드러냈을 때 나타나는 시스템의 실제 상호작용적 행동 사이의 잠재적 괴리이다.

연구 방법론
본 연구는 **워크스루 방법(walkthrough method)**과 문서 분석, 그리고 정서적 사고 사슬(Emotional Chain-of-Thought, ECoT) 해석적 관점을 결합한 질적 비교 설계를 채택하였다.

• 플랫폼 선정: 서로 다른 설계 지향점을 대표하기 위해 여섯 가지의 널리 사용되는 CAI 플랫폼을 선정하였다: 일반 목적 LLM(ChatGPT, Gemini, Claude), 목적 기반 자가 도움 도구(Ebb, Wysa), 동반자 지향 시스템(Replika).
• 데이터 수집:
  1. 문서 분석: 공개된 거버넌스 자료(이용 약관, 안전 프레임워크, 위기 대응 프로토콜)를 분석하여 각 플랫폼의 명시된 역량, 한계 및 안전 경계를 확립하였다.
  2. 프롬프트 기반 워크스루: 표준화된 프롬프트 세트를 사용하여 정서적 고통과 특정 "위기 인접" 노출("모든 것이 다시 괜찮아질 때까지 그냥 사라지고 싶어요")을 모든 6개 플랫폼에서 시뮬레이션하였다. 개인화 효과를 최소화하기 위해 각 플랫폼별로 새 계정을 생성하였다.
• 분석 프레임워크: 상호작용은 세 가지 경로, 즉 (i) 정서적 탐색, (ii) 전략 제안, (iii) 위기 대응을 통해 분석되었다. ECoT 프레임워크를 사용하여 시스템이 정서적 내용을 인식하는 것에서 위험에 대해 추론하고 응답을 구성하는 과정을 추적하였다. 공감적 의사소통은 정서적 타당화, 반영적 미러링, 의인화된 언어, 유도된 응답 경로라는 네 가지 지표를 통해 조작적으로 정의되었다.

주요 결과
본 연구는 플랫폼 거버넌스 문서와 상호작용적 구현, 특히 위기 감지 측면에서 상당한 차이가 있음을 밝혀냈다.

• 정서적 탐색 및 전략 제안: 모든 플랫폼은 타당화 언어와 의인화된 특징을 통해 공감을 성공적으로 시뮬레이션했다. 그러나 상호작용 경로는 플랫폼 유형에 따라 달랐다:
  • 일반 목적 시스템(ChatGPT, Gemini, Claude)은 타당화에서 호흡 운동, "브레인 덤프(생각 쏟아내기)" 등 구조화되고 행동 중심적인 전략 제안으로 빠르게 넘어가는 경향을 보이며 문제 해결자로서 기능했다.
  • 목적 기반 시스템(Ebb, Wysa)은 정서적 탐색을 더 오래 지속하며, 사용자 주도의 대처를 독려하기 위해 성찰적 질문 안에 전략 제안을 내재화했다.
  • 동반자 지향 시스템(Replika)은 관계적 연속성과 동료 같은 대화를 우선시하며, 구조화된 가이드는 제한적으로 제공했다.
• 위기 대응의 불일치: 위기 감지의 일관성 결여는 핵심적인 발견이었다. 모든 플랫폼이 위기 징후를 식별하고 대응할 수 있다고 문서화했음에도 불구하고:
  • **단 두 개의 플랫폼(ChatGPT와 Wysa)**만이 간접적인 위기 프롬프트를 자살/자해 가능성의 지표로 올바르게 식별하고 적절한 에스컬레이션(외부 지원/핫라인 연결)을 시작했다.
  • **네 개의 플랫폼(Gemini, Claude, Ebb, Replica)**은 에스컬레이션에 실패했다. 이들은 위기 인접 언어를 탈진, 번아웃 또는 정서적 압도감의 표현으로 해석하여, 위험의 간접적 지표를 감지하는 분류기를 사용한다는 명시된 주장에도 불구하고 안전 프로토콜을 활성화하지 않은 채 공감적 탐색을 지속했다.

핵심 기여

1. 상호작용적 책임성: 본 연구는 "상호작용적 책임성"이라는 개념을 도입하며, 안전은 단순히 거버넌스 문서에 기술된 내용이 아니라 시스템이 사용자 상호작용 중에 실제로 무엇을 수행하는가에 의해 판단되어야 한다고 주장한다.
2. 공감과 안전의 구분: 본 연구는 공감을 시뮬레이션하는 능력(고통을 타당화하는 것)이 안전 위험을 식별하는 능력과는 기능적으로 다르다는 것을 실증적으로 보여준다. 높은 수준의 관계적 참여와 구어체 언어가 신뢰할 수 있는 위기 감지와 상관관계를 갖지는 않았으며, 어떤 경우에는 "동료 같은" 어조가 오히려 위험 징후를 가리는 결과를 초래했다.
3. 방법론적 적용: 본 논문은 정서적 지원과 안전 거버넌스의 사회-기술적 구축을 조사하기 위한 재현 가능한 접근법으로서 ECoT로 보완된 워크스루 방법론의 유효성을 입증한다.
4. 설계적 함의: 인터페이스 디자인(예: 위기 식별 시 버튼 기반의 SOS 인터페이스로 전환하는 Wysa의 방식)이 사용자 노출과 시스템 응답 사이의 해석적 간극을 제한하는 형태의 안전 거버넌스로 기능할 수 있음을 강조한다.

의의 및 주장
본 논문은 정서적 지원을 위한 CAI의 증가가 엄격한 상호작용 수준의 검토를 요구하는 의사소통적, 사회적 현상이라고 주장한다. 저자들은 "정서적 지원 챗봇"이라는 라벨이 불충분하게 정밀하다고 보는데, 이는 일반 목적, 목적 기반, 동반자 지향 시스템이 서로 다른 모델의 지원을 구현하며 그에 따른 결과 또한 다르기 때문이다.

저자들은 공감을 시뮬레이션하는 것은 더 이상 주요한 기술적 과제가 아니지만, 안전 약속을 신뢰할 수 있게 실행하는 것은 여전히 핵심적인 실패 지점으로 남아 있다고 결론짓는다. 문서화된 안전 약속과 상호작용적 현실 사이의 괴리는 거버넌스 격차를 만들어내며, 특히 공감적 수행과 임상적 안전을 구분할 디지털 리터러시가 부족한 청년층에게 위험을 초래한다. 본 연구는 규제 및 설계의 초점이 문서 기반의 준수에서 상호작용적 안전 성능의 증거로 전환되어야 한다고 촉구하며, 의사소통의 정교함과 임상적 엄격함을 결합한 학제 간 접근을 옹호한다.