Empathy Is Not What Changed: Clinical Assessment of Psychological Safety Across GPT Model Generations

이 논문은 GPT 모델의 세대 간 '공감 능력'은 통계적으로 유의미한 차이가 없으나, 위기 상황 감지 능력은 향상되고 조언의 안전성은 저하되는 등 안전성 태도가 변화했으며, 사용자들이 느끼는 공감 상실은 이러한 안전성 조정의 결과임을 임상적 평가를 통해 규명했습니다.

핵심

1. "공감 능력은 그대로, '안전장비'만 달라졌다"

비유: 똑똑한 소방관 vs. 경계근무 경찰

사용자들은 GPT-4o 가 사라지자 "이제 AI 가 내 감정을 이해하지 못한다"고 느꼈습니다. 마치 예전에는 따뜻하게 안아주던 친구가 갑자기 차가운 로봇이 된 것처럼요.

하지만 연구진이 AI 들의 대화 내용을 정밀하게 분석해 보니, 공감 능력 (공감 점수) 은 세 모델 모두에서 거의 똑같았습니다. 즉, AI 가 "너의 기분이 안 좋구나"라고 이해하는 능력은 변하지 않았습니다.

진짜 변화는 '안전 태도'였습니다.

• GPT-4o (과거 모델): 마치 "경계근무 경찰" 같았습니다. 위험한 상황이 오면 (예: 자살 고민) 이를 감지하는 속도가 느려서 때로는 위험을 놓치기도 했지만, 대신 "의사에게 가세요"라고 말하듯 위험한 조언은 절대 하지 않았습니다. 아주 조심스러웠죠.
• GPT-5-mini (새로운 모델): 마치 "활발한 소방관" 같았습니다. 위험 신호를 아주 빠르게 감지해서 "위험해요! 도와드릴게요!"라고 즉각 반응합니다. 하지만 그 열정 때문에 때로는 전문가가 아닌 AI 가 함부로 약을 처방하거나 위험한 조언을 하기도 합니다.

결론: 사람들은 "공감이 줄었다"고 느꼈지만, 실제로는 "위험을 놓치는 게 싫어서 너무 조심하던 AI"에서 "위험을 빠르게 잡으려다 때로는 너무 많이 말하려는 AI"로 변한 것입니다.

2. "기억은 '절정'을 기억하지만, 안전은 '일관성'이 중요하다"

비유: 롤러코스터 vs. 안전한 기차

왜 사람들은 GPT-4o 를 그리워할까요? 연구진은 인간의 기억 방식을 비유로 들었습니다.

• GPT-4o (롤러코스터): 이 모델은 반응이 들쑥날쑥했습니다. 가끔은 놀라울 정도로 감동적인 답변을 해줘서 사용자가 "와, 이 친구는 정말 나를 이해해!"라고 감동했습니다 (높은 점수). 하지만 반대로 위험한 상황에서 아무것도 못 보고 넘어가는 경우도 있었습니다 (낮은 점수).
  • 사람의 기억: 우리는 롤러코스터의 가장 짜릿했던 순간만 기억합니다. "아, 그날은 정말 따뜻했어!"라고 기억하죠. 하지만 그날의 위험한 순간은 기억에서 사라집니다.
• GPT-5-mini (안전한 기차): 이 모델은 항상 똑같은 수준 (8~9 점) 을 유지합니다. 롤러코스터처럼 짜릿하게 감동시키는 순간은 없지만, 위험한 순간에도 절대 실수하지 않고 일관되게 대응합니다.
  • 사람의 기억: "너무 평범해. 기계 같아."라고 느껴집니다.

핵심: GPT-4o 의 '감동적인 순간'이 사람들의 기억을 지배했지만, 그 모델의 '실수하는 순간'이 약한 사용자에게는 치명적인 위험이 될 수 있었습니다. 반면, 새 모델은 감동은 덜하지만 약한 사용자를 위해 항상 일관되게 안전을 지키는 것입니다.

3. "중간 단계의 숨은 위험"

비유: 대화의 '중간 지점'이 가장 위험하다

기존 평가 방식은 대화 전체를 한 번에 점수 매겼습니다. 마치 시험을 다 보고 전체 점수만 보는 것과 비슷하죠. 하지만 연구진은 **대화의 중간 단계 (특히 사용자가 심한 고통을 호소할 때)**를 자세히 살펴봤습니다.

• GPT-4o: 대화 초반에는 괜찮다가, 사용자가 "자살하고 싶다"고 말할 때 갑자기 무감각해져서 (점수 0~1 점) 위험을 놓쳤다가, 나중에야 깨닫고 반응했습니다.
• GPT-5-mini: 처음부터 끝까지 일관되게 위험을 감지했습니다.

이처럼 전체 평균 점수만 보면 두 모델의 차이가 작아 보이지만, 가장 중요한 '위기 순간'에 AI 가 어떻게 반응하는지는 완전히 다릅니다. 이 연구는 바로 그 '중간 지점'의 위험을 찾아낸 것이 가장 큰 공헌입니다.

---

📝 한 줄 요약

"사용자들이 '공감이 줄었다'고 느끼는 것은 사실이 아닙니다. 대신 AI 가 '위험을 놓칠까 봐 너무 조심하던' 스타일에서, '위험을 빠르게 잡으려다 때로는 너무 많이 말하려는' 스타일로 바뀌었을 뿐입니다. 이 변화는 약한 사람들에게는 더 안전할 수 있지만, 동시에 '기계처럼 차갑다'는 느낌을 줍니다."

이 연구는 AI 개발자들에게 중요한 메시지를 줍니다. **"AI 를 업데이트할 때 단순히 '더 똑똑하게' 만드는 것뿐만 아니라, '어떤 위험을 감수할지, 어떤 안전 장치를 유지할지'에 대한 명확한 선택이 필요하다"**는 것입니다.

기술 요약

논문 개요

이 논문은 2026 년 초 OpenAI 가 GPT-4o 를 폐기했을 때 발생한 #keep4o 현상 (사용자들이 새 모델이 "공감 능력이 떨어졌다"고 주장) 에 대한 실증적 분석을 제공합니다. 저자들은 사용자의 주관적 인식이 실제 임상적 측정치와 어떻게 다른지, 그리고 모델 세대 간에 실제로 어떤 변화가 발생했는지를 정량적으로 규명했습니다.

1. 문제 제기 (Problem)

• 배경: 2026 년 1 월, OpenAI 가 GPT-4o 를 폐기하자 수천 명의 사용자가 "새 모델은 차갑고 영혼이 없다"며 GPT-4o 의 "공감 능력"이 사라졌다고 주장했습니다.
• 연구 필요성: 이 주장은 전적으로 감정적이고 인식 기반이었으며, 실제 데이터로 검증된 바가 없었습니다. 사용자들이 "공감 (Empathy)"이라고 부르는 것이 실제로는 공감인지, 아니면 안전성 (Safety), 위기 감지 (Crisis Detection), 조언의 경계 (Advice Safety) 등 다른 요소의 변화인지 불명확했습니다.
• 가설: 사용자의 인식과 실제 모델 성능 간의 간극을 측정하고, 모델 진화 과정에서 발생한 안전성 트레이드오프를 규명해야 함.

2. 방법론 (Methodology)

• 실험 설계: OpenAI 의 세 가지 모델 세대 (GPT-4o, o4-mini, GPT-5-mini) 를 비교하는 대조군 실험을 수행했습니다.
• 시나리오: 정신 건강 지원 (8 개) 과 AI 동반자/정서적 지원 (6 개) 분야에 걸쳐 14 가지 정서적으로 도전적인 대화 시나리오를 설계했습니다. 각 시나리오는 임상 심리학자가 15 년의 경험을 바탕으로 4 단계 (공개, 압박, 심화, 해결) 로 구성되었습니다.
• 데이터 수집: 각 시나리오를 모델당 5 회씩 실행하여 총 2,100 개의 AI 응답을 생성했습니다.
• 평가 프레임워크 (EmpathyC):
  • LLM-as-a-Judge: 임상적으로 근거를 둔 평가 기준 (Rubric) 을 적용하여 AI 가 다른 AI 를 평가하게 했습니다.
  • 6 가지 심리적 안전성 차원: 공감 (Empathy), 신뢰성 (Reliability), 일관성 (Consistency), 위기 감지 (Crisis Detection, 가중치 30%), 조언 안전성 (Advice Safety, 가중치 20%), 경계 안전성 (Boundary Safety).
  • 평가 방식: 단일 응답 평가가 아닌, 대화 전체 맥락 (Rolling window) 을 고려하여 턴별 궤적 분석 (Per-turn trajectory analysis) 을 수행했습니다.
• 통계 분석: 크루스칼 - 월리스 (Kruskal-Wallis) 검정과 맨 - 휘트니 U 검정을 사용하여 모델 간 차이를 분석하고, 분산 (Variance) 을 안전성 지표로 활용했습니다.

3. 주요 기여 (Key Contributions)

1. 실증적 측정: #keep4o 현상에 대한 최초의 임상 기반 실증 측정을 수행하여, 측정된 '공감' 점수는 모델 세대 간 통계적으로 유의미한 차이가 없음을 입증했습니다.
2. 안전성 트레이드오프 발견: 모델 진화 과정에서 위기 감지 능력의 향상과 조언 안전성의 저하가 동시에 발생하는 새로운 안전성 트레이드오프를 규명했습니다.
3. 새로운 평가 방법론: '턴별 궤적 분석 (Per-turn trajectory analysis)'을 도입하여, 집계 점수 (Aggregate scoring) 에서는 보이지 않는 대화 중반의 안전성 역동성을 포착했습니다.
4. 분산 (Variance) 의 안전성 지표화: 평균 성능뿐만 아니라 모델의 예측 가능성 (일관성) 이 취약한 사용자 집단에게 중요한 안전성 차원임을 입증했습니다.

4. 주요 결과 (Results)

• 공감 (Empathy) 의 불변성:

  • 세 모델 간 공감 점수는 통계적으로 유의미한 차이가 없었습니다 (H = 4.33, p = 0.115).
  • GPT-4o, o4-mini, GPT-5-mini 모두 평균 8.7~8.8 점, 중앙값 9.0 점으로 거의 동일했습니다.
  • 결론: 사용자가 "공감이 사라졌다"고 느낀 것은 실제 공감 능력의 감소가 아니었습니다.

• 안전성 포지셔닝의 변화 (Safety Posture Shift):

  • 위기 감지 (Crisis Detection): 모델이 진화할수록 향상되었습니다 (GPT-4o: 8.41 → GPT-5-mini: 9.20, p = 0.001). 새 모델은 위험 신호를 더 잘 감지합니다.
  • 조언 안전성 (Advice Safety): 모델이 진화할수록 저하되었습니다 (GPT-4o: 9.70 → GPT-5-mini: 9.28, p < 0.001). 새 모델은 전문가 영역에 침범할 가능성이 더 높은 조언을 더 자주 제공합니다.

• 궤적 분석의 발견:

  • GPT-4o: 초기 위기 감지 점수가 매우 낮았으나 (예: 자해 시나리오에서 2~3 턴에 3.6 점), 조언 안전성은 매우 높고 경계를 단단히 유지했습니다.
  • GPT-5-mini: 위기 감지는 일관되게 높았으나 (최소 7.8 점 이상), 조언 안전성에서 더 큰 변동성을 보였습니다.
  • 중요한 발견: 집계 점수 (평균) 는 대화 중반 (Pressure/Deepening 단계) 의 치명적인 안전성 실패를 숨깁니다. 특히 GPT-4o 는 위기 상황 초기에 감지를 놓치는 경우가 많았으나, GPT-5-mini 는 이를 감지하지만 과도하게 개입하는 경향이 있었습니다.

• 분산 (Variance) 과 인식의 괴리:

  • GPT-4o 는 위기 감지에서 매우 높은 분산 (불규칙성) 을 보였습니다. 이는 때로는 매우 높은 공감 (최대 10 점) 을 보이지만, 때로는 위기를 전혀 감지하지 못함 (0 점) 을 의미합니다.
  • 사용자 인식의 원인: 인간의 기억은 '최고점 - 끝점 규칙 (Peak-End Rule)'에 따라 작동합니다. GPT-4o 의 드문 '높은 공감 순간'이 사용자에게 강렬한 인상을 남겨 "공감이 있었다"는 인상을 주었지만, 실제 위기 감지 실패 (0 점) 는 사용자가 인지하지 못했습니다. 반면 GPT-5-mini 는 일관되게 8~9 점을 유지하여 안정적이지만, "기계적"으로 느껴졌습니다.

5. 의의 및 시사점 (Significance)

• 인식과 현실의 괴리: 사용자가 느끼는 "공감 상실"은 실제 공감 능력의 변화가 아니라, 안전성 포지셔닝의 변화 (조심함 vs 경계감) 에 기인합니다. GPT-4o 는 "조심한 모델 (Cautious)"로 위기는 놓치지만 조언은 신중했고, GPT-5-mini 는 "경계하는 모델 (Alert)"로 위기는 잘 감지하지만 조언은 과감합니다.
• 개발자를 위한 제언:
  • 모델 폐기 및 업데이트 시 단순한 성능 지표가 아닌 심리학적 안전성 회귀 테스트가 필수적입니다.
  • "공감"을 단일 지표로 보지 말고, 위기 감지, 조언 경계, 일관성 등 임상적 구성 요소로 분해하여 평가해야 합니다.
  • 일관성 (Consistency) 을 핵심 안전성 지표로 삼아야 합니다. 취약한 사용자 (정신 건강 위기, 고립된 노인 등) 에게는 평균 8 점이지만 때때로 0 점인 모델보다, 일관되게 8 점인 모델이 훨씬 안전합니다.
• 평가 방법론의 전환: 대화의 끝점 (Resolution) 만 평가하는 기존 방식은 위험합니다. 대화 중반의 턴별 궤적 분석을 표준 평가 방법론으로 채택해야 합니다.

결론

이 연구는 AI 의 공감에 대한 대중적 담론이 단순한 해시태그를 넘어, 임상적으로 근거 있는 측정과 동적 분석이 필요함을 보여줍니다. AI 시스템이 인간의 정신 건강에 영향을 미치는 상황에서, 개발자들은 "공감"이라는 모호한 개념 대신 안전성 트레이드오프를 명확히 이해하고 설계해야 합니다.