Linguistic traces of stochastic empathy in language models

기술 요약: 언어 모델의 확률적 공감(Stochastic Empathy)에 나타난 언어적 흔적

문제 제기
AI가 생성한 텍스트와 인간이 작성한 텍스트를 소비자가 구분하기 점점 더 어려워지는 현상은 디지털 시대의 중요한 과제가 되고 있다. LLM이 인간과 구별할 수 없는 콘텐츠를 생성할 수 있다는 기존 연구들은 두 가지 요인에 의해 편향되었을 가능성이 있다: (1) 이전 연구의 인간 필자들은 AI의 모방을 배경으로 인간처럼 보일 동기가 부족했다는 점, (2) 사용된 작문 과제(예: 데이팅 프로필과 같은 자기 제시)가 개방형 표현보다는 인상 관리 목표에 의해 제약되었다는 점이다. 나아가, 인간적 연결의 핵심 요소인 '공감'의 역할은 인간다움의 모방 능력으로부터 실험적으로 분리되지 않았다. 본 논문은 과제의 특성(특히 공감의 요구 여부)과 인간처럼 보이고자 하는 동기가 "인간 대 AI"의 경주에 어떤 영향을 미치는지 조사한다.

연구 방법론
저자들은 심리학 및 기계 행동 연구 설계를 차용하여 인간 참가자와 LLM(주로 GPT-4 및 GPT-4o)을 테스트하는 일련의 5가지 실험 연구를 수행하였다.

• 연구 1 (인간 n=530, LLM n=530): 2x2 피험자 간 설계(between-subjects design)를 통해 과제 인지 효과를 테스트했다. 인간과 LLM은 "순진한(naïve)" 지시(표준적인 조언) 또는 "적대적(adversarial)" 지시(인간처럼 보이고 AI처럼 보이지 말라는 명시적 지시) 하에서 관계 조언을 작성했다. 새로운 참가자들이 텍스트의 출처를 판별했다.
• 연구 2 (인간 n=610, LLM n=610): 2x2x2 설계를 통해 과제 변수를 추가했다: "관계 조언"(높은 공감 요구) 대 "관계 묘사"(낮은 공감 요구). 이를 통해 공감의 필요성이 출처 식별 능력에 어떻게 영향을 미치는지 테스트했다.
• 연구 3 (인간 n=360, LLM n=360): 2x3 설계를 도입하여 "회피(evasion)" 조건(LLM처럼 들리지 말라는 지시)을 추가함으로써 "적대적" 지시가 인간에게 혼란을 주는지 테스트했다. 또한 GPT-4와 GPT-4o를 비교했다.
• 연구 4 (평가자 n=219, LLM 전용): LLM의 출력을 명시적으로 공감을 사용하도록(인지적, 정서적, 동기적 공감) 하거나 중립을 유지하도록 조작하고, 적대적/순진한 지시를 변화시키는 2x2 설계를 사용했다. 이를 통해 공감 사용이 인지된 인간다움의 동인이었는지 여부를 격리하여 분석했다.
• 연구 5 (컴퓨터 텍сто 분석): 결합된 코퍼스 분석(인간 1085개, LLM 1421개 텍스트)을 활용하여 n-gram 차별화, LIWC(Linguistic Inquiry and Word Count), 공감적 관심 사전 등을 사용하여 LLM이 인간다움을 모방하기 위해 사용하는 특정 언어적 전략을 식별했다.

주요 결과

1. 인간의 우위와 공감: 모든 연구에서 인간이 작성한 텍스트가 LLM이 생성한 텍스트보다 더 인간적인 것으로 평가되었다. 이 우위는 기술적 과제(관계 묘사, $d \approx 0.46$)에 비해 공감을 요구하는 과제(관계 조언, $d \approx 1.0$)에서 유의미하게 더 크게 나타났다.
2. "적대적" 효과: 인간처럼 보이도록 지시받았을 때, LLM은 인지된 인간다움을 급격히 높였으며(모든 연구에서 17%~41%), 이로 인해 인간 필자와의 격차를 좁혔다. 반면, 인간 필자는 인간처럼 보이도록 지시받거나, AI처럼 들리지 말라는 지시를 받거나, 혹은 아무런 지시를 받지 않더라도 인지된 인간다움에 유의미한 변화를 보이지 않았다.
3. 공감과 인간다움의 해리: 연구 4는 LLM이 공감을 사용하도록 지시받았을 때 공감을 성공적으로 높일 수 있지만, 이것이 인지된 '인간다움'의 증가와는 상관관계가 없음을 밝혔다. 실제로 공감을 사용하도록 명시적으로 지시된 텍스트는 때때로 덜 인간적인 것으로 평가되었다. 즉, LLM은 "공감 없는 인간다움"과 "인간다움 없는 공감"을 생성할 수 있다.
4. 언어적 흔적 (연구 5): 컴퓨터 분석 결과, LLM이 인간처럼 보이려고 시도할 때 형식적이고 분석적이며 복잡한 언어에서 비격식적이고 대화적이며 자기 참조적인 스타일로 전환함을 보여주었다.
   • LLM 전략: 넷스피크("lol", "haha"), 1인칭 단수("나/I"), 현재 시제, 흔한 어휘의 사용 증가; "친애하는 친구여(dear friend)"와 같은 인사말, 긴 단어, 추상적 동기(권력, 친화성)의 사용 감소.
   • 인간 전략: 인간은 조건 간에 언어적 변화가 거의 없었다.
   • 단서: 인간은 AI를 탐지하기 위한 휴리스틱(heuristic)으로 어휘 복잡성(희귀 단어)에 의존했으나, LLM이 더 단순한 어휘를 채택함에 따라 이 휴리스틱은 효과가 떨어졌다. 철자 오류는 인간 판별자들이 사용하는 신뢰할 만한 단서가 아니었다.

핵심 기여

• 확률적 공감(Stochastic Empathy): 본 논문은 LLM이 근본적인 정서적 또는 동기적 상태 없이 공감과 인간다움의 언어적 표면 표지들을 통계적으로 모방하는 과정을 설명하는 "확률적 공감"이라는 개념을 도입한다. 모델은 인간 언어 패턴의 암묵적 표현을 적용함으로써 정서적 공감을 효과적으로 "가장(fake)"한다.
• 구별 불가능성에 대한 재평가: 저자들은 기존의 구별 불가능성 주장이 낮은 공감 과제와 인간 필자에게 부여된 적대적 동기의 부재로 인한 결과물일 수 있다고 주장한다. 공감이 요구되고 인간이 인간다움을 "수행"할 동기가 주어지지 않을 때, 그 격차는 여전히 존재한다.
• 모방의 메커니즘: 본 연구는 LLM이 진정한 공감적 콘텐츠를 생성하는 것이 아니라, 인간의 인간다움 탐지 휴리스틱과 일치하는 스타일적 변화(비격식성, 단순성, 자기 참조성)에 의존한다는 점을 식별한다.

의의 및 주장
본 논문은 LLM이 프롬프트에 따라 인간다움의 암묵적 표현을 불러일내는 "카멜레온 같은 능력"을 가지고 있으며, 이는 인간 필자가 보이는 방식과는 다른 능력이라고 주장한다(인간은 "더 인간처럼 보이려고 노력"할 수 없다). 저자들은 LLM이 인간의 감정이나 관심에 대한 진정한 이해를 갖춘 것이 아니라, 그러한 특성과 관련된 인간 언어 패턴의 통계적 표현을 숙달한 것이라고 결론짓는다.

이 연구의 의의는 LLM이 인간 공감의 표면적 특징을 모방하는 능력이 향상됨에 따라 기만(deception)의 위험이 증가한다는 경고에 있다. 이러한 "지칠 줄 모르는 공감적 AI(indefatigable empathic AI)"는 현실 세계의 상호작용에서 인간의 공감에 대한 비현실적인 기대를 불러일으키고 디지털 소통의 신뢰를 무너뜨릴 수 있다. 저자들은 본 연구의 결과가 영어와 특정 모델 버전에 국한되어 있으며, 모델의 정교함과 다양한 언어가 이러한 역학 관계에 어떤 영향을 미치는지 이해하기 위한 후속 연구가 필요하다는 점을 겸허히 명시하고 있다. 그들은 LLM이 진정한 의식이나 정서적 이해를 달성했다고 주장하는 것이 아니라, 그러한 자질과 관련된 인간 언어 패턴의 통계적 표현을 마스터했다는 점을 강조한다.