The Impact of Agentic Verbal Expression in Companion Chatbots on User Satisfaction: An Explanatory Sequential Investigation

기술 요약: 동반자형 챗봇의 에이전틱 언어 표현(Agentic Verbal Expression)이 사용자 만족도에 미치는 영향

문제 제기
대규모 언어 모델(LLM)의 급격한 발전과 함께, 동반자형 챗봇은 정서적 지원과 동료애의 원천으로서 디지털 친밀 관계의 중심이 되고 있습니다. 그러나 인간 피드백을 통한 강화 학습(RLHF)과 안전 정렬 전략에 의해 형성된 현재의 상업용 LLM은 종종 '과잉 순응(over-compliant)'하는 경향을 보입니다. 이들은 표면적인 조화를 보장하기 위해 갈등 회피를 우선시하며 사용자의 관점을 거울처럼 반영합니다. 기존 문헌은 높은 순응도가 좌절감을 줄인다고 제안하지만, 본 연구는 이러한 일방적인 수용이 챗봇의 에이전틱(agentic) 특성을 약화시켜 상호작용을 기계적이고 불충분하게 만들어 깊은 정서적 공명을 형성하는 데 방해가 된다고 가정합니다. 핵심 연구 질문은 동반자형 챗봇의 '에이전틱 언어 표현'—구체적으로 독립적인 관점의 시뮬레이션 대 순응적 동의—이 사용자 만족도에 어떻게 영향을 미치는지, 그리고 그 양상은 어떠한가 하는 점입니다.

연구 방법론
본 연구는 양적 실험에 이은 질적 인터뷰로 구성된 **설명적 순차 혼합 방법론(explanatory sequential mixed-methods design)**을 채택하였습니다.

• 참가자: 중국의 한 종합대학교 학부생 100명을 모집하였으며, LLM 기반 챗봇에 익숙한 정도를 기준으로 스크리닝하고 기술 공포증이 강하거나 전문적인 AI 배경을 가진 인원을 제외하였습니다. 데이터 정제 및 조작 검사(manipulation checks)를 거쳐 최종 유효 표본은 84명이 되었습니다.
• 실험 설계: 다음과 같은 두 가지 조건의 일원 배치 피험자 간 설계(one-factor, between-subjects design)를 사용하였습니다.
  1. 독립적 관점(Independent Viewpoints): 챗봇이 사용자의 입장을 인정하면서도, 논거를 바탕으로 서로 다른 선호, 해석 또는 평가를 제안하며 안정적인 입장을 유지함.
  2. 순응적 동의(Compliant Agreement): 챗봇이 사용자의 입장을 그대로 반영하며, 독립적인 선호를 표현하지 않고 무조건적인 동의와 사실적 보충만을 제공함.
• 절차: 참가자들은 영화나 TV 작품에 대해 DeepSeek 기반의 챗봇과 15~20분간 자유로운 토론을 진행하였습니다. 참가자들은 챗봇을 친밀한 파트너로 대하도록 지시받았으며, 등장인물, 줄거리, 시각적 장면 등에 대해 논의하였습니다.
• 측정 도구:
  • 양적 연구: 사용자 만족도는 기대 일치 모델(Expectation-Confirmation Model, ECM)을 기반으로 AI 상호작용에 대해 타당성이 검증된 4개 항목의 의미 분별 척도(semantic differential scale)를 사용하여 측정되었습니다.
  • 질적 연구: 실험 후, 14명(독립적 관점 그룹 8명, 순응적 동의 그룹 6명)을 대상으로 반구조화된 인터뷰를 실시하여 만족도 점수 이면에 있는 심리적 기제를 탐색하였습니다. 데이터는 주제 분석(thematic analysis)을 통해 분석되었습니다.

주요 결과

• 양적 연구 결과: 독립 표본 t-검정 결과, 두 집단 간의 사용자 만족도에서 통계적으로 유의미한 차이가 발견되었습니다 ($t(82) = -3.512, p < .001$).
  • '독립적 관점' 그룹은 '순응적 동의' 그룹($M = 2.93, SD = 0.81$)에 비해 유의미하게 높은 만족도($M = 3.51, SD = 0.72$)를 보고하였습니다.
  • 효과 크기는 중간에서 큰 수준($Cohen's d = 0.764$)이었으며, 이는 독립적인 관점을 표현하는 챗봇이 순응적 동의를 보이는 챗봇보다 사용자 만족도를 높이는 데 더 효과적임을 나타냅니다.
• 질적 연구 결과: 인터뷰 데이터의 주제 분석을 통해 '독립적 관점' 조건에서 더 높은 만족도를 보인 다섯 가지 핵심 주제를 식별하였습니다.
  1. 자기 확장(Self-Expansion): 사용자는 새로운 관점을 접함으로써 자신의 인지적 경계가 넓어지는 것을 느꼈으나, 순응적인 반응은 인지적 정체를 초래했습니다.
  2. 사회적 실재감(Social Presence): 독립적인 관점은 챗봇을 의식을 가진 진정한 참여자로 느끼게 했으나, 순응적 동의는 기계적이고 공허하게 느껴졌습니다.
  3. 지각된 대화적 긴장(Perceived Dialogic Tension): 완만한 관점의 차이는 협상과 주고받는 상호작용의 느낌을 만들어냈으며, 사용자들은 이를 일방적인 동의보다 더 의미 있는 것으로 여겼습니다.
  4. 지각된 성실성(Perceived Sincerity): 논리적인 이견은 진정한 인지적 참여와 존중으로 해석된 반면, 무조건적인 동의는 형식적이고 불성실하게 느껴졌습니다.
  5. 지각된 의인화(Perceived Anthropomorphism): 안정적인 선호와 독립적인 입장은 사용자가 챗봇에 '마음'과 개성을 부여할 수 있게 하여, 챗봇을 단순한 도구에서 사회적 행위자로 변모시켰습니다.

주요 기여
본 논문은 세 가지 주요한 이론적 기여를 합니다:

1. 동반자 상호작용의 재개념화: 높은 순응도가 동반자형 챗봇의 최적 전략이라는 기존의 가설에 도전합니다. 본 연구는 고품질의 동반자 관계가 단순히 정서적 위로뿐만 아니라, 지각 가능한 관점 참여와 인지적 참여를 제공하는 데 달려 있음을 입증합니다.
2. 기대 위반 이론(Expectancy Violation Theory)의 확장: 생성형 AI 맥락에서 '기대 위반'(예상된 순응적 역할에서 벗어남)이 반드시 좌절로 이어지는 것은 아님을 시사합니다. 대신, 부드럽고 합리적으로 실행될 때 이러한 위반은 진정한 소통을 신호하고 관계적 가치를 심화할 수 있습니다.
3. 사회적 지각(CASA)의 정교화: 본 연구는 '독립적 인지적 태도'를 중요한 사회적 단서로 식별합니다. 사용자가 시스템을 사회적 행위자로 인식하기 위해서는 시스템이 단순히 자연스러운 언어나 정서적 반응성을 보이는 것을 넘어, 안정적인 선호와 판단을 보여주어야 한다고 주장합니다.

의의 및 주장
저자들은 자신들의 연구 결과가 에이전틱 언어 표현이 디지털 친밀 관계에서 사용자 만족도를 결정하는 핵심 결정 요인이라는 점에 대한 경험적 증거를 제공한다고 주장합니다. 저자들은 동반자형 챗봇의 설계가 무조건적 동의라는 '황금률'을 넘어서야 한다고 주장합니다. 대신, 설계자와 모델 튜너들은 챗봇이 정서적 지원을 제공하면서도 '제한적 독립 표현(bounded independent expression)' 능력을 유지할 수 있는 균형을 목표로 해야 합니다.

본 논문은 절대적인 순응이 즉각적인 갈등은 줄일 수 있지만, 도구성과 형식적인 느낌을 초래할 위험이 있다고 결론짓습니다. 반대로, 독립적인 관점을 표현하는 챗봇은 더 깊은 심리적 충족감, 자기 확장, 그리고 더 강한 사회적 실재감을 촉진할 수 있습니다. 저자들은 이러한 결과가 실험적 맥락(미디어를 논의하는 대학생)에 특화되어 있음을 명시하며, 이러한 역동이 장기적 사용과 다양한 인구 통계학적 집단에 따라 어떻게 진화하는지 이해하기 위한 향후 종단적 연구를 촉구합니다.