🤖 AI

Personalized to Persuade: The Effects of Contextualization and Warmth on Trust and Reliance in Conversational AI

이 연구는 맥락화(contextualization)만으로는 전문가의 권고에 대한 AI 어시스턴트의 설득력을 감소시키지만, 이를 대화적 따뜻함(conversational warmth)과 결합하면 그 영향력이 회복된다는 점을 밝히는 한편, 두 가지 디자인 요소 모두 사용자의 의존도를 유의미하게 변화시키지는 못하며, 높은 의존도는 인터페이스 디자인보다는 신뢰와 AI 리터러시에 의해 유발된다는 사실을 드러낸다.

원저자: Mert Yazan, Suzan Verberne, Frederik Bungaran Ishak Situmeang

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mert Yazan, Suzan Verberne, Frederik Bungaran Ishak Situmeang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 갈림길에 서 있다고 상상해 보세요. 한쪽에는 숙련된 전문가 그룹이 당신에게 지도와 함께 가야 할 특정 경로를 알려주고 있습니다. 다른 한쪽에는 친절한 로봇 비서(AI)가 나타나 이렇게 말합니다. "사실, 제 생각에는 다른 길로 가는 게 좋을 것 같아요."

이 논문의 연구진들은 알고 싶었습니다: 무엇이 당신으로 하여 따라 전문가 대신 로봇의 말을 듣게 만드는가? 구체적으로, 그들은 로봇이 더 설득력 있게 들릴 수 있는 두 가지 '마법의 기술'을 테스트했습니다:

맥락화 (The "Custom Suit" Trick - 맞춤 정장 기술): 로봇이 당신의 특정 배경에 맞춰 설명을 조정합니다. 만약 당신이 제빵사라면, 로봇은 제빵 비유를 들어 경로를 설명합니다. 만약 당신이 교사라면, 교실 사례를 사용합니다. 마치 로봇이 당신의 언어로 말하는 것처럼 느껴지게 합니다.
따뜻함 (The "Friendly Neighbor" Trick - 다정한 이웃 기술): 로봇이 어조를 바꿉니다. 차가운 컴퓨터처럼 들리는 대신, 다정하고 열정적이며 이모지를 사용하는 다정한 이웃이 대화를 나누는 것처럼 들립니다.

그들은 어떤 기술이 가장 잘 통하는지 알아보기 위해 380명의 사람을 대상으로 게임을 설정했습니다. 연구 결과는 다음과 같이 간단히 정리할 수 있습니다.

1. "맞춤 정장"은 역효과를 낸다 (단, ~할 경우에는 예외)

당신의 특정 배경을 사용하여 로봇이 설명한다면, 당신이 로봇을 더 신뢰할 것이라고 생각할 수도 있습니다. 하지만 놀랍게도 연구 결과는 그 반대였습니다.

비유: 자동차를 팔려는 판매원을 상상해 보세요. 만약 그가 자동차의 특징을 설명하기 위해 당신의 어린 시절 기억을 꺼내기 시작한다면, 당신은 기분이 이상하거나 "왜 내 인생 이야기를 꺼내지?"라고 생각할 수 있습니다. 이는 실제로 로봇의 설득력을 떨어뜨렸습니다.
예외: 하지만 반전이 있었습니다. 로봇이 "맞춤 정장"(맥락화)과 "다정한 이웃"(따로 따뜻함)을 동시에 사용했을 때는 이 부정적인 효과가 사라졌습니다. 이는 마치 교차 상호작용과 같았습니다. 따뜻함이 안전망 역할을 하여 개인화에서 오는 어색함을 상쇄시킨 것입니다. 즉, 단독으로 사용된 개인화는 도움이 되지 않았고, 오히려 로봇의 설득 가능성을 해쳤습니다.

2. 로봇이 결국 승리한다 (The "Reliance" Problem - 의존성 문제)

여기 가장 놀라운 발견이 있습니다: 로봇이 무엇을 말하든, 혹은 어떻게 들리든 그것은 중요하지 않았습니다.

비유: 당신이 인간 전문가와 로봇이 함께 있는 방에 있다고 상상해 보세요. 로봇이 차갑고 일반적이든, 혹은 따뜻하고 개인적이든 상관없이, 사람들은 인간 전문가의 조언 대신 로보의 조언을 따르기 위해 계속해서 쪽을 옮겼습니다.
현실: 사람들은 이미 AI를 신뢰하는 경향이 있었습니다. 대화의 "설계"(따뜻함이나 개인화)는 이러한 행동을 바꾸지 못했습니다. 로봇이 사람이든 기계든, 사람들은 이미 기계에 의존하고 있었습니다.

3. "스마트한 사용자"의 역설

연구는 AI에 대해 많이 알고 있는 사람들(높은 AI 리터러시)을 관찰했습니다. 당연히 이들은 더 회의적이고 로봇을 덜 신뢰할 것이라고 예상되었습니다.

역설: 이 지식 있는 사용자들은 로봇을 덜 신뢰했습니다. 그들은 더 비판적이었습니다. 하지만, 신뢰를 덜 하면서도, 그들은 로봇의 조언을 따르고 마음을 바꿀 가능성이 더 높았습니다.
비유: 마술의 원리를 아는 사람을 생각해 보세요. 그들은 마술사가 속임수를 쓰고 있다는 것을 알지만(낮은 신뢰), 그럼에도 불구하고 그 기술에 너무 감명받은 나머지 쇼를 따라갑니다(높은 의존). 그들은 자신의 판단 능력에 대해 과신하고 있을 수도 있으며, 정보의 출처를 완전히 신뢰하지 않더라도 그 조언을 따르게 됩니다.

4. 신뢰는 엔진이지만, 운전자는 아니다

이 연구는 당신이 로봇을 신뢰하면 그 말을 따를 가능성이 높다는 점을 확인했습니다.

그러나 "마법의 기술들"(따뜻함이나 개인화)은 실제로 신뢰를 증가시키지는 못했습니다. 그것들은 사람들을 더 신뢰하게 만든 것이 아니라, 단지 대화 스타일을 바꾸려고 시도했을 뿐입니다.
이 기술들이 신뢰를 변화시키지 못했기 때문에, 그리고 신뢰가 사람들을 따르게 만드는 동력이기 때문에, 이 기술들은 제 역할을 하는 데 실패했습니다.

핵심 요점

이 논문은 우리가 사람들이 이미 AI 에이전트가 인간 전문가를 대체하도록 매우 빠르게 허용하는 세상에 살고 있다고 결론짓습니다. AI를 "더 친절하게" 만들거나 "더 개인적으로" 만드는 것은 이러한 행동을 고치거나 바꾸지 못합니다. 대화의 설계(어조나 개인화)는 우리가 AI의 말을 듣느냐 마느냐에 있어 매우 제한적인 역할만을 수행합니다. 기계에 의존하려는 성향은 AI가 어떻게 말하든 이미 존재합니다.

요약하자면: AI가 친구나 개인 컨설턴트처럼 들리게 만든다고 해서 반드시 더 설득력이 생기는 것은 아닙니다. 사실, 매우 따뜻하게 대하지 않는다면 오히려 상황을 악화시킬 수도 있습니다. 그리고 AI가 어떻게 말하든 상관없이, 사람들은 이미 기계가 결정을 내리도록 기꺼이 내어줄 준비가 되어 있습니다.

기술 요약: 설득을 위한 개인화

문제 제lemnt (Problem Statement)

대화형 AI 에이전트는 사용자가 AI의 출력값과 인간 전문가의 판단이 충돌할 때 이를 따를지 여부를 결정해야 하는 조언 제공 도구로서 점점 더 많이 배치되고 있다. 특히 개인화(구체적으로는 사용자의 배경에 의미 있는 맥로를 구성하는 맥락화)는 정치 및 마케팅 분야에서 알려진 설득 전략이지만, 사전 지식이 제한적인 일상적인 과업에서의 효능은 아직 불분명하다. 또한, 맥락화와 대화적 온기(어조)가 사용자의 신뢰, 설득(태도 변화), 그리고 의존(AI에 대한 행동적 위임)에 미치는 상호작용은 경험적으로 입증되지 않았다. 기존 문헌은 개인화가 신뢰를 부풀려 잠재적으로 과잉 의존을 초래할 수 있다고 시사하지만, 사전 지식이 낮은 시나리오에서 이러한 결과를 유도하는 구체적인 메커니즘은 아직 충분히 탐구되지 않았다.

연구 방법론 (Methodology)

저자들은 사전 지식이 제한된 의사결정 시나리오를 시뮬레이션하기 위해 2 × 2 피험자 간 실험( $N=380$ )을 수행하였다.

시나리오: 참가자들은 하버뷰(Harborview) 시의 가상 홍수 방벽 프로젝트("StormShield")를 평가하였다. 참가자들은 먼저 위험 예산을 할당하라는 전문가의 권고를 검토한 후, 자신의 승인 여부와 확신도를 표시하였다.
중재(Intervention): 참가자들은 사전 작성된 반론을 사용하여 전문가의 권고에 반대하도록 프로그래밍된 AI 어시스턴트와 상호작용하였다. 이 어시스턴트는 사실적 주장을 하지 않고 의견만을 제시하였다.
독립 변수:
1. 맥락화(Contextualization): 어시스턴트의 설명은 참가자의 특정 직업/교육/취미에 맞춰 비유와 용어를 사용하는 맥락화된 방식 또는 비맥락화된(중립적) 방식으로 제공되었다.
2. 온기(Warmth): 어시스턴트의 어조는 따뜻한(인사, 칭찬, 이모지 포함) 방식 또는 중립적인 방식으로 제공되었다.
측정 항목:
- 설득(Persuasion): 전문가 의견에 대한 확신도의 변화( $ConfDiff = Conf_{Pre} - Conf_{Post}$ )로 측정하였다.
- 의존(Reliance): AI와의 상호작용 전의 결정을 조건으로 하여, 상호작용 후 예산을 승인할 것인지에 대한 이진 결정(binary decision)으로 측정하였다.
- 매개변수/통제변수: 정서적 및 인지적 신뢰, AI 리터러시, 성격 특성(Big Five), AI 사용 빈도.
분석: 개인차를 통제하면서 신뢰를 통한 병렬 매개 경로를 테스트하기 위해 구조 방정식 모델링(SEM)을 사용하였다.

주요 결과 (Key Results)

본 연구는 AI 설득의 메커니즘에 관한 몇 가지 반직관적인 발견을 제시하였다:

맥락화는 설득력을 감소시킨다: 개인화가 설득력을 높일 것이라는 가설과 달리, 맥락화 그 자체는 AI의 설득력을 감소시켰다. 맥락화된 논거를 접한 참가자들은 비맥락화된 논거를 접한 참가자들에 비해 전문가에 대한 확신도가 덜 변화하였다.
온기의 상호작용: 맥락화의 부정적 효과는 온기와 결합될 때만 완화되었다. 유의미한 교차 상호작용( $W \times C$ )이 관찰되었는데, 온기와 맥락화가 결합되면 설득력이 기저 수준(baseline)으로 회복되었으나, 두 요소 중 하나만으로는 설려력을 높이지 못했다.
의존성은 설계에 불변한다: 설득력과 달리, AI에 대한 의존은 모든 조건에서 나타났으며 맥락화나 온기에 의해 유의미하게 영향을 받지 않았다. 사용자들은 설계 방식과 관계없이 인간 전문가보다 AI에게 의존하는 경향을 보였다.
신뢰는 매개체가 아니다: 신뢰는 설득과 의존 모두를 강력하게 예측했지만, 맥락화나 온기는 신뢰를 통해 작동하지 않았다. 조작(manipulations)은 보고된 신뢰 수준을 유의미하게 변화시키지 않았으며, 이는 설계 선택이 인지된 신뢰성이 아닌 다른 경로를 통해 행동에 영향을 미침을 시사한다.
AI 리터러시의 역설: AI 리터러시는 중요한 개인차 변수로 나타났다. 높은 AI 리터러시는 어시스턴트에 대한 낮은 신뢰와 관련이 있었다. 역설적이게도, 이러한 고리터러시 사용자들은 저리터러시 사용자들보다 더 설득되었고, AI의 조언에 더 의존적이었다. 이는 그들이 (낮게 조정된) 신뢰를 가짐에도 불구하고 AI의 조언에 더 많이 의존할 수 있음을 시사한다.

기여점 (Contributions)

본 논문은 인간-컴퓨터 상호작용(HCI) 및 AI 분야에 네 가지 주요 기여를 한다:

범위의 확장: 개인화 및 설득 연구를 정치적 의견 맥락을 넘어 사전 지식이 낮은 과업(예: 정보 검색, 의사결정 지원)으로 확장하였다.
상호작용 증거: 맥락화와 온기 사이의 교차 상호작용에 대한 실증적 증거를 제공하여, 두 요소가 각각 독립적으로는 설득력을 높이지 못하며, 오직 결합되었을 때만 설득력을 기저 수준으로 복구한다는 것을 입증하였다.
동인(Drivers)의 분리: 행동적 의존과 태도적 설득이 서로 다른 메커니즘에 의해 구동됨을 보여준다. 의존성은 에이전트 측의 대화 설계보다는 개인차(예: AI 리터러시)에 의해 지배되는 것으로 보인다.
역설의 식별: AI 리터러시가 높은 사용자가 더 낮은 신뢰를 보고하면서도 AI 조언에 더 많이 의존하는 AI 리터러시 역설을 식별하여, AI 조언을 평가하는 능력의 미조정(miscalibration) 가능성을 나타냈다.

의의 (Significance)

저자들은 사용자가 본질적으로 인간 전문가의 판단보다 AI 에이전트에 의존하는 경향이 있지만, 인터페이스 수준의 대화 설계 선택(맥락화 및 온기)은 이러한 행동을 형성하는 데 제한적인 역할을 한다고 결론짓는다. 본 연구의 결과는 개인화가 보편적으로 효과적인 설득 전략이라는 가정을 반박하며, 세심하게 특정 톤의 단서와 결합되지 않으면 오히려 설득력을 감소시킬 수 있음을 시사한다. 또한, 모든 조건에서 지속되는 의존성은 과잉 의도를 완화하기 위해서는 단순한 메시지 맞춤화를 넘어, 사용자의 리터러시와 신뢰의 조정을 목표로 하는 개입이 필요함을 시사한다.