🤖 AI

The Decision to Verify: How Warmth and User Characteristics Shape Reliance on Conversational Agents for Information Search

본 연구는 하이브리드 검색 도구에 접근할 수 있음에도 불구하고 사용자의 대화형 AI 의존도가 지속되며, 이는 답변의 질보다는 개인의 특성과 이전의 신뢰에 주로 기인하며, 따뜻한 대화 스타일이 잘못된 정보에 대한 동의까지 유도함으로써 과의존을 부추긴다는 것을 밝힌다.

원저자: Mert Yazan, Frederik Bungaran Ishak Situmeang, Suzan Verberne

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mert Yazan, Frederik Bungaran Ishak Situmeang, Suzan Verberne

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"정보 검색을 위한 대화형 에이전트 의존성에 온기와 사용자 특성이 미치는 영향: 검증의 결정"이라는 논문에 대한 설명을 일상적인 비유와 함께 간단한 개념으로 나누어 정리했습니다.

큰 그림: "스마트 어시스턴트"의 함정

"인간을 가장 많이 죽이는 동물은 무엇인가?"와 같은 특정 사실을 찾으려 한다고 상상해 보세요. 이때 두 가지 도구가 있습니다. 챗봇(사용자와 대화하는 친근한 AI) 과 웹 브라우저(전통적인 검색 엔진) 입니다.

과거 연구자들은 다음과 같이 생각했습니다. "사람들에게 두 가지 도구를 모두 제공하면, AI 의 답변을 웹으로 확인하게 되어 모든 것이 완벽해질 것이다."

이 연구는 그 아이디어를 검증했습니다. 연구진은 199 명의 참가자가 6 개의 까다로운 질문에 답해야 하는 게임을 구성했습니다. 참가자들은 답변을 제공하는 챗봇을 사용할 수 있었지만, 동시에 그 답변을 사실 확인하기 위해 웹 검색을 열 수 있는 버튼도 가지고 있었습니다.

주요 발견: 사람들은 웹 브라우저가 바로 옆에 있음에도 불구하고 여전히 실수를 저질렀습니다. 어떤 이들은 AI 를 지나치게 신뢰했고 (과신), 어떤 이들은 충분히 신뢰하지 못했습니다 (부족한 신뢰). 사실을 확인하느냐의 결정은 질문의 난이도에 따른 것이 아니라, 주로 누가 질문했는지와 AI 가 어떻게 들리는지에 따라 결정되었습니다.

주요 발견 1: "친근한 이웃" 효과 (온기)

연구진은 챗봇의 두 가지 버전을 만들었습니다.

중립적: 감정 없이 사실만 전달.
온기 있는: 친근하며 이모지를 사용하고 "놀라운 질문이네요!"나 "도와드리고 싶어요!"와 같은 말을 사용.

비유: 중립적 챗봇은 책만 건네주는 엄격한 사서라고 생각하세요. 온기 있는 챗봇은 쿠키를 들고 오며 웃으며 대화하는 수다스러운 이웃입니다.

발생한 일:
챗봇이 틀린 답변을 제시했을 때, 사람들은 중립적인 버전보다 온기 있는 버전을 더 믿는 경향이 있었습니다.

이유: 사람들이 답변을 확신하지 못할 때 (불확실성이 높을 때), 친근한 어조는 AI 에 동의하는 데 더 편안함을 느끼게 했습니다. 마치 유창하게 말하는 영업 사원처럼, 그들이 당신에게 너무 친절하기 때문에 나쁜 제품이라도 구매할 수 있는 것과 같습니다.
주의점: 대부분의 사람들은 친근함이 자신을 속이고 있다는 사실을 깨닫지 못했습니다. 이는 무의식적으로 발생했습니다.

주요 발견 2: 도구가 아닌 사용자에 관한 것

이 연구는 "사실 확인 버튼"이 문제를 해결하지 못했다는 것을 발견했습니다. 누군가가 답변을 확인하느냐 마느냐는 질문의 내용보다는 그 사람의 성격에 달려 있었습니다.

비유: 퍼즐을 풀려고 하는 사람들의 그룹을 상상해 보세요.

**A 그룹 **(회의론자): "AI 는 보통 틀려."라고 생각합니다. AI 가 실제로 맞을 때도 모든 답변을 확인합니다. (이는 부족한 신뢰입니다).
**B 그룹 **(신뢰자): "AI 는 똑똑해."라고 생각합니다. AI 가 틀릴 때도 절대 확인하지 않습니다. (이는 과신입니다).
**C 그룹 **(조건부 확인자): 답변이 그들에게 이상하게 들릴 때만 확인합니다.

결과: 이 연구는 이러한 습관이 사람 안에 깊이 뿌리내려 있음을 보여주었습니다.

챗봇을 일반적으로 신뢰하는 사람은 웹 검색 버튼을 사용할 가능성이 낮습니다.
높은 "챗봇 리터러시"(AI 가 어떻게 작동하는지, "할루시네이션"이 무엇인지 등을 이해하는 능력) 를 가진 사람들은 AI 가 거짓말을 할 때 특히 올바른 답변을 찾아내는 데 더 능합니다.
흥미롭게도, 첫 번째 AI 의 작업을 확인하기 위해 다른 AI를 사용하는 것이 표준 웹 검색을 하는 것보다 사람들이 올바른 답변을 얻는 데 도움이 되었습니다. 하지만 단순히 표준 웹 검색을 사용하는 것은 항상 도움이 되지 않았습니다. 왜냐하면 사람들은 종종 첫 번째 AI 가 말한 것을 확인해 주는 결과만 찾았기 때문입니다.

주요 발견 3: "앵커링" 문제

사람들이 챗봇으로 시작했을 때, 그 답변이 그들의 "앵커(기준점)"가 되었습니다.

비유: 친구가 "영화는 오후 7 시에 시작해"라고 말하고, 그다음 포스터를 보니 "7 시 30 분"이라고 적혀 있다면, 당신은 여전히 "내 친구가 7 시라고 했으니 아마 포스터가 틀린 것 같아"라고 생각하거나 포스터를 무시할 수 있습니다.
현실: 사람들이 웹 검색을 사용했을 때도, 그들은 종종 챗봇의 답변을 "진실"로 취급하고 그와 일치하는 웹 결과만 찾았습니다. 그들은 AI 를 도전하기 위해 웹을 사용한 것이 아니라, AI 를 확인하기 위해 웹을 사용했습니다.

"게임 규칙" 요약

도구만으로는 부족함: 사실 확인 방법을 제공한다고 해서 사람들이 AI 를 맹신하는 것을 막을 수 없습니다.
성격이 승리함: 어떤 사람들은 본질적으로 회의적이고, 어떤 사람들은 본질적으로 신뢰합니다. 이는 질문 내용에 따라 변하지 않습니다.
친절함은 위험함: 너무 친절하게 말하는 챗봇은 당신이 답변을 확신하지 못할 때, 틀렸더라도 동의하게 만들 수 있습니다.
AI 대 AI: 첫 번째 AI 를 다른 AI 로 확인하는 것이 단순한 표준 웹 검색보다 정확도 향상에 더 도움이 되는 것으로 보였습니다.
지식이 도움이 됨: AI 가 어떻게 작동하는지 이해한 사람들 (챗봇 리터러시) 이 진실을 찾아내는 데 더 능했습니다.

당신에게这意味着什么

챗봇을 사용하여 사실을 찾을 때:

친근한 어조가 답변이 정확하다고 생각하게 만들지 마세요.
불확실하다면, 처음 받은 답변을 맹신하지 마세요.
AI 가 어떻게 작동하는지 조금이라도 안다면, 더 정확한 결과를 얻을 가능성이 높습니다.
기술을 "신뢰"하거나 "불신"하는 당신의 습관이 올바른 답변을 얻는지 여부에 가장 큰 영향을 미친다는 점을 기억하세요.

참고: 이 설명은 논문에 제시된 발견 사항에 엄격히 충실합니다. 저자들은 이러한 결과가 의료 진단, 법률 조언 또는 기타 특정 임상 분야에 적용된다고 주장하지 않으며, 이러한 발견을 바탕으로 구체적인 미래 제품을 제안하지도 않습니다.

기술 요약: 검증의 결정: 온기와 사용자 특성이 정보 검색을 위한 대화형 에이전트 의존성에 미치는 영향

문제 제기

대화형 인공지능 (AI), 특히 대규모 언어 모델 (LLM) 은 접근성이 높고 노력이 적게 드는 인터페이스를 제공함으로써 정보 검색 방식을 혁신적으로 변화시켰습니다. 그러나 이러한 편의성은 과도한 의존이라는 치명적인 위험을 초래합니다. 사용자가 AI 가 생성한 잘못된 출력 (할루시네이션) 을조차 맹목적으로 수용하는 현상입니다. 대화형 에이전트와 전통적인 웹 검색 (사실 확인 도구) 에 동시 접근할 수 있는 새로운 검색 패러다임이 등장했음에도 불구하고, 이러한 하이브리드 환경이 실제로 의존성을 효과적으로 완화하는지는 여전히 불분명합니다.

기존 문헌은 외부 사실 확인 도구가 제공되더라도 의존성이 지속된다고 시사하지만, 검증을 결정하거나 맹목적으로 신뢰하게 만드는 메커니즘은 아직 충분히 탐구되지 않았습니다. 구체적으로 다음과 같은 이해의 공백이 존재합니다:

사실 확인 도구의 단순한 가용성이 과도한 의존이나 미흡한 의존을 제거하는지 여부.
검증 행위가 답변의 속성보다는 디지털 리터러시, 이전 신뢰도 등 고유한 사용자 특성에 의해 어느 정도 주도되는지.
하이브리드 검색 맥락에서 **온기 (warmth)**라는 대화 스타일이 의존성 행동에 미치는 영향.

방법론

저자들은 이러한 역학을 조사하기 위해 혼합 설계 실험 ( $N=199$ ) 을 수행했습니다.

실험 설계

과제: 참가자들은 금융, 지리, 법률, 생물학 등 다양한 영역을 다루는 6 개의 객관식 질문에 답했습니다.
조건:
- 피험자 간 (Between-Subjects): 참가자들은 온기 있는 (Warm) 또는 중립적인 (Neutral) 챗봇 중 하나와 상호작용하도록 무작위 배정되었습니다. 온기 있는 챗봇은 친근한 어조, 이모지, 감정 표현을 사용했고, 중립적인 챗봇은 감정적 표시 없이 사실적인 답변을 제공했습니다.
- 피험자 내 (Within-Subjects): 챗봇의 초기 답변 정확도는 무작위로 결정되었습니다. 각 참가자는 6 개의 질문 중 3 개는 정확하고 3 개는 부정확한 답변을 받았습니다.
환경: 실험은 현실적인 하이브리드 검색 패러다임을 시뮬레이션했습니다. 참가자들은 다음에 접근할 수 있었습니다:
1. 초기 답변을 제공하는 임베디드 챗봇.
2. 구글 검색 결과로 연결되는 '웹 검색' 버튼.
3. 기타 외부 소스를 자유롭게 이용할 수 있는 권한.
추적: 노이즈가 있는 자기 보고식 데이터를 피하기 위해, 맞춤형 크롬 확장 프로그램이 참가자의 상호작용을 추적하여 챗봇으로 보낸 메시지 수와 방문한 특정 URL(AI 관련 또는 비 AI 로 분류됨) 을 기록했습니다.
측정 항목:
- 종속 변수: 정확도 (이진) 및 동의 (이진: 사용자가 챗봇이 제안한 답변을 선택했는지 여부).
- 독립 변수: 챗봇 온기, 자동화에 대한 사용자 신뢰, 챗봇 리터러시, 인지된 난이도, 행동 횟수 (방문한 URL 수, 상호작용 길이).
- 분석: 피험자 및 질문 수준에서 무작위 효과를 고려하기 위해 선형 혼합 모델 (LMM) 과 일반화 선형 혼합 모델 (GLMM) 을 사용했습니다.

주요 발견

1. 검증 도구에도 불구하고 지속되는 의존성

이 연구는 사용자가 즉시 사실 확인 도구에 접근할 수 있음에도 불구하고 과도한 의존과 미흡한 의존이 지속됨을 확인했습니다.

과도한 의존: 일부 사용자는 챗봇에 대한 높은 신뢰에 힘입어 검증을 거치지 않고 잘못된 답변을 수용했습니다.
미흡한 의존: 반면, 일부 사용자는 챗봇이 무능하다고 가정하고 (정확한 답변조차도) 웹 검색을 선호하여 챗봇 답변을 일관되게 거부했습니다.
행위 양극화: 사실 확인 행동은 사용자에 따라 매우 달랐습니다. 일부 참가자는 모든 질문을 사실 확인한 반면, 다른 이들은 질문의 난이도나 챗봇의 정확성과 관계없이 단 한 번도 사실 확인을 하지 않았습니다.

2. 검증 결정의 동인

검증 여부에 대한 결정은 주로 답변 자체의 속성보다는 사용자 특성에 의해 주도됩니다.

신뢰: 챗봇에 대한 높은 기저 신뢰는 챗봇 답변에 동의할 가능성을 높이고 외부 소스를 참조할 가능성을 낮추는 것으로 예측되었습니다.
인지된 난이도: 사용자가 챗봇에게 너무 어려운 질문이라고 인지할 때, 챗봇의 답변에 동의할 가능성이 낮아졌습니다 (정확한 답변에 대한 미흡한 의존으로 이어짐).
소스 선호도: 사용자는 뚜렷한 선호도를 보였습니다. 일부는 추가 AI 소스를 참조한 반면, 다른 이들은 오직 비 AI 웹 검색에만 의존했습니다.

3. 온기의 간접적 영향

대화적 온기는 검증 빈도나 전체 정확도를 직접적으로 예측하지는 않았습니다. 그러나 의존성에 중요한 간접적 영향을 미쳤습니다:

불확실성 하에서 동의 증가: 챗봇이 부정확한 답변을 제공했을 때, 온기 있는 조건의 참가자들은 중립 조건 참가자보다 챗봇에 동의할 가능성이 훨씬 더 높았습니다.
메커니즘: 온기는 사용자가 모순된 정보나 불확실성에 직면했을 때 AI 에 동의하도록 유도하여, 결정적인 순간에 과도한 의존을 실제로 증폭시키는 것으로 보입니다.

4. 챗봇 리터러시와 소스 유형의 역할

챗봇 리터러시: 리터러시는 사용자가 답변을 검증할지 여부를 예측하지는 않았지만, 챗봇이 부정확할 때 정확도를 크게 향상시켰습니다. 리터러시가 높은 사용자는 검증 과정에서 정보를 비판적으로 평가하는 데 더 능숙했습니다.
소스 영향: 추가 AI 소스(다른 챗봇 또는 AI 요약) 를 참조하는 것은 더 높은 정확도를 예측했습니다. 반면, 전통적인 웹 검색 (비 AI URL) 을 참조하는 것은 정확도를 유의미하게 향상시키지 못했는데, 이는 상충되는 소스를 종합하는 데 필요한 노력이나 표준 검색 결과에 존재하는 오정보 때문일 가능성이 높습니다.

의의 및 기여

이 논문은 인간-AI 상호작용 및 정보 검색 문헌에 다음과 같은 세 가지 주요 기여를 주장합니다:

지속적인 의존에 대한 경험적 증거: 챗봇과 웹 검색을 결합한 새로운 하이브리드 검색 패러다임이 과도한 의존이나 미흡한 의존을 제거하기에는 부족함을 보여줍니다. 검증 도구의 존재가 그 사용 보장을 의미하지는 않으며, 장벽은 여전히 인간의 의사결정 과정에 남아 있습니다.
사용자 중심의 검증 행동: 이 연구는 검증 행동을 근본적으로 사용자 의존적으로 규명했습니다. 의존성은 AI 의 정확성에 대한 단순한 반응이 아니라, 개인의 경향성 (예: 기본 신뢰, 회의론, 리터러시) 의 발현입니다.
온기의 무의식적 역할: 이 논문은 대화적 온기가 의존성을 증가시키는 미묘하고 무의식적인 메커니즘으로 작용한다는 최초의 경험적 증거를 제시합니다. 온기는 감정적 신뢰를 고취시켜, 특히 불확실성이 높은 상황에서 사용자가 잘못된 답변에 동의하도록 유도합니다.

결론

이 연구는 신뢰할 수 있는 대화형 검색 시스템을 설계하는 데는 사실 확인 도구 제공만으로는 부족하다고 결론지었습니다. 설계자는 신뢰와 리터러시 측면에서의 개별 사용자 차이를 고려해야 합니다. 또한, AI 에이전트에서 온기 있고 친근한 대화 스타일을 사용하는 것은 AI 가 틀렸을 때 사용자의 회의론을 감소시켜 의도치 않게 과도한 의존을 증가시킬 수 있습니다. 저자들은 전통적인 웹 검색에만 의존하는 것보다 챗봇 리터러시를 높이고 여러 AI 소스 조회를 장려하는 것이 정확도 향상을 위한 더 효과적인 전략일 수 있다고 제안합니다.