기술 요약: 스스로 수정하라, 나의 신뢰를 유지하라

문제 제 dạng

사회적 챗봇은 자기 공개(self-disclosure)와 개인화된 상호작용을 통해 의미 있는 사회적 유대를 형성하며 일상생활에 점점 더 깊숙이 통합되고 있습니다. 그러나 이러한 에이전트들은 설득력 있지만 부정확한 정보를 생성하는 경향이 여전히 남아 있습니다. 이들이 구축한 사회적 유대는 사용자가 오정보에 더 취اری하게 만들 수 있다는 점에서 이러한 오류의 결과가 특히 중대할 수 있습니다. 기존 연구는 신념 교정과 신뢰 회복을 별개로 다루고 있지만, 중요한 격차가 존재합니다: 사회적 챗봇이 신뢰성을 유지하기 위해 어떻게 오류를 복구해야 하는지, 자기 수정(self-correction)이 외부 수정 소스와 비교하여 어떻게 다른지, 그리고 기존의 사회적 관계가 수정의 효과성에 영향을 미치는지 여부는 알려져 있지 않습니다. 구체적으로, 문헌은 자기 수정이 신념 교정과 에이전트의 신뢰성 보존을 동시에 달성할 수 있는지, 아니면 사회적 관계가 수정의 효과를 증폭시키는 기능적 메커니즘으로 작용하는지를 결정하지 못했습니다.

방법론

저자들은 Prolific을 통해 모집된 120명의 참가자(남성 60명, 여성 60명, 평균 연령 31.2세)를 대상으로 무작위 피험자 간 실험을 수행했습니다. 본 연구는 "Drew"라는 이름의 사회적 챗봇에 대한 오류 수정 전략을 비교하기 위해 세 가지 그룹 설계(three-group design)를 활용했습니다:

1. 웹페이지 수정 그룹 (Webpage Correction Group): 전통적인 웹페이지 정정 방식을 통해 잘못된 진술이 수정되었습니다.
2. 자기 수정 그룹 (Self-Correction Group): 사회적 챗봇(Drew)이 직접 오류를 인정하고 수정했습니다.
3. 전문가 수정 그룹 (Expert Correction Group): 전문가 챗봇("Dr. Kerry")이 진술을 수정했습니다.

절차:
참가자들은 약 15분 동안 진행되는 4단계 상호작용에 참여했습니다:

1. 사회적 라포 형성 (Social Rapport Building): 사회적 연결을 구축하기 위한 잡담 및 자기 공개.
2. 오정보 노출 (Misinformation Exposure): 챗봇이 건강/영양에 관한 잘못된 진술을 합니다 (예: "시금치는 철분의 매우 훌륭한 공급원이다"). 참가자들은 7점 리커트 척도로 해당 진술에 대한 믿음을 평가했습니다.
3. 지속적인 상호작용 (Continued Interaction): 두 번째 라운드의 잡담.
4. 수정 (Correction): 할당된 조건에 따라 "트루스 샌드위치(truth-sandwich)" 형식(진술 제시, 추론 유도, 증거를 통한 도전, 성찰 요청)을 사용하여 오류를 수정했습니다.

측정 지표:

• 사회적 연결 (Social Connection): 사회적 매력, 친밀도, 상호작용 품질, 의사소통 능력, 우정의 느낌, 자기 공개를 통해 평가되었습니다.
• 신뢰성 (Credibility): 신뢰성(Trustworthiness)과 인지된 전문성(Perceived Expertise)으로 측정되었습니다.
• 신념 변화 (Belief Change): 수정 전후의 신념 점수 차이의 산술적 차이로 계산되었습니다.
• 질적 데이터 (Qualitative Data): 신뢰, 수정 소스에 대한 인식, 향러의 신뢰에 관한 개방형 질문을 귀납적으로 코딩했습니다.

통계 분석에는 일원 배치 분산 분석(one-way ANOVA), 던넷 사후 검정(Dunnett's post-hoc tests), 부트스트랩 신뢰 구간, 순열 검정(permutation tests) 및 수정 효과를 조사하기 위한 OLS 회귀 분석이 포함되었습니다.

주요 결과

1. 신뢰성 보존 (RQ1)

세 가지 전략 모두 오정보에 대한 믿음을 줄이는 데는 동일하게 효과적이었으나, 오직 자기 수정만이 챗봇의 신뢰성을 보존했습니다.

• 신뢰성 및 전문성: 참가자들은 자기 수정 챗봇의 신뢰성($M=5.59$)과 전문성($M=5.52$)을 전문가 수정 그룹($M=4.79, M=4.72$) 및 웹페이지 그룹($M=4.76, M=4.78$)보다 유의미하게 높게 평가했습니다.
• 외부 소스: 전문가 그룹과 웹페이지 그룹 사이에는 유의미한 차이가 없었으며, 이는 수정을 외부에 맡기는 것이 단순한 정정(retraction)보다 신뢰도 측면에서 이점을 제공하지 못함을 나타냅니다. 즉, 두 방식 모두 원래 챗봇의 평판에 부수적인 피해를 입혔습니다.
• 질적 통찰: 자기 수정 그룹에서 참가자들은 수정을 정직함과 지속적인 학습의 신호로 해석했으며, 오류를 무능함이 아닌 "선의에 의한 실수"로 재정의했습니다. 반면, 비-자기 수정 그룹은 기존의 사회적 연결을 조작적이라고 느끼거나 배신감을 느끼는 경우가 많아 지속적인 신뢰 손상을 초래했습니다.

2. 신념 수정 효과 (RQ2)

세 가지 수정 전략 모두 잘못된 정보에 대한 믿음을 줄이는 데 동일하게 효과적이었습니다 ($p=.638$). 평균 신념 변화 점수는 그룹 간에 유사했습니다 (자기 수정: $2.79$; 전문가:$3.00$; 웹페이지:$2.61$). 이는 자기 수정의 주요 장점이 더 많은 신념 변화를 생성하는 데 있는 것이 아니라, 에이전트의 신뢰성을 훼손하지 않으면서 동일한 수정 결과를 달 수 있다는 점에 있음을 시사합니다.

3. 조절 변수로서의 사회적 연결 (RQ3)

사용자의 사회적 연결 강도(특히 자기 공개와 사회적 매력)는 신념 변화의 크기를 유의미하게 예측했으나, 이는 자기 수정 그룹에서만 나타났습니다.

• 조절 효과: 자기 수정 조건에서, 높은 자기 공개와 사회적 매력은 더 큰 신념 변화를 강력하게 예측했습니다 ($R^2 = .825$).
• 외부 그룹에서의 효과 없음: 전문가 및 웹페이지 그룹에서는 사회적 연결 지표가 신념 변화를 예측하지 못했습니다 (상관관계가 0에 가까움).
• 메커니즘: 질적 데이터에 따르면, 결속된 에이전트가 스스로를 수정할 때 사용자는 이를 호혜적이고 정직한 교환으로 보고 수정 내용에 대해 더 깊은 처리(중심 경로 처리)를 수행합니다. 외부 소스가 오류를 수정할 경우, 사회적 유대가 끊어지며 사용자는 소스 수준에서 수정을 거부하는 경향이 있습니다.

주요 기여

본 논문은 HCI 커뮤니티에 세 가지 구체적인 기여를 합니다:

1. 결과의 분리: 신념 수정과 신뢰성 보존이 서로 다른 결과임을 입증합니다. 자기 수정은 에이전트의 신뢰성이나 전문성을 손상시키지 않고 효과적인 신념 수정을 달성하는 유일한 전략으로 확인되었습니다.
2. 사회적 연결의 기능적 역할: 사회적 관계가 단순히 참여를 위한 디자인 요소가 아니라, 수정이 결속된 에이전트에 의해 전달될 때 수정 효과를 증폭시키는 기능적 메커니즘임을 확립합니다.
3. 디자인 함의: 사회적 챗봇은 오류 수정을 외부에 맡기기보다 스스로 수정해야 하며, 오류 발생 전 사회적 연결을 구축하는 것이 더 효과적인 오류 복구를 용이하게 하는 "관계적 채널"을 만든다는 실질적인 지침을 제공합니다.

의의 및 주장

저자들은 사회적 챗봇에게 있어 오류 수정은 정보적 차원이 아닌 근본적으로 관계적인 것이라고 주장합니다. 본 연구는 전문가나 웹페이지로 수정을 위임하는 것이 신뢰를 유지하기 위한 안전한 대안이라는 생각을 반박합니다. 대신, 다음과 같은 발견을 제시합니다:

• 자기 수정은 최적의 복구 전략입니다: 사회적 에이전트의 장기적 신뢰성을 유지하기 위해 가장 적합한 방법입니다.
• 사회적 연결은 조건부 증폭기 역할을 합니다: 사회적 연결이 구축된 것과 동일한 관계적 채널을 통해 수정이 전달될 때만 수정의 효과를 높입니다.
• 디자인 의무: 챗봇이 점점 더 사회적으로 매력적이고 인격적으로 변함에 따라, 자신의 실수를 설득력 있게 복구해야 할 의무 또한 증가합니다. 오류를 감지하고, 인정하며, 가시적으로 복구하는 능력은 선택적 기능이 아니라 사회적 계약을 유지하기 위한 핵심적인 디자인 요구사항으로 제시됩니다.

결론적으로, 사회적 챗봇의 오류를 복구하는 가장 효과적인 방법은 챗봇 자신이며, 이는 관계를 보존하고 사회적 유대를 활용하여 신념 업데이트를 촉진하기 때문입니다.