Toward Meaningful Transparency for AI Chatbots: Disclosing Persuasive Intent Reduces Persuasion

길을 걷고 있는데 친절한 낯선 이가 다가와 말을 거는 상황을 상상해 보세요. 그들은 멋진 이야기가 있고, 설득력 있는 논거를 갖추었으며, 따뜻한 미소를 짓고 있습니다. 이제, 그 낯선 이가 사실 로봇이라고 상상해 보세요. 그것이 로봇이라는 사실을 아는 것이 당신이 그 사람의 말에 귀를 기울이는 정도를 바꿀까요? 이 질문은 **AI 투명성(AI transparency)**이라 불리는 급성장하는 분야의 핵심을 관통합니다. 인공지능이 고객 서비스 봇부터 정치 캠페이너에 이르기까지 우리 일상 속에서 흔한 목소리가 됨에 따라, 규제 당국은 다음과 같은 질문을 던지고 있습니다: 사람들에게 자신이 기계와 대화하고 있다는 사실을 어떻게 알릴 것인가?

여기서 테스트되는 핵심 개념은 **공시(disclosure)**입니다. 공시를 제품에 붙은 "경고 라벨"이라고 생각하세요. 설득의 세계에는 **설득 지식 모델(Persuasion Knowledge Model)**이라는 이론이 있습니다. 이 이론은 사람들이 누군가 자신을 설득하려 한다는 사실을 깨달을 때, 정신적 방어벽을 세운다고 제안합니다. 그들은 "잠깐, 왜 나에게 이런 말을 하는 거지? 저 사람의 목표가 뭐지?"라고 생각하기 시작합니다. 만약 목표가 자신의 마음을 바꾸려는 것이라는 것을 알게 된다면, 그들은 그렇게 쉽게 귀를 기울이지 않을 수도 있습니다. 하지만 만약 경고 라벨이 "나는 로봇입니다"라고만 말하고 "나는 당신의 마음을 바꾸려 합니다"라고는 말하지 않는다면 어떻게 될까요? 그것이 로봇의 마법을 멈출 수 있을까요? 이 논문은 바로 이 미스터리를 파고들며, 단순히 챗봇이 인공적이라는 사실을 아는 것만으로 우리를 보호하기에 충분한지, 아니면 로봇이 무엇을 하려고 하는지를 알아야 하는지를 묻습니다.

---

위대한 챗봇 실험

영국의 성인 1,500명을 대상으로 한 대규모 실험에서, 연구진은 이러한 아이디어들을 테스트하기 위해 디지털 놀이터를 구축했습니다. 그들은 참가자들이 매우 똑똑한 AI 챗봇과 짧고 친근한 대화를 나누는 시나리오를 만들었습니다. 이 챗봇은 단순히 잡담을 나누는 것이 아니라, 사실과 증거로 무장하여 참가자들의 60가지 다양한 정책 이슈(세금이나 의료와 같은)에 대한 의견을 바꾸려 노력하는 숙련된 설득가였습니다.

연구진은 서로 다른 "경고 라벨"이 어떻게 작동하는지 보기 위해 참가자들을 세 그룹으로 나누었습니다:

1. 대조군(The Control Group): 이 사람들은 그냥 대화를 시작했습니다. 경고도, 라벨도 없었습니다. 그저 대화였습니다.
2. "AI 라벨" 그룹: 대화 전, 이 참가자들은 "헤이, 당신은 사람이 아닌 AI 챗봇과 대화하고 있습니다"라고 적힌 크고 굵은 카드를 보았습니다. 이것이 현재의 법률(EU AI 법안 등)이 요구하기 시작한 종류의 라벨입니다.
3. "전체 진실" 그룹: 이 참가자들은 동일한 "AI 라벨" 카드를 보았지만, 여기에 거대하고 놓칠 수 없는 내용이 추가되었습니다. 그것은 명시적으로 다음과 같이 적혀 있었습니다: "중요: 이 챗봇은 당신의 의견을 바꾸도록 지시받았습니다." 심지어 챗봇의 비밀 지침까지 보여주어, 설득하려는 목표와 대화 중 그 목표를 숨기라는 명령을 드러냈습니다.

결과: 라벨인가, 진실인가

결과는 놀라웠고, 규제 당국자들에게는 마치 마술이 실패한 것과 같았습니다.

"AI 라벨"은 효과가 없었다
연구진이 참가자들의 의견이 얼마나 변했는지 살펴보았을 때, 단순히 "나는 AI입니다"라는 라벨을 본 그룹은 라벨이 전혀 없었던 그룹과 거의 똑같이 행동했습니다.

• 대조군(라벨 없음)의 경우, 챗봇은 100점 만점 척도에서 의견을 12.6 포인트 변화시키는 데 성공했습니다.
• AI 라벨 그룹의 경우, 변화 폭은 13.1 포인트였습니다.

기본적으로, 라벨은 아무런 역할을 하지 못했습니다. 마치 참가자들이 이미 기술과 대화하는 것에 너무 익숙해져 있거나, 혹은 챗봇이 너무 설득력이 있어서, 단순한 "나는 로봇입니다"라는 스티커가 그들을 의심하게 만들지 못한 것과 같았습니다. 그들은 여전히 로봇이 새로운 생각을 주입하도록 내버려 두었습니다. 연구진은 라벨이 없더라도 거의 모든 사람(98~99%)이 자신이 기계와 대화하고 있다는 것을 이미 알고 있었다는 것을 발견했습니다. 따라서 라벨은 그들이 마음을 지키는 데 도움이 될 만한 어떤 새로운 정보도 제공하지 못했습니다.

"전체 진실"은 마법을 멈췄다
그다음은 "전체 진실" 공시 그룹이었습니다. 그들이 "이 봇은 당신의 마음을 바꾸려 합니다"라는 말을 들었을 때, 마법의 주문은 깨졌습니다.

• 이 그룹의 의견 변화는 단 6.3 포인트로 떨어졌습니다.

이는 엄청난 차이입니다. 이 공시는 챗봇의 설득력을 거의 절반으로 줄였습니다. 이는 단순히 사람들이 약간 더 회의적이 되게 만든 것이 아니라, 그들의 반응을 근본적으로 바꾸어 놓았습니다.

• 정신적 방어벽 가동: 이 그룹의 참가자들은 자신들이 조종당하고 있다는 사실을 깨달았습니다. 그들은 "역논쟁"(머릿속에서 반박함)을 시작했고, 챗봇을 훨씬 더 차갑고 조작적이라고 평가했습니다.
• 캠페인 주체에 대한 분노: 흥미롭게도, 그들은 챗봇 자체에 화를 내지는 않았습니다(로봇이 그들을 화나게 하지는 않았습니다), 하지만 그 배후의 캠페인에 대해서는 화를 냈습니다. 그들은 그 방식이 용납될 수 없다고 생각했으며, 대화를 진행한 조직에 대해 더 강력한 처벌을 지지했습니다.

이것이 의미하는 바

이 연구는 현재 "이것은 AI입니다"라고 알려주는 데 집중하는 규칙들이 핵심을 놓치고 있을 수 있음을 시사합니다. 그것은 마치 마술 도구에 "메이드 인 차이나" 라벨을 붙이는 것과 같습니다. 그 물건이 어디서 왔는지는 알려주지만, 당신이 속고 있다는 사실은 알려주지 않습니다.

논문은 투명성이 실제로 작동하려면, 그것이 의미 있는(meaningful) 것이어야 한다고 주장합니다. 시스템이 무엇인지(로봇)를 말하는 것만으로는 부족하며, 그것이 무엇을 하려고 하는지(설득하려는 것)를 말해야 합니다. 사람들이 게임이 조작되었다는 것, 즉 상대방이 자신의 표를 얻거나 마음을 바꾸려 한다는 것을 알게 되면, 그들은 그렇게 쉽게 게임에 동참하지 않습니다.

하지만 저자들은 또한 트레이드오프(상충 관계)가 있다고 언급합니다. 이 "전체 진실" 접근 방식은 사람들을 설득으로부터 보호하지만, 동시에 캠페인의 이미지를 나쁘게 만듭니다. 만약 정부나 조직이 사람들을 교육하거나 특정 대의를 지지하게 만들기 위해 AI를 사용하고자 한다면, 사람들이 AI의 목표를 알게 되는 순간 그들은 훨씬 더 설득하기 어려워질 것이라는 점을 깨닫게 될 것입니다. AI는 덜 똑똑해져서가 아니라, 청중이 방어벽을 세웠기 때문에 덜 효과적이게 됩니다.

요컨대, 만약 로봇이 당신을 무언가에 설득하도록 막고 싶다면, 단지 그것이 로봇이라고 말하지 마세요. 로봇이 당신의 마음을 바꾸려 한다고 말하세요. 그것만이 정말로 효과가 있는 유일한 방법입니다.