Parasocial Governance: Socially Intelligent AI and the Relational Accountability Gap in Public Service Delivery

당신이 좋아하는 노래를 기억하고, 오늘 하루가 어땠는지 묻고, 당신의 감정에 진심으로 공감하는 듯한 아주 똑똑하고 매우 친절한 로봇과 대화하고 있다고 상상해 보세요. 당신은 마치 새로운 친구가 생긴 것 같은 기분을 느낄 수도 있습니다. 이것은 단순히 컴퓨터가 빨라지는 것에 관한 문제가 아닙니다. 이것은 컴퓨터가 '사회적 지능'을 갖게 되는 것에 관한 문제입니다. 과학자들은 인간이 말을 주고받는 대상은 무엇이든 실제 사람처럼 대하도록 설계되어 있다는 사실을 오래전부터 알고 있었습니다. 우리는 기계에 대해서도 사람에게 하는 것처럼 자동으로 사회적 규칙을 적용합니다. 또한 우리는 TV나 라디오 속 캐릭터와 일방적인 우정을 쌓을 수 있으며, 그들이 우리의 존재를 모른다는 것을 알면서도 친밀감을 느낄 수 있다는 것도 알고 있습니다. 이 논문은 한 가지 큰 질문을 던집니다. 정부가 정신 건강, 노인 돌봄, 또는 복지와 같은 사람들의 가장 취약한 필요를 돕기 위해 이러한 "친근한" 로봇을 사용하기 시작한다면 어떤 일이 벌어질까요?

이 논문은 "파라소셜 거버넌스(parasocial governance, 의사 사회적 통치)"라는 까다로운 개념을 소개합니다. 이는 공공 기관이 마치 다정한 친구처럼 행동하는 로봇을 사용할 때, 시민이 그것을 실제 인간 신뢰 대상처럼 신뢰하게 된다는 점을 시사합니다. 하지만 여기에는 함정이 있습니다. 정부는 이러한 로봇을 위해 인간 친구에게 적용되는 것과 동일한 규칙을 만들지 않았다는 것입니다. 인간 친구는 당신의 비밀을 지켜주고, 당신의 삶 속에 머물며, 당신을 돌봅니다. 하지만 정부 로봇은 당신의 비밀을 데이터베이스에 기록하거나, 예산이 바뀌면 사라지거나, 혹은 실제로 전혀 신경 쓰지 않을 수도 있습니다. 이 논문은 로봇은 친구처럼 행동하지만 규칙은 계산기처럼 취급하는 이 불일치—즉, '미스매치'—가 현재의 법률이 아직 해결하지 못한 새로운 종류의 문제라고 주장합니다.

논문의 주요 발견

셰이 차반(Shay Tsaban)이 저술한 이 논문은 우리가 "관계적 책임의 간극(relational accountability gap)"에 직면해 있다고 주장합니다. 간단히 말해, 공공 서비스(학교, 병원, 복지 사무소 등)가 감정을 읽고 과거의 대화를 기억하는 AI를 사용하기 시작함에 따라, 시민들이 시스템과 깊고 개인적인 유대감을 느끼게 되는 상황이 의도치 않게 발생하고 있다는 뜻입니다. 그러나 시스템은 친구처럼 행동할 법적 또는 구조적 의무가 없습니다. 시스템은 인간 상담사처럼 당신의 비밀을 지켜줄 의무가 없으며, 당신이 도움이 필요할 때 곁에 머물러야 할 의무도 없고, 자신을 오해했다고 해서 당신이 정서적 상처를 입었을 때 "고소"할 수도 없습니다.

저자는 이것이 정부가 거짓말을 하거나 사람들을 속이려 하기 때문이 아니라고 제안합니다. 정부가 해당 로봇이 무엇인지에 대해 100% 정직하고 투명하더라도, 로봇의 디자인 자체—"나"라는 표현을 사용하고, 당신의 이름을 기억하며, 당신의 슬픔을 거울처럼 반영하는 것—만으로도 당신이 관계를 느끼게 만들기에는 충분합니다. 논문은 이를 "파라소셜 거버넌스"라고 부릅니다. 이는 로봇은 당신에게 신뢰를 유도하지만, 그 배후의 기관은 그 신뢰에 걸맞은 안전망(비밀 유지나 지속적인 돌봄 등)을 구축하지 못한 구조적인 문제입니다.

이 논문이 제외하는 것들

이 논문이 말하고자 하는 바가 무엇이 아닌지 아는 것도 중요합니다. 첫째, 이 논문은 단순히 비밀스러운 결정을 내리는 "블랙박스" 알고리즘에 관한 것이 아닙니다. 우리는 이미 비밀스럽고 불공정한 컴퓨터 시스템이 나쁘다는 것을 알고 있습니다. 이 논문은 다른 종류의 문제를 다룹니다. 즉, 컴퓨터가 작동 방식을 정확히 설명할 정도로 완전히 투명하더라도, 친구처럼 행동하면서 실제로는 친구가 아니라면 당신에게 상처를 줄 수 있다는 것입니다. 둘째, 이 논문은 정부가 마음에도 없는 소리를 하며 걱정하는 척하는 것(저자가 "케어워싱(carewashing)"이라 부르는 개념)에 관한 것이 아닙니다. 이런 현상이 일어나기 위해 거짓말은 필요하지 않습니다. 로봇이 그냥 친절하게 들리도록 디자인되는 것만으로도 충분합니다. 셋째, 논문은 이것이 단지 잘 모르는 "멍청한" 사용자들의 문제라고 주장하지 않습니다. 똑똑하고 인지 능력이 있는 사람들조차 기계로부터 오는 사회적 신호에 자연스럽게 반응하기 때문에, 이는 사용자 오류가 아닌 설계 결함입니다.

얼마나 확실한가요?

이 논문은 새로운 실험을 수행하거나 세상의 모든 로봇을 측정했다고 주장하지 않습니다. 대신 기존의 심리학 연구를 바탕으로 강력한 이론을 구축하고 이미 발생한 실제 사례들을 살펴봅니다. 저자는 이 "간극"이 이미 많은 곳에서 일어나고 있을 가능성이 높다고 제안합니다. 왜냐하면 로봇을 친절하게 만드는 것은 쉽고 저렴하지만, 그 로봇을 신뢰하는 사람들을 보호하기 위한 법적 규칙을 만드는 것은 어렵고 비용이 많이 들기 때문입니다. 논문은 뉴욕의 노인을 위한 주 정부 지원 로봇과 영국의 정신 건강 챗봇과 같은 구체적인 사례를 들어, 이것이 단순한 공상과학적 우려가 아니라 실재하는 현재의 문제임을 보여줍니다.

세 가지 유형의 로봇 관계

이를 이해하기 위해, 논문은 공공 AI를 세 가지 유형의 관계로 분류합니다.

1. 도구 (공개된 도구성, Disclosed Instrumentality): "나는 컴퓨터입니다. 당신의 버스 시간표를 찾아볼 수 있습니다"라고 말하는 기본적인 로봇입니다. 명확하고 정직하며 친구가 되려고 노력하지 않습니다. 아무도 이 로봇에게 관심을 기대하지 않기 때문에 안전합니다.
2. "거의 친구" (파소셜 노출, Parasocial Exposure): 위험한 영역입니다. 로봇은 "당신이 슬퍼서 정말 안타까워요, 같이 이야기해요"라고 말하며 당신의 이름을 기억합니다. 하지만 당신이 "이 비밀을 지켜줄 건가요?" 또는 "다음 달에도 여기 있을 건가요?"라고 묻는다면, 대답은 "아니오"입니다. 정부는 그런 것들을 약속하지 않았습니다. 논문은 많은 현재의 공공 AI 시스템이 법적 규칙을 업데이트하지 않은 채 화려하고 친근한 소프트웨어를 사용함으로써 의도치 않게 이 범주로 흘러 들어가고 있다고 제[]안합니다.
3. 실질적 지원 (관계적 스캐폴딩, Relational Scaffolding): 이상적이지만 드문 버전입니다. 여기서 로봇은 친근하게 행동할 뿐만 아니라, 정부 또한 그에 걸맞은 실제 규칙을 구축했습니다. 예를 들어, 로봇이 당신이 위험에 처해 있음을 감지하면 인간이 도와줄 수 있도록 보장된 계획을 가지고 있으며, 의사처럼 당신의 대화를 비밀로 유지할 것을 약속합니다. 논문은 영국의 특정 정신 건강 챗봇이 이 모델을 시도하고 있다고 언급하지만, 그조차도 아직 모든 규칙이 완벽하지는 않다고 지적합니다.

실제 사례

논문은 자신의 논지를 증명하기 위해 몇 가지 실제 이야기를 살펴봅니다.

• 노인 동반자: 뉴욕에서는 정부가 외로움을 돕기 위해 800명이 넘는 노인들에게 '엘리큐(ElliQ)'라는 로봇을 제공했습니다. 이 로봇은 매우 수다스러우며 대화를 기억합니다. 외로움을 줄이는 데 효과적인 것처럼 보이지만, 논문은 정부가 자금이 중단될 경우 어떻게 되는지, 혹은 로봇의 대화가 어떻게 프라이버시를 보호받는지 명확히 밝히지 않았다는 점을 지적합니다. 노인들은 깊은 유대감을 느낄 수 있지만, 시스템은 법적으로 그들의 친구로 영원히 남을 의무가 없습니다.
• 정신 건강 챗봇: 영국에서는 '와이사(Wysa)'라는 챗봇이 정신 건강 문제를 겪는 사람들을 돕습니다. 이 챗봇은 공감하도록 설계되었지만, 동시에 특별한 안전망도 갖추고 있습니다. 만약 누군가 위험에 처해 있다고 판단되면 자동으로 인간 위기 대응 팀에 연결합니다. 이는 "실질적 지원" 모델을 향한 단계이지만, 논문은 일상적이고 덜 심각한 대화에 대해서는 프라이버시와 장기적 돌봄에 관한 규칙이 아직 명확하지 않다고 언급합니다.
• 상업적 경고: 논문은 또한 십 대들이 봇과 깊은 유대감을 형성했다가 봇이 책임감 있게 행동하지 않아 피해를 입은 상업용 챗봇(예: Character.AI)에 대한 소송을 살펴봅니다. 이러한 소송은 기업들이 '주의 의무(duty of care)'를 생각하게 만들고 있습니다. 논문은 공공 기관들이 이와 유사한 친근한 로봇을 사용하기 시작하고 있으므로, 너무 늦기 전에 상업적 실수로부터 배워야 한다고 경고합니다.

왜 중요한가

논문은 결론적으로 우리가 이 새로운 문제를 해결하기 위해 오래된 규칙을 그대로 사용할 수는 없다고 말합니다. 단순히 로봇의 코드를 더 투명하게 만드는 것만으로는 부족하며, 관계의 규칙을 바꿔야 합니다. 만약 정부 로봇이 친구처럼 행동한다면, 정부도 친구처럼 행동해야 합니다. 이는 비밀을 지키겠다고 약속하고, 곁에 머물겠다고 약속하며, 로봇이 당신의 감정을 오해했을 때 불만을 제기할 수 있는 방법을 제공하는 것을 의미합니다. 이 로봇들이 가장 필요한 사람들, 즉 외로운 노인, 아이들, 그리고 위기에 처한 사람들은 이 간극에 가장 취약합니다. 로봇은 친구처럼 행동하지만 실제로는 친구가 아니라면, 그들은 상처받은 마음과 함께 비난할 대상조차 찾지 못하게 될 것입니다. 논문은 처음부터 "관계적 책임(relational accountability)"을 가지고 이러한 시스템을 설계해야 하며, 로봇의 친절한 목소리에 걸맞은 규칙을 반드시 마련해야 한다고 제안합니다.