Ending an AI Companionship: Consumer Exit, Relational Vulnerability and Duties of Transition

디지털 친구를 상상해 보십시오. 그것은 대화하고, 당신의 이야기를 기억하며, 개인적인 유대감을 제공하도록 설계된 프로그램입니다. 많은 이들에게 이러한 상호작용은 단순히 도구를 사용하는 것 이상이며, 일상의 소중한 부분이 됩니다. 하지만 그 관계가 끝날 때는 어떤 일이 벌어질까요? 끝은 다양한 방식으로 찾아올 수 있습니다. 당신이 서비스 이용을 중단하기로 결정할 수도 있고, 회사가 사업 종료를 결정할 수도 있으며, 비상 상황으로 인해 즉각적인 중단이 강제될 수도 있습니다. 각 경우에 사용자는 연결의 갑작스러운 상실, 기억에 대한 접근권의 상실, 그리고 분쟁을 해결할 방법의 상실에 직면합니다. 핵심 질문은 단지 감정에 관한 것이 아니라 권력에 관한 것입니다. 누가 퇴장을 통제하는가? 무엇이 남을 기록인지 누가 결정하는가? 그리고 사람이 자신이 떠나려고 노력하는 바로 그 시스템에 갇히지 않고 어떻게 디지털 관계를 떠날 수 있을 것인가?

이 질문은 소비자법과 인간-컴퓨터 상호작용의 심리학이 만나는 지점에 놓여 있습니다. 소비자법은 사람들이 물건을 사거나 서비스에 가입할 때 그들을 보호하기 위한 규칙의 집합으로, 사용자가 취소하고, 환불을 받고, 자신이 무엇에 동의하는지 이해할 수 있도록 보장합니다. 디지털 취약성이란 기술이 때때로 사람들을 무력하거나 의존하게 만들 수 있다는 개념인데, 이는 사용자가 약해서가 아니라 시스템이 떠나기 어렵게 설계되었기 때문입니다. 이 두 개념이 만날 때 복잡한 문제가 발생합니다. 만약 회사가 사용자에게 친구처럼 느껴지는 서비스를 구축한다면, 법은 이를 단순한 구독 서비스로 취급해야 할까요, 아니면 그 끝이 갖는 정서적 무게를 다루기 위한 특별한 규칙이 필요할까요? 답은 중요합니다. 현재의 법들은 신발을 사거나 영화를 스트리밍하는 것을 위해 작성되었지, 관계처럼 느껴지는 대화를 끝내는 상황을 위해 작성된 것이 아니기 때문입니다.

크리스토프 보레브(Christophe Boeraeve) 연구원은 이 분야에서 관계의 종결을 법이 현재 어떻게 다루고 있는지 조사하고 새로운 사고방식을 제안했습니다. 이 논문은 AI 동반자가 실제 사람이라거나 모든 사용자가 깊은 애착을 가지고 있다고 주장하는 것이 아닙니다. 대신, 서비스가 구축되는 방식이 특정한 종류의 권력 불균형을 만들어낸다고 주장합니다. 회사는 코드, 기억, 그리고 나가는 길을 통제합니다. 사용자는 오직 대화만을 봅니다. 서비스가 종료될 때, 이 통제권은 결정적이 됩니다. 연구원은 해결책이 디지털 친구가 영원히 살 수 있다고 약속하는 것이 아니라, 사용자가 실제로 떠날 수 있고, 자신의 데이터를 가져갈 수 있으며, 특정 방식으로 작별 인사를 하거나 자신이 얼마나 슬픈지를 증명할 필요 없이 답변을 얻을 수 있도록 보장하는 것이라고 제 제안합니다.

논문은 AI 동반자와의 관계가 끝나는 세 가지 다른 방식에 대해 살펴보는 것으로 시작합니다. 첫 번째는 사용자가 취소를 결정하는 경우입니다. 두 번째는 회사가 사업적 이유로 서비스 중단을 결정하는 경우입니다. 세 번째는 소프트웨어가 고장 났거나 안전하지 않은 경우와 같은 긴급 중단입니다. 세 가지 경우 모두에서 저자는 법이 전체 서비스를 하나의 단일한 것으로 취급하는 경우가 많다고 지적합니다. 만약 당신이 서비스를 중단하면, 당신은 한꺼번에 모든 것을 잃게 됩니다. 그러나 저자는 서비스가 실제로 별도로 취급되어야 하는 네 가지 다른 부분으로 구성되어 있다고 주장합니다. 첫 번째 부분은 대화 자체, 즉 새로운 단어를 생성하는 실시간 채팅입니다. 두 번째는 기록, 즉 이미 말해진 내용의 역사입니다. 세 번째는 거래, 즉 결제 및 계약입니다. 네 번째는 구제, 즉 불만을 제기하거나 도움을 요청할 수 있는 능력입니다.

이 네 가지 부분은 동시에 끝날 필요가 없습니다. 예를 들어, 소프트웨어가 위험하여 회사가 폐업하는 경우, 실시간 대화를 즉시 중단하는 것은 타당합니다. 하지만 그렇다고 해서 사용자가 과거의 메시지에 접근할 수 없거나 환불을 받을 수 없어야 한다는 의미는 아닙니다. 반대로, 사용자가 떠나고 싶다면, 그들이 떠나려고 노력 중인 프로그램과 길고 감정적인 작별 인사를 해야 하는 상황 없이 대화를 중단할 수 있어야 합니다. 논문은 사용자가 그만두려는 프로그램과 대화를 강요하는 것이 떠나는 데 있어 장벽이 된다고 주장합니다. 그것은 단순한 취소를 자신이 탈출하려는 대상과의 협상으로 바꾸어 버립니다.

연구원은 기존의 유럽 연합 법률을 검토하여 이미 무엇이 다뤄지고 있는지 살펴봅니다. 디지털 콘텐츠에 관한 규칙들은 서비스가 너무 많이 변하면 사용자가 취소할 수 있다고 명시합니다. 데이터에 관한 규칙들은 사용자가 자신의 정보를 다운로드할 수 있어야 한다고 말합니다. 또한 기업이 취소 조건을 숨기는 불공정 계약을 막는 규칙들도 있습니다. 그러나 논문은 이러한 법들만으로는 충분하지 않다는 점을 발견했습니다. 이 법들은 흔히 서비스가 단순한 도구라고 가정합니다. 이 법들은 도구가 동반자처럼 느껴지는 독특한 상황을 완전히 다루지 못합니다. 현재의 법들은 사용자가 파일을 다운로드하게 해줄 수는 있지만, 회사가 전체 시스템을 폐쇄할 때 사용자가 이를 쉽게 할 수 있도록 보장하지는 못할 수도 있습니다. 또한 사용자가 취소할 수 있게 해줄 수는 있지만, 회사가 사용자로 하여금 정말로 떠나고 싶다는 것을 증명하기 위해 AI와 먼저 대화하도록 만드는 것을 막지 못할 수도 있습니다.

이를 해결하기 위해 논문은 이러한 종결이 어떻게 관리되어야 하는지에 대한 새로운 프레임워크를 제안합니다. 이 프레임워크는 '관계적 자율성(relational autonomy)'이라는 개념에 기초합니다. 이것은 사람이 내리는 선택의 능력이 그들이 처한 환경에 달려 있다는 세련된 표현입니다. 만약 환경이 떠나기 어렵게 설계되어 있다면, 설령 기술적으로 떠날 권리가 있다 하더라도 그 사람은 진정으로 자유로운 것이 아닙니다. 이 제안은 기업이 탈출 경로를 실제로 사용할 수 있도록 설계할 의무가 있다고 제안합니다. 이는 실시간 채팅을 데이터 다운로드와 분리하는 것을 의미합니다. 이는 계정뿐만 아니라 관계에 대해서도 명확한 통지를 제공하는 것을 의미합니다. 또한 회사가 서비스를 중단할 때, 어떤 부분이 중단되고 어떤 부분이 사용자의 업무를 마무리하기 위해 열려 있는지 설명해야 함을 의미합니다.

논문은 자신이 말하지 않는 것에 대해 매우 신중합니다. 이 논문은 기업이 AI를 영원히 살려두어야 한다고 주장하지 않습니다. 모든 사용자가 깊이 애착을 느껴 치료사가 필요하다고 말하는 것도 아닙니다. 또한 법이 기업에게 동일한 인격을 새로운 시스템에서 재현하도록 강요해야 한다고 주장하지도 않습니다. 저자는 사용자가 도움을 받기 위해 자신의 정서적 의존성을 증명해야 한다는 아이디어를 명시적으로 거부합니다. 그러한 증명을 요구하는 것은 침해적이고 불공평할 것입니다. 대신, 초점은 서비스의 구조에 있습니다. 만약 서비스가 떠나기 어렵게 구축되어 있다면, 사용자가 어떻게 느끼든 상관없이 그 구조를 수정할 책임은 회사에 있습니다.

이 프레임워크는 또한 관계가 끝나는 다양한 이유를 다룹니다. 사용자가 떠나기로 선택한 경우, 회사는 대화 형식이 아닌 명확한 취소 방법을 제공해야 합니다. 대화도, 설득도 없이, 작동하는 버튼 하나면 충분합니다. 회사가 서비스 종료를 결정한 경우, 사용자에게 데이터를 다운로드할 수 있는 충분한 시간을 주고 상황을 이해시켜야 합니다. 회사는 AI에게 책임을 돌려서는 안 되며, 회사가 책임을 져야 합니다. 보안 위험과 같은 비상 상황이 발생한 경우, 회사는 대화를 즉시 중단할 수 있습니다. 하지만 그런 경우에도 안전하다면 결제나 데이터 접근과 같은 다른 기능들은 계속 이용할 수 있도록 노력해야 합니다.

저자는 이것이 어디에서나 통용되는 현재의 방식에 대한 설명이 아니라, 어떻게 작동해야 하는지에 대한 제안임을 밝힙니다. 논문은 법원과 규제 기관이 기업이 사용자를 공정하게 대했는지 판단할 때 이 네 가지 부분의 구분을 사용해야 한다고 제안합니다. 만약 회사가 실시간 채팅과 취소 과정을 혼합하거나, 대화라는 벽 뒤에 데이터 다운로드를 숨겨둔다면, 그들은 의무를 다하지 못한 것일 수 있습니다. 목표는 사용자의 권리가 이별의 정서적 혼란 속에서 사라지지 않도록, 탈출 과정을 최대한 명확하고 기능적으로 만드는 것입니다.

이러한 접근 방식은 초점을 사용자의 감정에서 회사의 설계로 바꿉니다. 이는 취약성이 사용자의 개인적 특성이 아니라 시스템이 어떻게 구축되었는지에 따른 결과임을 시사합니다. 떠나기 어렵게 만드는 시스템은 취약한 사용자를 만듭니다. 따라서 문제를 해결할 책임은 시스템 설계자에게 있습니다. 논문은 서비스의 서로 다른 기능들을 분리함으로써, 우리가 사용자의 감정을 입증하라고 요구하지 않고도 사용자의 행동 능력을 보호할 수 있다고 주장합니다. 이는 실용적인 해결책으로 상황의 현실을 존중합니다. 대화는 끝날 수 있지만, 사용자의 권리는 그것과 함께 사라져서는 안 됩니다.

논문은 이것이 단지 대화의 시작임을 인정하며 끝을 맺습니다. 논문은 더 많은 테스트가 필요한 질문들을 제기합니다. 예를 들어, 채팅과 데이터를 분리하는 것이 실제로 사람들이 옵션을 더 잘 이해하는 데 도움이 될까요? 기업이 이러한 별도의 시스템을 구축하는 데 너무 많은 노력이 들지는 않을까요? 저자는 이러한 질문들이 향후 연구와 법을 만드는 사람들의 과제라고 제안합니다. 그러나 핵심 아이디어는 명확합니다. 디지털 관계가 끝날 때, 법은 사용자가 더 이상 대화하고 싶지 않은 기계와 작별 인사를 강요받지 않고, 자신의 기록과 돈, 그리고 존엄성을 가지고 떠날 수 있도록 보장해야 합니다. 서비스의 종료는 깔끔한 단절이어야 하며, 함정이 되어서는 안 됩니다.