Ending an AI Companionship: Consumer Exit, Relational Vulnerability and Duties of Transition

Imagine um amigo digital. É um programa projetado para conversar, lembrar de suas histórias e oferecer uma sensação de conexão que parece pessoal. Para muitos, essas interações são mais do que apenas usar uma ferramenta; elas se tornam uma parte valiosa da vida cotidiana. Mas o que acontece quando esse relacionamento termina? O fim pode ocorrer de diferentes maneiras: você pode decidir parar de usar o serviço, a empresa pode decidir encerrar o negócio ou uma emergência pode forçar uma interrupção imediata. Em cada caso, o usuário enfrenta uma perda súbita de conexão, de acesso às suas memórias e de uma forma de resolver quaisquer disputas. A questão central não é apenas sobre sentimentos, mas sobre poder. Quem controla a saída? Quem decide quais registros permanecem? E como uma pessoa pode deixar um relacionamento digital sem ser aprisionada pelo próprio sistema de que está tentando sair?

Esta questão situa-se na interseção entre o direito do consumidor e a psicologia da interação humano-computador. O direito do consumidor é o conjunto de regras que protege as pessoas quando elas compram coisas ou assinam serviços, garantindo que possam cancelar, obter reembolsos e entender o que estão aceitando. A vulnerabilidade digital é a ideia de que a tecnologia pode, às vezes, fazer com que as pessoas se sintam impotentes ou dependentes, não porque sejam fracas, mas porque o sistema é projetado para ser difícil de abandonar. Quando essas duas ideias se encontram, surge um problema complexo. Se uma empresa constrói um serviço que parece um amigo, a lei o trata como uma simples assinatura ou precisa de regras especiais para lidar com o peso emocional do término? A resposta importa porque as leis atuais foram escritas para comprar sapatos ou transmitir filmes, não para encerrar uma conversa que parece um relacionamento.

Christophe Boeraeve, um pesquisador nesta área, examinou como a lei lida atualmente com esses encerramentos e propôs uma nova maneira de pensar sobre eles. O artigo não afirma que os companheiros de IA são pessoas reais ou que todos os usuários estão profundamente apegados. Em vez disso, argumenta que a forma como um serviço é construído cria um tipo específico de desequilíbrio de poder. A empresa controla o código, a memória e o caminho de saída. O usuário vê apenas a conversa. Quando o serviço termina, esse controle torna-se decisivo. O pesquisador sugere que a solução não é prometer que o amigo digital viverá para sempre, mas garantir que o usuário possa realmente sair, levar seus dados e obter respostas sem ser forçado a dizer adeus de uma maneira específica ou provar o quão triste está.

O artigo começa analisando três maneiras diferentes pelas quais um relacionamento com um companheiro de IA pode terminar. A primeira é quando um usuário decide cancelar. A segunda é quando uma empresa decide interromper o serviço por razões comerciais. A terceira é uma parada urgente, talvez porque o software esteja quebrado ou seja inseguro. Em todos os três casos, o autor aponta que a lei frequentemente trata todo o serviço como uma única coisa. Se você interrompe o serviço, perde tudo de uma vez. Mas o autor argumenta que um serviço é, na verdade, composto por quatro partes diferentes que devem ser tratadas separadamente. A primeira parte é a própria conversa, o chat ao vivo que gera novas palavras. A segunda são os registros, o histórico do que já foi dito. A terceira é a transação, o faturamento e o contrato. A quarta é o recurso, a capacidade de reclamar ou pedir ajuda.

Essas quatro partes não precisam terminar ao mesmo tempo. Por exemplo, se uma empresa encerra o serviço porque o software é perigoso, faz sentido interromper a conversa ao vivo imediatamente. Mas isso não significa que o usuário deva perder o acesso às suas mensagens passadas ou à sua capacidade de obter um reembolso. Por outro lado, se um usuário deseja partir, ele deve ser capaz de interromper a conversa sem ser forçado a ter um adeus longo e emocional com a IA. O artigo argumenta que forçar um usuário a falar com um programa do qual ele está tentando sair é uma barreira para a saída. Transforma um simples cancelamento em uma negociação com a própria coisa da qual se tenta escapar.

O pesquisador analisa as leis existentes na União Europeia para ver o que já está coberto. Existem regras sobre conteúdo digital que dizem que, se um serviço mudar demais, um usuário pode cancelar. Existem regras sobre dados que dizem que um usuário deve ser capaz de baixar suas informações. Também existem regras sobre contratos injustos que impedem as empresas de esconder os termos de cancelamento. No entanto, o artigo constata que essas leis não são suficientes por si só. Elas frequentemente assumem que o serviço é apenas uma ferramenta. Elas não abordam totalmente a situação única em que uma ferramenta parece um companheiro. As leis atuais podem permitir que um usuário baixe um arquivo, mas nem sempre garantem que ele possa fazê-lo facilmente se a empresa estiver encerrando todo o sistema. Elas podem permitir que um usuário cancele, mas nem sempre impedem que a empresa faça o usuário falar com a IA primeiro para provar que realmente quer partir.

Para corrigir isso, o artigo propõe um novo framework para como esses encerramentos devem ser gerenciados. Este framework baseia-se na ideia de "autonomia relacional". Esta é uma forma sofisticada de dizer que a capacidade de uma pessoa de fazer escolhas depende do ambiente em que ela se encontra. Se o ambiente é projetado para tornar a saída difícil, então a pessoa não é verdadeiramente livre, mesmo que tecnicamente tenha o direito de sair. A proposta sugere que as empresas têm o dever de projetar suas rotas de saída para que sejam realmente utilizáveis. Isso significa separar o chat ao vivo do download de dados. Significa fornecer avisos claros, não apenas sobre a conta, mas sobre o relacionamento. Significa que, se uma empresa interrompe um serviço, ela deve explicar quais partes param e quais partes permanecem abertas para o usuário concluir seus negócios.

O artigo é muito cuidadoso sobre o que não diz. Não argumenta que as empresas devem manter a IA viva para sempre. Não diz que todos os usuários estão tão apegados que precisam de um terapeuta. Não afirma que a lei deve forçar uma empresa a recriar a mesma personalidade exata em um novo sistema. O autor rejeita explicitamente a ideia de que um usuário deve provar que é emocionalmente dependente para obter ajuda. Exigir tal prova seria invasivo e injusto. Em vez disso, o foco está na estrutura do serviço. Se o serviço é construído de uma forma que torna difícil sair, a empresa é responsável por corrigir essa estrutura, independentemente de como o usuário se sente.

O framework também aborda os diferentes motivos para um encerramento. Se um usuário escolhe partir, a empresa deve fornecer uma forma clara e não conversacional de cancelar. Sem chat, sem persuasão, apenas um botão que funciona. Se uma empresa decide encerrar o serviço, ela deve dar tempo suficiente para os usuários baixarem seus dados e entenderem o que está acontecendo. Elas não devem culpar a IA pela decisão; a empresa deve assumir a responsabilidade. Se houver uma emergência, como um risco de segurança, a empresa pode interromper a conversa imediatamente. Mas, mesmo assim, ela deve tentar manter outras funções, como faturamento ou acesso a dados, disponíveis, se for seguro fazê-lo.

O autor observa que isto é uma proposta de como as coisas devem funcionar, não uma descrição de como elas funcionam atualmente em todos os lugares. O artigo sugere que tribunais e reguladores devem usar esta distinção de quatro partes para julgar se uma empresa tratou um usuário de forma justa. Se uma empresa mistura o chat ao vivo com o processo de cancelamento, ou se esconde o download de dados atrás de uma parede de conversa, ela pode estar falhando em seu dever. O objetivo é tornar o processo de saída o mais claro e funcional possível, para que os direitos do usuário não se percam na confusão emocional de um término.

Esta abordagem muda o foco dos sentimentos do usuário para o design da empresa. Sugere que a vulnerabilidade não é apenas um traço pessoal do usuário, mas um resultado de como o sistema é construído. Um sistema que torna difícil sair cria um usuário vulnerável. Portanto, a responsabilidade de corrigir o problema reside no designer do sistema. O artigo argumenta que, ao separar as diferentes funções do serviço, podemos proteger a capacidade de agir do usuário sem exigir que ele prove que está ferido. É uma solução prática que respeita a realidade da situação: a conversa pode terminar, mas os direitos do usuário não devem desaparecer com ela.

O artigo conclui reconhecendo que isto é apenas o começo da conversa. Levanta questões que precisam de mais testes. Por exemplo, separar o chat dos dados realmente ajuda as pessoas a entenderem melhor suas opções? Exige esforço demais das empresas para construir esses sistemas separados? O autor sugere que estas são questões para pesquisas futuras e para as pessoas que escrevem as leis. Mas a ideia central é clara: quando um relacionamento digital termina, a lei deve garantir que o usuário possa se retirar com seus registros, seu dinheiro e sua dignidade, sem ser forçado a dizer adeus a uma máquina com a qual não quer mais conversar. O fim de um serviço deve ser uma ruptura limpa, não uma armadilha.