Ending an AI Companionship: Consumer Exit, Relational Vulnerability and Duties of Transition

Imagina a un amigo digital. Es un programa diseñado para hablar, recordar tus historias y ofrecer una sensación de conexión que se siente personal. Para muchos, estas interacciones son más que simplemente usar una herramienta; se convierten en una parte valorada de la vida diaria. Pero, ¿qué sucede cuando esa relación termina? El final puede llegar de diferentes maneras: puede que tú decidas dejar de usar el servicio, que la empresa decida cerrar el negocio o que una emergencia obligue a un cese inmediato. En cada caso, el usuario enfrenta una pérdida repentina de conexión, de acceso a sus recuerdos y de una forma de resolver cualquier disputa. La pregunta central no es solo sobre los sentimientos, sino sobre el poder. ¿Quién controla la salida? ¿Quién decide qué registros permanecen? ¿Y cómo puede una persona dejar una relación digital sin quedar atrapada por el mismo sistema del que intenta salir?

Esta pregunta se sitúa en la intersección entre el derecho del consumidor y la psicología de la interacción humano-computadora. El derecho del consumidor es el conjunto de reglas que protegen a las personas cuando compran cosas o se suscriben a servicios, asegurando que puedan cancelar, obtener reembolsos y comprender aquello con lo que están de acuerdo. La vulnerabilidad digital es la idea de que la tecnología a veces puede hacer que las personas se sientan impotentes o dependientes, no porque sean débiles, sino porque el sistema está diseñado para ser difícil de abandonar. Cuando estas dos ideas se encuentran, surge un problema complejo. Si una empresa construye un servicio que se siente como un amigo, ¿trata la ley al servicio como una simple suscripción, o necesita reglas especiales para manejar el peso emocional del final? La respuesta importa porque las leyes actuales fueron escritas para comprar zapatos o ver películas en streaming, no para terminar una conversación que se siente como una relación.

Christophe Boeraeve, un investigador en este campo, ha examinado cómo la ley maneja actualmente estos finales y ha propuesto una nueva forma de pensar en ellos. El artículo no afirma que los compañeros de IA sean personas reales ni que cada usuario esté profundamente apegado. En cambio, argumenta que la forma en que se construye un servicio crea un tipo específico de desequilibrio de poder. La empresa controla el código, la memoria y el camino de salida. El usuario solo ve la conversación. Cuando el servicio termina, este control se vuelve decisivo. El investigador sugiere que la solución no es prometer que el amigo digital vivirá para siempre, sino asegurar que el usuario pueda realmente irse, llevarse sus datos y obtener respuestas sin ser obligado a decir adiós de una manera específica o a demostrar qué tan triste está.

El artículo comienza analizando tres formas diferentes en las que puede terminar una relación con un compañero de IA. La primera es cuando un usuario decide cancelar. La segunda es cuando una empresa decide detener el servicio por razones comerciales. La tercera es un paro urgente, quizás porque el software está roto o es inseguro. En los tres casos, el autor señala que la ley a menudo trata a todo el servicio como una sola cosa. Si dejas de usar el servicio, lo pierdes todo a la vez. Pero el autor argumenta que un servicio está compuesto en realidad por cuatro partes distintas que deberían tratarse por separado. La primera parte es la conversación en sí, el chat en vivo que genera nuevas palabras. La segunda son los registros, el historial de lo que ya se dijo. La tercera es la transacción, la facturación y el contrato. La cuarta es el recurso, la capacidad de quejarse o pedir ayuda.

Estas cuatro partes no necesitan terminar al mismo tiempo. Por ejemplo, si una empresa cierra porque el software es peligroso, tiene sentido detener la conversación en vivo inmediatamente. Pero eso no significa que el usuario deba perder el acceso a sus mensajes pasados o su capacidad de obtener un reembolso. Por el contrario, si un usuario quiere irse, debería poder detener la conversación sin verse obligado a tener una despedida larga y emocional con la IA. El artículo sostiene que obligar a un usuario a hablar con un programa del que intenta escapar es una barrera para irse. Convierte una simple cancelación en una negociación con aquello de lo que se intenta escapar.

El investigador observa las leyes existentes en la Unión Europea para ver qué está cubierto actualmente. Hay reglas sobre contenido digital que dicen que si un servicio cambia demasiado, un usuario puede cancelar. Hay reglas sobre datos que dicen que un usuario debería poder descargar su información. También hay reglas sobre contratos injustos que impiden que las empresas oculten los términos de cancelación. Sin embargo, el artículo encuentra que estas leyes no son suficientes por sí solas. A menudo asumen que el servicio es solo una herramienta. No abordan plenamente la situación única donde una herramienta se siente como un compañero. Las leyes actuales podrían permitir que un usuario descargue un archivo, pero no siempre garantizan que pueda hacerlo fácilmente si la empresa está cerrando todo el sistema. Pueden permitir que un usuario cancele, pero no siempre impiden que la empresa obligue al usuario a hablar con la IA primero para probar que realmente quiere irse.

Para solucionar esto, el artículo propone un nuevo marco para gestionar estos finales. Este marco se basa en la idea de la "autonomía relacional". Esta es una forma sofisticada de decir que la capacidad de una persona para tomar decisiones depende del entorno en el que se encuentra. Si el entorno está diseñado para que sea difícil irse, entonces la persona no es verdaderamente libre, incluso si técnicamente tiene el derecho de irse. La propuesta sugiere que las empresas tienen el deber de diseñar sus rutas de salida para que sean realmente utilizables. Esto significa separar el chat en vivo de la descarga de datos. Significa dar avisos claros sobre lo que está sucediendo, no solo al respecto de la cuenta, sino respecto a la relación. Significa que, si una empresa detiene un servicio, debe explicar qué partes se detienen y qué partes permanecen abiertas para que el usuario termine sus asuntos.

El artículo es muy cuidadoso con lo que no dice. No argumenta que las empresas deban mantener viva a la IA para siempre. No dice que cada usuario esté tan apegado que necesite un terapeuta. No afirma que la ley deba obligar a una empresa a recrear la misma personalidad exacta en un nuevo sistema. El autor rechaza explícitamente la idea de que un usuario deba probar que es emocionalmente dependiente para recibir ayuda. Requerir tal prueba sería invasivo e injusto. En cambio, el enfoque está en la estructura del servicio. Si el servicio está construido de una manera que dificulta el abandono, la empresa es responsable de arreglar esa estructura, independientemente de cómo se sienta el usuario.

El marco también aborda las diferentes razones para un final. Si un usuario elige irse, la empresa debe proporcionar una forma de cancelación clara y no conversacional. Sin chat, sin persuasión, solo un botón que funcione. Si una empresa decide cerrar el servicio, debe dar tiempo suficiente para que los usuarios descarguen sus datos y comprendan lo que está sucediendo. No deben culpar a la IA por la decisión; la empresa debe asumir la responsabilidad. Si hay una emergencia, como un riesgo de seguridad, la empresa puede detener la conversación inmediatamente. Pero, aun así, debería intentar mantener otras funciones, como la facturación o el acceso a los datos, disponibles si es seguro hacerlo.

El autor señala que esto es una propuesta de cómo deberían funcionar las cosas, no una descripción de cómo funcionan actualmente en todas partes. El artículo sugiere que los tribunales y los reguladores deberían utilizar esta distinción de cuatro partes para juzgar si una empresa ha tratado a un usuario de manera justa. Si una empresa mezcla el chat en vivo con el proceso de cancelación, o si esconde la descarga de datos detrás de un muro de conversación, puede estar incumpliendo su deber. El objetivo es que el proceso de salida sea lo más claro y funcional posible, para que los derechos del usuario no se pierdan en la confusión emocional de una ruptura.

Este enfoque cambia el foco de los sentimientos del usuario hacia el diseño de la empresa. Sugiere que la vulnerabilidad no es solo un rasgo personal del usuario, sino un resultado de cómo está construido el sistema. Un sistema que hace difícil irse crea un usuario vulnerable. Por lo tanto, la responsabilidad de solucionar el problema recae en el diseñador del sistema. El artículo argumenta que, al separar las diferentes funciones del servicio, podemos proteger la capacidad de actuar del usuario sin exigirle que demuestre que está herido. Es una solución práctica que respeta la realidad de la situación: la conversación puede terminar, pero los derechos del usuario no deberían desaparecer con ella.

El artículo concluye reconociendo que esto es solo el comienzo de la conversación. Plantea preguntas que necesitan ser más probadas. Por ejemplo, ¿separar el chat de los datos realmente ayuda a las personas a entender mejor sus opciones? ¿Requiere demasiado esfuerzo para las empresas construir estos sistemas separados? El autor sugiere que estas son preguntas para investigaciones futuras y para las personas que redactan las leyes. Pero la idea central es clara: cuando una relación digital termina, la ley debe asegurar que el usuario pueda retirarse con sus registros, su dinero y su dignidad, sin ser obligado a decir adiós a una máquina con la que ya no quiere hablar. El fin de un servicio debe ser una ruptura limpia, no una trampa.