Ending an AI Companionship: Consumer Exit, Relational Vulnerability and Duties of Transition

Immaginate un amico digitale. È un programma progettato per parlare, ricordare le vostre storie e offrire un senso di connessione che sembra personale. Per molti, queste interazioni sono più del semplice uso di uno strumento; diventano una parte preziosa della vita quotidiana. Ma cosa succede quando quella relazione finisce? La fine può avvenire in modi diversi: potreste decidere voi di smettere di usare il servizio, l'azienda potrebbe decidere di chiudere l'attività, oppure un'emergenza potrebbe forzare un arresto immediato. In ogni caso, l'utente affronta una perdita improvvisa di connessione, di accesso ai propri ricordi e di un modo per risolvere eventuali controversie. La domanda fondamentale non riguarda solo i sentimenti, ma il potere. Chi controlla l'uscita? Chi decide quali registrazioni rimangono? E come può una persona lasciare una relazione digitale senza rimanere intrappolata proprio dal sistema che sta cercando di abbandonare?

Questa domanda si colloca all'intersezione tra il diritto dei consumatori e la psicologia dell'interazione uomo-computer. Il diritto dei consumatori è l'insieme di regole che proteggono le persone quando acquistano beni o sottoscrivono servizi, garantendo che possano cancellare, ottenere rimborsi e comprendere ciò a cui stanno acconsentendo. La vulnerabilità digitale è l'idea che la tecnologia possa talvolta far sentire le persone impotenti o dipendenti, non perché siano deboli, ma perché il sistema è progettato per essere difficile da abbandonare. Quando queste due idee si incontrano, emerge un problema complesso. Se un'azienda costruisce un servizio che sembra un amico, la legge lo tratta come una semplice sottoscrizione o deve avere regole speciali per gestire il peso emotivo della fine? La risposta è importante perché le leggi attuali sono state scritte per comprare scarpe o guardare film in streaming, non per porre fine a una conversazione che sembra una relazione.

Christophe Boeraeve, un ricercatore in questo campo, ha esaminato come la legge gestisce attualmente queste conclusioni e ha proposto un nuovo modo di pensarle. Il saggio non sostiene che i compagni IA siano persone reali o che ogni utente sia profondamente legato ad essi. Sostiene invece che il modo in cui un servizio è costruito crea un particolare squilibrio di potere. L'azienda controlla il codice, la memoria e la via d'uscita. L'utente vede solo la conversazione. Quando il servizio termina, questo controllo diventa decisivo. Il ricercatore suggerisce che la soluzione non sia promettere che l'amico digitale vivrà per sempre, ma garantire che l'utente possa effettivamente andarsene, portare con sé i propri dati e ottenere risposte senza essere costretto a dire addio in un modo specifico o a dimostrare quanto sia triste.

Il saggio inizia esaminando tre diversi modi in cui una relazione con un compagno IA può terminare. Il primo è quando un utente decide di annullare l'abbonamento. Il secondo è quando un'azienda decide di interrompere il servizio per ragioni commerciali. Il terzo è un arresto urgente, forse perché il software è rotto o insicuro. In tutti e tre i casi, l'autore sottolinea come la legge spesso tratti l'intero servizio come un'unica entità. Se interrompi il servizio, perdi tutto in una volta. Ma l'autore sostiene che un servizio è in realtà composto da quattro parti diverse che dovrebbero essere trattate separatamente. La prima parte è la conversazione stessa, la chat dal vivo che genera nuove parole. La seconda sono i record, la cronologia di ciò che è già stato detto. La terza è la transazione, la fatturazione e il contratto. La quarta è il ricorso, la possibilità di lamentarsi o chiedere aiuto.

Queste quattro parti non devono necessariamente terminare contemporaneamente. Ad esempio, se un'azienda chiude perché il software è pericoloso, ha senso interrompere immediatamente la conversazione dal vivo. Ma questo non significa che l'utente debba perdere l'accesso ai suoi messaggi passati o alla sua capacità di ottenere un rimborso. Al contrario, se un utente vuole andarsene, dovrebbe poter interrompere la conversazione senza essere costretto a un lungo addio emotivo con l'IA. Il saggio sostiene che costringere un utente a parlare con un programma che sta cercando di abbandonare è una barriera all'uscita. Trasforma una semplice cancellazione in una negoziazione con la stessa cosa da cui si sta cercando di scappare.

Il ricercatore esamina le leggi esistenti nell'Unione Europea per vedere cosa sia già coperto. Esistono regole sui contenuti digitali che dicono che se un servizio cambia troppo, un utente può cancellarlo. Esistono regole sui dati che dicono che un utente dovrebbe poter scaricare le proprie informazioni. Esistono anche regole sui contratti sleali che impediscono alle aziende di nascondere i termini di cancellazione. Tuttavia, il saggio trova che queste leggi non sono sufficienti da sole. Spesso assumono che il servizio sia solo uno strumento. Non affrontano pienamente la situazione unica in cui uno strumento sembra un compagno. Le leggi attuali potrebbero permettere a un utente di scaricare un file, ma non garantiscono sempre che possa farlo facilmente se l'azienda sta chiudendo l'intero sistema. Potrebbero permettere a un utente di cancellarsi, ma non impediscono sempre all'azienda di costringere l'utente a parlare con l'IA prima di dimostrare di voler davvero andarsene.

Per risolvere questo, il saggio propone un nuovo quadro di riferimento su come dovrebbero essere gestite queste conclusioni. Questo quadro si basa sull'idea di "autonomia relazionale". Questo è un modo elaborato per dire che la capacità di una persona di fare scelte dipende dall'ambiente in cui si trova. Se l'ambiente è progettato per rendere difficile andarsene, allora la persona non è veramente libera, anche se tecnicamente ha il diritto di andarsene. La proposta suggerisce che le aziende abbiano il dovere di progettare le loro vie d'uscita in modo che siano effettivamente utilizzabili. Ciò significa separare la chat dal download dei dati. Significa fornire avvisi chiari su ciò che sta accadendo, non solo all'account, ma alla relazione. Significa che se un'azienda interrompe un servizio, deve spiegare quali parti si interrompono e quali parti rimangono aperte per permettere all'utente di concludere i propri affari.

Il saggio è molto attento a ciò che non dice. Non sostiene che le aziende debbano mantenere in vita l'IA per sempre. Non dice che ogni utente è così legato da aver bisogno di un terapeuta. Non afferma che la legge debba costringere un'azienda a ricreare la stessa identica personalità in un nuovo sistema. L'autore rifiuta esplicitamente l'idea che un utente debba dimostrare di essere emotivamente dipendente per ricevere aiuto. Richiedere tale prova sarebbe invasivo e ingiusto. Inveve, l'attenzione è sulla struttura del servizio. Se il servizio è costruito in modo da rendere difficile andarsene, l'azienda è responsabile di correggere tale struttura, indipendentemente da come si senta l'utente.

Il quadro affronta anche i diversi motivi di una conclusione. Se un utente sceglie di andarsene, l'azienda dovrebbe fornire un modo chiaro e non conversazionale per cancellarsi. Niente chat, niente persuasione, solo un pulsante che funzioni. Se un'azienda decide di chiudere il servizio, dovrebbe dare tempo sufficiente agli utenti per scaricare i propri dati e comprendere cosa stia accadendo. Non dovrebbero incolpare l'IA per la decisione; l'azienda deve assumersi la responsabilità. Se c'è un'emergenza, come un rischio di sicurezza, l'azienda può interrompere immediatamente la conversazione. Ma anche in quel caso, dovrebbe cercare di mantenere disponibili altre funzioni, come la fatturazione o l'accesso ai dati, se è sicuro farlo.

L'autore osserva che questa è una proposta su come le cose dovrebbero funzionare, non una descrizione di come funzionano attualmente ovunque. Il saggio suggerisce che i tribunali e i regolatori dovrebbero usare questa distinzione in quattro parti per giudicare se un'azienda ha trattato un utente equamente. Se un'azienda mescola la chat dal vivo con il processo di cancellazione, o se nasconde il download dei dati dietro un muro di conversazione, potrebbe non adempiere al proprio dovere. L'obiettivo è rendere il processo di uscita il più chiaro e funzionale possibile, in modo che i diritti dell'utente non vadano perduti nella confusione emotiva di una rottura.

Questo approccio sposta l'attenzione dai sentimenti dell'utente al design dell'azienda. Suggerisce che la vulnerabilità non è solo un tratto personale dell'utente, ma è il risultato di come il sistema è costruito. Un sistema che rende difficile andarsene crea un utente vulnerabile. Pertanto, la responsabilità di risolvere il problema spetta al progettista del sistema. Il saggio sostiene che separando le diverse funzioni del servizio, possiamo proteggere la capacità dell'utente di agire senza pretendere che dimostri di essere ferito. È una soluzione pratica che rispetta la realtà della situazione: la conversazione può finire, ma i diritti dell'utente non dovrebbero scomparire con essa.

Il saggio conclude riconoscendo che questa è solo l'inizio della conversazione. Solleva questioni che richiedono ulteriori test. Ad esempio, separare la chat dai dati aiuta davvero le persone a comprendere meglio le proprie opzioni? Richiede troppo sforzo per le aziende costruire questi sistemi separati? L'autore suggerisce che queste siano questioni per la ricerca futura e per coloro che scrivono le leggi. Ma l'idea centrale è chiara: quando una relazione digitale finisce, la legge dovrebbe garantire che l'utente possa andarsene con i propri record, i propri soldi e la propria dignità, senza essere costretto a dire addio a una macchina con cui non vuole più parlare. La fine di un servizio dovrebbe essere una rottura netta, non una trappola.