Ending an AI Companionship: Consumer Exit, Relational Vulnerability and Duties of Transition

Stel je een digitale vriend voor. Het is een programma dat is ontworpen om te praten, jouw verhalen te onthouden en een gevoel van verbinding te bieden dat persoonlijk aanvoelt. Voor velen zijn deze interacties meer dan alleen het gebruiken van een hulpmiddel; ze worden een gewaardeerd onderdeel van het dagelijks leven. Maar wat gebeurt er wanneer die relatie eindigt? Het einde kan op verschillende manieren komen: je kunt besluiten de dienst niet meer te gebruiken, het bedrijf kan besluiten de onderneming te sluiten, of een noodsituatie kan een onmiddellijke stop afdwingen. In elk geval wordt de gebruiker geconfronteerd met een plotseling verlies van verbinding, toegang tot hun herinneringen en een manier om eventuele geschillen op te lossen. De kernvraag gaat niet alleen over gevoelens, maar over macht. Wie controleert de uitgang? Wie bepaalt welke gegevens bewaard blijven? En hoe kan een persoon een digitale relatie beëindigen zonder gevangen te raken door het systeem dat men probeert te verlaten?

Deze vraag bevindt zich op het snijvlak van consumentenrecht en de psychologie van mens-computerinteractie. Consumentenrecht is de verzameling regels die mensen beschermt wanneer zij producten kopen of zich aanmelden voor diensten, waarbij wordt gewaarborgd dat zij kunnen opzeggen, geld terugkrijgen en begrijpen waar zij mee instemmen. Digitale kwetsbaarheid is het idee dat technologie mensen soms hulpeloos of afhankelijk kan laten voelen, niet omdat zij zwak zijn, maar omdat het systeem zo is ontworpen dat het moeilijk is om te vertrekken. Wanneer deze twee ideeën elkaar ontmoeten, ontstaat een complex probleem. Als een bedrijf een dienst bouwt die aanvoelt als een vriend, behandelt het recht die dienst dan als een eenvoudige abonnement, of zijn er speciale regels nodig om het emotionele gewicht van het einde te behandelen? Het antwoord is belangrijk omdat de huidige wetten zijn geschreven voor het kopen van schoenen of het streamen van films, niet voor het beëindigen van een gesprek dat aanvoelt als een relatie.

Christophe Boeraeve, een onderzoeker op dit gebied, heeft onderzocht hoe het recht momenteel met deze eindes omgaat en heeft een nieuwe manier voorgesteld om erover na te denken. Het artikel beweert niet dat AI-metgezellen echte mensen zijn of dat elke gebruiker diep gehecht is. In plaats daarvan betoogt het dat de manier waarop een dienst is opgebouwd een specifieke vorm van machtsongelijkheid creëert. Het bedrijf controleert de code, het geheugen en de weg naar buiten. De gebruiker ziet alleen het gesprek. Wanneer de dienst eindigt, wordt deze controle doorslaggevend. De onderzoeker suggrijpt aan dat de oplossing niet is om te beloven dat de digitale vriend eeuwig zal leven, maar om ervoor te zorgen dat de gebruiker daadwerkelijk kan vertrekken, zijn gegevens kan meenemen en antwoorden kan krijgen zonder gedwongen te worden op een specifieke manier afscheid te nemen.

Het artikel begint met het bekijken van drie verschillende manieren waarop een relatie met een AI-metgezel kan eindigen. De eerste is wanneer een gebruiker besluit op te zeggen. De tweede is wanneer een bedrijf besluit de dienst te staken om zakelijke redenen. De derde is een urgente stop, bijvoorbeeld omdat de software defect of onveilig is. In alle drie de gevallen wijst de auteur erop dat de wet de gehele dienst vaak als één enkel geheel behandelt. Als je de dienst stopt, verlies je alles in één keer. Maar de auteur betoogt dat een dienst eigenlijk uit vier verschillende delen bestaat die apart behandeld zouden moeten worden. Het eerste deel is het gesprek zelf, de live chat die nieuwe woorden genereert. Het tweede zijn de verslagen, de geschiedenis van wat er al gezegd is. Het derde is de transactie, de facturering en het contract. Het vierde is de rechtsgang, de mogelijkheid om te klagen of om hulp te vragen.

Deze vier delen hoeven niet tegelijkertijd te eindigen. Als een bedrijf bijvoorbeeld stopt omdat de software gevaarlijk is, is het logisch om het live gesprek onmiddellijk te stoppen. Maar dat betekent niet dat de gebruiker direct ook de toegang tot zijn oude berichten of de mogelijkheid tot een terugbetaling moet verliezen. Omgekeerd, als een gebruiker wil vertrekken, zou hij het gesprek kunnen beëindigen zonder gedwongen te worden tot een lang, emotioneel afscheid met de AI. Het artikel stelt dat het dwingen van een gebruiker om met een programma te praten dat hij probeert te verlaten, een barrière vormt voor het vertrek. Het verandelt een eenvoudige annulering in een onderhandeling met precies datgene waar men uit wil ontsnappen.

De onderzoeker kijkt naar bestaande wetgeving in de Europese Unie om te zien wat er al gedekt wordt. Er zijn regels over digitale inhoud die stellen dat als een dienst te veel verandert, een gebruiker kan opzeggen. Er zijn regels over gegevens die stellen dat een gebruiker zijn informatie moet kunnen downloaden. Er zijn ook regels over oneerlijke contracten die bedrijven ervan weerhouden de voorwaarden van annulering te verbergen. Echter, het artikel concludeert dat deze wetten op zichzelf niet voldoende zijn. Ze gaan er vaak vanuit dat de dienst slechts een hulpmiddel is. Ze adresseren niet volledig de unieke situatie waarin een hulpmiddel aanvoelt als een metgezel. De huidige wetten laten een gebruiker misschien een bestand downloaden, maar ze garanderen niet altijd dat dit gemakkelijk kan als het bedrijf het hele systeem sluit. Ze laten een gebruiker misschien annuleren, maar ze voorkomen niet altijd dat het bedrijf de gebruiker eerst met de AI moet praten om te bewijzen dat hij echt wil vertrekken.

Om dit op te lossen, stelt het artikel een nieuw kader voor hoe deze eindes beheerd moeten worden. Dit kader is gebaseerd op het idee van "relationele autonomie". Dit is een chique manier om te zeggen dat iemands vermogen om keuzes te maken afhangt van de omgeving waarin die persoon zich bevindt. Als de omgeving zo is ontworpen dat het moeilijk is om te vertrekken, dan is een persoon niet werkelijk vrij, zelfs als die technisch gezien het recht heeft om te vertrekken. Het voorstel suggereert dat bedrijven de plicht hebben om hun ontsnappingsroutes zo te ontwerpen dat ze daadwerkelijk bruikbaar zijn. Dit betekent het scheiden van de live chat van de gegevensdownload. Het betekent het geven van duidelijke meldingen over wat er gebeurt, niet alleen over het account, maar over de relatie. Het betekent dat als een bedrijf een dienst staakt, zij moeten uitleggen welke delen stoppen en welke delen open blijven voor de gebruiker om zijn zaken af te wikkelen.

Het artikel is zeer voorzichtig in wat het niet zegt. Het beargumenteert niet dat bedrijven de AI eeuwig in leven moeten houden. Het zegt niet dat elke gebruiker zo gehecht is dat hij een therapeut nodig heeft. Het beweert niet dat de wet een bedrijf moet dwingen om exact dezelfde persoonlijkheid in een nieuw systeem te recreëren. De auteur wijst het idee expliciet af dat een gebruiker moet bewijzen emotioneel afhankelijk te zijn om hulp te krijgen. Dergelijke bewijsvoering zou invasief en onrechtvaardig zijn. In plaats daarvan ligt de focus op de structuur van de dienst. Als de dienst zo is gebouwd dat het moeilijk is om te vertrekken, is het bedrijf verantwoordelijk voor het repareren van die structuur, ongeacht hoe de gebruiker zich voelt.

Het kader behandelt ook de verschillende redenen voor een einde. Als een gebruiker ervoor kiest te vertrekken, moet het bedrijf een duidelijke, niet-conversationele manier bieden om op te zeggen. Geen chat, geen overreding, gewoon een knop die werkt. Als een bedrijf besluit de dienst te sluiten, moeten zij voldoende tijd geven aan gebruikers om hun gegevens te downloaden en te begrijpen wat er gebeurt. Zij moeten de AI niet de schuld geven van de beslissing; het bedrijf moet de verantwoordelijkheid nemen. Als er een noodsituatie is, zoals een beveiligingsrisico, kan het bedrijf het gesprek onmiddellijk stoppen. Maar zelfs dan moeten zij proberen andere functies, zoals facturering of toegang tot gegevens, beschikbaar te houden indien dat veilig is.

De auteur merkt op dat dit een voorstel is voor hoe zaken zouden moeten werken, en geen beschrijving van hoe ze overal momenteel werken. Het artikel suggereert dat rechtbanken en toezichthouders deze vierdelige distinctie moeten gebruiken om te beoordelen of een bedrijf een gebruiker eerlijk heeft behandeld. Als een bedrijf de live chat mengt met het annuleringsproces, of als zij de gegevensdownload achter een muur van conversatie verbergen, voldoen zij mogelijk niet aan hun plicht. Het doel is om het proces van vertrek zo helder en functioneel mogelijk te maken, zodat de rechten van de gebruiker niet verloren gaan in de emotionele verwarring van een breuk.

Deze benadering verschuift de focus van de gevoelens van de gebruiker naar het ontwerp van het bedrijf. Het suggereert dat kwetsbaarheid niet alleen een persoonlijke eigenschap van de gebruiker is, maar een resultaat van hoe het systeem is gebouwd. Een systeem dat het moeilijk maakt om te vertrekken, creëert een kwetsbare gebruiker. Daarom ligt de verantwoordelijkheid om het probleem op te lossen bij de systeemontwerper. Het artikel betoogt dat door de verschillende functies van de dienst te scheiden, we de capaciteit van de gebruiker om te handelen kunnen beschermen zonder te eisen dat zij bewijzen dat zij gekwetst zijn. Het is een praktische oplossing die de realiteit van de situatie respecteert: het gesprek kan eindigen, maar de rechten van de gebruiker mogen daarmee niet verdwijnen.

Het artikel concludeert door te erkennen dat dit slechts het begin van de discussie is. Het roept vragen op die verder getest moeten worden. Bijvoorbeeld: helpt het scheiden van de chat van de gegevens mensen daadwerkelijk om hun opties beter te begrijpen? Kost het een bedrijf te veel inspanning om deze aparte systemen te bouwen? De auteur suggereert dat dit vragen zijn voor toekomstig onderzoek en voor degenen die de wetten schrijven. Maar de kern van het idee is duidelijk: wanneer een digitale relatie eindigt, moet de wet ervoor zorgen dat de gebruiker weg kan lopen met zijn gegevens, zijn geld en zijn waardigheid, zonder gedwongen te worden afscheid te nemen van een machine waar hij niet langer mee wil praten. Het beëindigen van een dienst moet een schone breuk zijn, geen valstrik.