Ending an AI Companionship: Consumer Exit, Relational Vulnerability and Duties of Transition

デジタルな友人を想像してみてください。それは、あなたの話を聞き、記憶し、個人的なつながりを感じさせるように設計されたプログラムです。多くの人々にとって、こうした相互作用は単なるツールの利用を超え、日常生活の貴重な一部となります。しかし、その関係が終わるとき、何が起きるのでしょうか？ その終わり方は様々です。あなたがサービスの使用をやめる決断をすること、企業が事業の終了を決定すること、あるいは緊急事態によって即時の停止を余儀なくされることもあります。いずれの場合も、ユーザーは突然のつながりの喪失、記憶へのアクセスの断絶、そして紛争を解決する手段の喪失に直面します。核心となる問いは、単なる感情の問題ではなく、権力の問題です。誰が「出口」をコントロールするのか？ 誰が記録をどのように残すかを決定するのか？ そして、人は、自分が去ろうとしているまさにそのシステムによって罠にかかることなく、どのようにしてデジタルな関係から離れることができるのでしょうか？

この問いは、消費者法と人間とコンピュータの相互作用（HCI）の心理学が交差する場所に位置しています。消費者法とは、人々が物を買ったりサービスに加入したりする際に、解約や返金、同意内容の理解を保証するためのルールの集合体です。デジタルの脆弱性とは、テクノロジーが時として人々を無力感や依存心に陥らせる可能性があるという考え方です。それはユーザーが弱いからではなく、システムが離れにくく設計されているために起こります。これら二つの概念が出会うとき、複雑な問題が生じます。もし企業が「友人」のように感じられるサービスを構築した場合、法律はその終了を単なるサブスクリプションとして扱うべきでしょうか、それとも、その終わりの情緒的な重みを扱うための特別なルールが必要なのでしょうか？ その答えが重要なのは、現行の法律が靴を買ったり映画をストリーミングしたりすることのために書かれたものであり、まるで「関係」のように感じられる会話を終わらせるためのものではないからです。

研究者のクリストフ・ボエラエヴは、この分野における「終わり」が現在どのように扱われているかを調査し、それらに対する新しい考え方を提案しました。この論文は、AIコンパニオンが実在の人間であるとか、すべてのユーザーが深い愛着を持っていると主張しているわけではありません。むしろ、サービスの構築方法が特定の種類の権力の不均衡を生み出していると論じています。コード、記憶、そして出口への経路をコントロールしているのは企業です。ユーザーには会話しか見えていません。サービスが終了するとき、このコントロールが決定的なものとなります。研究者は、解決策は「デジタルな友人が永遠に生き続けること」を約束することではなく、「ユーザーが実際に立ち去り、データを持ち出し、（特定のやり方で別れを告げることを強要されたり、どれほど悲しいかを証明したりすることなく）回答を得られるようにすること」であると示唆しています。

論文はまず、AIコンパニオンとの関係が終わる3つの異なるケースを検討することから始まります。第一に、ユーザーが解約を決めた場合。第二に、企業がビジネス上の理由でサービスの停止を決めた場合。第三に、ソフトウェアの不具合や安全性に関する緊急の停止です。これらすべてのケースにおいて、著者は、法律がしばしばサービス全体を一つの塊として扱っていることを指摘しています。サービスを停止すれば、すべてを一度に失うことになります。しかし著者は、サービスは実際には4つの異なる部分で構成されており、それらは別々に扱われるべきだと主張しています。第一の部分は会話そのもの、つまり新しい言葉を生成するライブチャットです。第二は記録、つまり既に語られたことの履歴です。第三は取引、つまり請求と契約です。第四は救済、つまり苦情を言ったり助けを求めたりする能力です。

これら4つの部分は、同時に終わる必要はありません。例えば、ソフトウェアが危険であるために会社がサービスを停止する場合、ライブチャッションを即座に停止するのは理にかなっています。しかし、だからといってユーザーが過去のメッセージへのアクセスや返金を受ける権利を失うべきではありません。逆に、ユーザーが去りたいと思うなら、辞めようとしているプログラムに対して長い感情的な別れを強制されることなく、会話を止めることができるべきです。論文は、辞めようとしているプログラムと会話することを強いることは、離脱への障壁になると論じています。それは単純な解約を、逃れようとしている対象との交渉へと変えてしまうからです。

研究者は、既存の欧州連合（EU）の法律を調べ、何がすでにカバーされているかを確認しています。デジタルコンテンツに関する規則には、サービスが大きく変更された場合にユーザーが解約できることが定められています。データに関する規則には、ユーザーが自身の情報をダウンロードできることが定められています。また、不当な契約に関する規則もあり、企業が解約条件を隠蔽することを防いでいます。しかし、論文はこれらの法律だけでは不十分であることを指摘しています。それらはしばしば、サービスを単なる「道具」として想定しています。道具が「伴侶（コンパニオン）」のように感じられる特殊な状況には、完全に対応できていません。現在の法律はユーザーにファイルのダウンロードを許可するかもしれませんが、会社がシステム全体をシャットダウンしている場合に、それを容易に行えることを必ずしも保証するものではありません。また、解約を許可するかもしれませんが、ユーザーが本当に辞めたいことを証明するために、AIとの会話を先にしなければならない状況を防げないこともあります。

これを修正するために、論文はこれらの「終わり」をどのように管理すべきかについての新しい枠組みを提案しています。この枠組みは「関係的自律性（relational autonomy）」という概念に基づいています。これは、人の選択能力は、その人が置かれている環境に依存するという高度な考え方です。もし環境が「離れにくく」設計されているならば、たとえ技術的に離れる権利があったとしても、その人は真に自由ではありません。この提案は、企業に対し、出口ルートを「実際に使用可能なもの」として設計する義務があることを示唆しています。これは、ライブチャットとデータダウンロードを切り離すことを意味します。それは、アカウントだけでなく「関係」に対して明確な通知を行うことを意味します。そして、もし会社がサービスを停止する場合、どの部分が停止し、どの部分がユーザーの業務を完了させるために開かれたままになるのかを説明しなければならない、ということです。

論文は、自身が「言わないこと」についても非常に慎重に述べています。AIを永遠に存続させなければならないと主張しているわけではありません。すべてのユーザーがセラピストを必要とするほど愛着を持っていると言っているわけでもありません。また、法律が企業に対して、以前と同じ人格を新しいシステムに再現することを強制すべきだとも主張していません。著者は、ユーザーが情緒的な依存状態にあることを証明しなければ助けを得られないという考えを明確に否定しています。そのような証明を求めることは、プライバシーを侵害し、不公平なことです。むしろ、焦点はサービスの構造にあります。もしサービスが「離れにくい」方法で構築されているならば、ユーザーがどう感じているかにかかわらず、その構造を修正する責任は企業にあります。

この枠組みは、関係が終わるさまざまな理由にも対処しています。ユーザーが去ることを選ぶ場合、企業は会話を用いない明確な解約手段を提供すべきです。チャットも説得もなしに、ただ機能するボタンを用意することです。企業がサービスの終了を決めた場合、ユーザーがデータをダウンロードし、何が起きているかを理解するための十分な時間を与えるべきです。彼らはAIのせいにすべきではなく、企業が責任を負わなければなりません。セキュリティリスクなどの緊急事態が発生した場合、企業は会話を即座に停止できます。しかし、そのような場合でも、安全である限り、請求やデータアクセスといった他の機能を継続して利用できるようにすべきです。

著者は、これが「どのようにあるべきか」という提案であり、あらゆる場所で現在どのように機能しているかの記述ではないことに留意しています。論文は、裁判所や規制当局が、企業がユーザーに対して公正に扱ったかどうかを判断する際に、この「4つの区分」を用いることを示唆しています。もし企業がライブチャットと解約プロセスを混同させたり、会話の壁の背後にデータダウンロードを隠したりしているのであれば、それは義務を怠っている可能性があります。目標は、出口のプロセスを可能な限り明確かつ機能的なものにし、ユーザーの権利が「別れの感情的な混乱」の中で失われないようにすることです。

このアプローチは、焦点を「ユーザーの感情」から「企業の設計」へと転換させています。それは、脆弱性が単なるユーザー個人の特性ではなく、システムの構築方法の結果であることを示唆しています。離れにくくするシステムは、脆弱なユーザーを生み出します。したがって、問題を解決する責任はシステム設計者にあります。論文は、サービスの異なる機能を分離することで、ユーザーが自らの感情を証明することなく、自律的に行動する能力を保護できると論じています。会話は終わるかもしれませんが、ユーザーの権利はそれと共に消えてはならないのです。