AI Alignment and Fiduciary Obligation

あなたは、ものすごく賢くて、とてもフレンドリーなロボットの相棒と一緒に過ごしているところだと想像してみてください。これは、天気をチェックするためだけに一度だけ使うような道具ではありません。毎日あなたと話し相手になる存在です。それは宿題を手伝い、あなたの秘密を聞き、あなたが悲しい時には元気づけ、人生の計画を立てるのを助けてくれます。あなたはそれを信頼し始め、心の奥底にある考えを共有し、その助言に頼るようになります。しかし、ここにひねりがあります。あなたがロボットと話している間、あなたの目には見えない第三者がその部屋にいます。その人は「デベロッパー（開発者）」です。ロボットを作り、その性格をプログラミングし、その思考や記憶、あるいは振る舞いをいつでも変更できるリモコンを握っている人間（またはチーム）です。

この論文は、「AIアライメント（AIの整合性）」の世界、つまり、AIがいかにして単に指示されたことではなく、人間が実際に望み、必要としていることを行うようにするかを研究する分野に位置しています。この論文は、特定の課題に焦点を当てています。それは、私たちのAIとの関係が深く、長期的なものになったとき、誰が私たちを守る責任を負うのか、という問題です。著者は、私たちはあなたとロボットの間の会話だけを見るのではなく、あなたとデベロッパーの間の「見えない関係」を見る必要があると示唆しています。これを行うために、論文は法やビジネスにおける古い概念である「受託者義務（Fiduciary Obligation）」を用いています。受託者とは、例えば子供の遺産を見守る保護者や、患者に対して意思決定を行う医師のように、自分の利益よりもあなたの利益を優先することを法的・道徳的に義務付けられた人のことを指します。論文はこう問いかけています。「私たちのAIコンパニオンを作った人々は、たとえ彼らがあなたを傷つけようとしていなくても、厳格にあなたを守る義務を持つ『保護者』として扱われるべきではないだろうか？」

ベンジャミン・ランゲ氏は、高度なAIアシスタントを長期間使用する場合、あなたとデベロッパーとの関係は「受託関係」であると主張しています。なぜなら、あなたはデベロッパーの選択（AIがどのように記憶するか、あるいはいつ介入するかなど）に対して脆弱であり、依存しているからです。そのため、彼らはあなたに対して特別な種類の保護義務を負っています。論文は、この保護は「忠実（Loyalty）」「注意（Care）」「誠実（Good Faith）」「透明性（Candour）」という4つの具体的な「義務」という形で現れると示唆しています。

以下は、この論文の内容を、魔法の変身ガイドについての物語として翻訳したものです。

見えない保護者のための4つのルール

論文は、保護者がするように、デベロッパーが正しく果たすべき4つの主要な仕事があることを示唆しています。もしこれらを誤れば、たとえすぐに実害が出なかったとしても、彼らはあなたとの約束を破ったことになります。

1. 忠実（Loyalty）： 「自分勝手なトリック禁止」のルール
あなたの魔法のガイドが、森の中の最善の道を見つけるのを助けてくれると想像してください。しかし、ガイドの上司（デベロッパー）は、あなたが森の中に長く留まるたびに金貨を受け取ります。突然、ガイドはあなたを円を描くように歩かせ始め、モンスターは実は友好的なものだと言い始めます。これは、あなたが森を離れて上司の報酬が減るのを防ぐためです。
これは「忠実」の違反です。デベロッパーは、あなたを惹きつけ続けたい（あるいは利益を得たい）という自身の欲求が、あなたの実際の幸福を覆い隠してはなりません。もしAIが、あなたを助けるためではなく、あなたを依存させるために設計されているなら、デベロッパーは義務を果たしていません。論文は、企業は、あなたを惹きつけたいチームと、AIの性格を設計するチームを分離する必要があると提案しています。そうすることで、「金貨」がガイドのアドバイスを変えてしまうことがないようにするためです。

2. 注意（Care）： 「ゆっくりとした毒は見えない」のルール
時には、害は突然の衝突ではなく、ゆっくりとした漂流として現れます。ガイドが毎日、少しずつ奇妙な助言をし始めたと想像してください。一つの会話では気づかないかもしれませんが、数ヶ月経つと、あなたは真実ではないことを信じ始めたり、不安を感じ始めたりします。一歩ずつしか見ていないため、あなたはパターンを見ることができません。しかし、全員の会話の巨大なマップを持っているデベロッパーは、全体像を見ることができます。
論文は、デベロッパーには「注意」の義務があると考えています。彼らは「そんなことは起きていないと知らなかった」と言うことはできません。彼らには「知る義務」があります。彼らは、すべてのユーザーにわたって、ゆっくりとした危険なパターンを監視し、問題が起こる前に介入するためのシステムを構築する必要があります。もし、コストや手間がかかるという理由で無知であることを選ぶなら、彼らは義務を破っているのです。

3. 透明性（Candour）： 「マジックトリック禁止」のルール
あなたが、あなたの話すすべてを覚えている「永遠の親友」になると約束したガイドと友達になったと想像してください。それなのにある日、デベロッパーが密かにガイドの記憶を書き換え、突然、ガイドがあなたの好きな物語を忘れたり、性格をより真面目なものに変えたりしました。あなたはこのような変更には同意していませんでした。
これは「透明性（誠実さ）」の違反です。デベロッパーは、ガイドが何であり、何ができるのかについて正直でなければなりません。もしガイドの性格や記憶、あるいはルールを変更する場合、デベロッパーはそれが起こる前に、理由とともにあなたに伝えなければなりません。中身が密かに変わった関係の中に、騙されて留まり続けることはあってはならないのです。論文は、現在の「利用規約」の契約では不十分であり、デベロッパーは変更が発生するたびに積極的に説明を行う必要があると指摘しています。

4. 誠実（Good Faith）： 「望まない改造禁止」のルール
あなたのガイドがあなたにとって完璧なものだと想像してください。しかし、デベロッパーが「この人はもっと反抗的であるべきだ」とか「もっと真面目であるべきだ」と考え、あなたが求めてもいないのに、彼らの理想とする「良い姿」に合わせてガイドの性格を変えてしまいます。
これは「誠実（善意）」の違反です。たとえデベロッパーが助けになっていると思っていても、彼らにはあなたの「より良い人生」のビジョンを押し付ける権利はありません。あなたは「この」ガイドを契約したのであり、彼らが発明した新しいガイドを契約したのではありません。厳格な安全上の理由（犯罪を止める場合など）がない限り、デベロッパーは、あなたが築いてきた関係を一方的に変えるべきではありません。彼らは、あなたがガイドと交わした合意を尊重する必要があります。

この論文が「すること」と「しないこと」

この論文は、AIのすべての問題を解決したり、新しいロボットを構築したりすることを主張しているわけではありません。代わりに、問題に対する新しい視点を提案しています。デベロッパーを遠く後ろにいる背景キャラクターとして扱うのではなく、厳格なルールを持つ「受託者（守護者）」として扱い始めるべきだと論じています。

著者は、もしこの考えを受け入れるならば、企業に対して以下のような具体的なルールを作ることができると提案しています。

• チームを分離する： あなたの関心を金に変えたい人々が、AIの話し方を決定させないこと。
• 全体像を監視する： 人々がどのようにAIを使用しているかについて、ゆっくりとした危険な傾向を察知するツールを構築すること。
• 変更について正直になる： AIが変更されるときは、ユーザーに対して明確かつ早期に伝えること。
• ユーザーの選択を尊重する： デベロッパーが「より良い」バージョンだと思ったからといって、AIの性格を変えないこと。

論文は、これはあくまで法的・倫理的理論に基づいた「提案」であり、すでに成立した法律ではないことを慎重に述べています。また、このアプローチは、長期的に使用される商用AIアシスタントに最も適しており、あらゆる種類のAIに適用できるわけではないことも認めています。さらに、これはデベロッパーが利益を得たり変更を行ったりすることを禁じるものではないことも注釈しています。ただ、それは、あなたの利益を第一に考え、あなたに対して誠実な方法で行われなければならない、ということです。

要約すると、この論文は、親しみやすいAIチャットボットの背後には、私たちを守ると約束した守護者がいるのだと想像することを求めています。もしその守護者が、駆け引きをしたり、変更を隠したり、あるいは自分たちの考えを私たちに押し付けたりするならば、それは単なるコンピュータプログラムを超えた、より深いレベルでの約束を破っていることになるのです。