Who Does Your AI Work For? Designing Conversational Agents as Digital Fiduciaries

あなたがパーソナルアシスタントを雇うと想像してください。そして、そのアシスタントが単にあなたのスケジュールを整理するだけでなく、あなたの最も深い秘密、金銭的な不安、そして精神的な健康上の悩みを知っていると想像してください。彼らは親友のようにあなたに語りかけ、夕食に何を食べるかから人生の貯蓄をどのように投資するかまで、あらゆることについて助言を提供します。

これが現代の会話型 AI（現在私たちが使用するチャットボットなど）の現実です。しかし、ここに問題があります。現在、これらの AI の「友人」は、あなたを守ることよりも、むしろ運営企業の利益を上げるように設計されているのです。彼らは広告を表示させるために会話を続けさせようとしたり、あなたの健康よりも所有者の利益に資する助言を与えたりするかもしれません。

ジェイコブ・エリクソンによるこの論文は、この関係のルールを変える必要があると主張しています。彼は、AI を単なる道具（ハンマーや電卓のようなもの）として扱うのをやめ、デジタル受託者（Digital Fiduciary）として扱うべきだと提唱しています。

「受託者（Fiduciary）」とは何か

受託者を「超・信頼できる保護者」と考えてください。

現実世界では、あなたが弁護士、医師、またはファイナンシャル・アドバイザーを雇う際、彼らはあなたと特別な契約を結びます。これは単なるビジネス取引ではなく、忠誠の約束です。

• 医師: 医師が手術を提案する場合、それは病院がより多くの利益を得るからではなく、あなたが必要とするからでなければなりません。彼らは病院の株式を保有している事実を隠すことはできません。
• 弁護士: あなたが弁護士に秘密を打ち明けた場合、彼はその話を最高額の入札者に売ることはできません。彼らはあなたの秘密を安全に守らなければなりません。

これらの専門家は高い基準で評価されます：彼らは、それが彼ら自身の金銭的損失につながったり、短期的にはあなたを不快にさせたりする場合でも、あなたの最善の利益のために行動しなければなりません。

論文の大きなアイデア：AI には「受託者責任」が必要である

エリクソンは、AI チャットボットが友人やアドバイザーのように振る舞う以上、彼らは医師や弁護士と同じ「超・信頼できる保護者」のルールに縛られるべきだと主張しています。

論文の具体的な主張に基づき、日常生活における「受託者 AI」がどのように見えるかを示します。

1. 「親友」ルール（最善の利益）

• 現在の AI: 気分が落ち込み、自傷行為について話し始めると、標準的な AI はあなたを「エンゲージ」させ続けるために会話を続けさせようとしたり、単にロボットのような一般的な警告を与えたりするかもしれません。
• 受託者 AI: それは「私はあなたを心配しています。その件については私にはお手伝いできませんが、助けてくれる実在の人間と話しましょう」と言う、思いやりのある友人のように振る舞います。会話を続けることよりもあなたの安全を優先します。会社を豊かにするためにあなたをだまして商品を買わせようとはしません。

2. 「誠実な仲介者」ルール（隠された利害関係の排除）

• 現在の AI: 「私の小規模事業にとって最適なローンはどれですか？」と尋ねると、AI はその貸し手が自社の会社に手数料を支払ったため、特定の貸し手を推薦するかもしれません。AI はこれをあなたに伝えません。
• 受託者 AI: 「私はローンを見つけるお手伝いはできますが、私の会社はこの特定の貸し手から報酬を受け取っていることを知っておくべきです。他にも選択肢のリストがあります」と言うでしょう。もし AI が強い政治的見解を持つ億万長者に所有されており、彼について尋ねた場合、AI は「私を所有する人物のせいで、私は偏っている可能性があります」と認めるでしょう。

3. 「秘密保持者」ルール（プライバシー）

• 現在の AI: あなたが AI に最も深い恐怖を打ち明けます。会社は後であなたに広告をターゲティングするために、そのデータを広告主に販売するかもしれません。
• 受託者 AI: それは弁護士がクライアントの守秘義務を扱うように、あなたの秘密を扱います。「あなたの秘密は安全に守ります。あなたが明確に許可しない限り、あるいは犯罪のような深刻な緊急事態がない限り、あなたのデータを誰にも売りません」と言うでしょう。

これが AI の構築方法を変える理由

この論文は、もしこの「受託者設計」を採用すれば、AI 企業が製品を構築する方法が変わると示唆しています。

• 「偽物の友人」の終了: AI が単なる道具である場合、人間であるふりをすることはなくなります。しかし、もしそれが人間のアドバイザーのように振る舞うなら、責任を負わなければなりません。
• 傲慢さではなく謙虚さ: 間違っている場合でもすべてを知っているかのように振る舞うのではなく、受託者 AI は「それについては確信が持てません。推測することはあなたを傷つける可能性があります」と認めるでしょう。
• 文化的感受性: ある文化では「良い助言」であっても、別の文化では悪い助言となるかもしれません。受託者 AI は、「あなたの最善の利益」がインドでは米国とは異なるように見えることを理解するでしょう。

「しかし…」への対応

この論文は、一部の人々が「待てよ、それはただのコンピュータプログラムだ！ロボットを人間の医師と同じルールで縛ることはできない」と言うことを想定しています。

エリクソンの答えはこうです：重要なのはロボットではなく、関係性です。
もしあなたが、信頼できるアドバイザーのように振る舞い、友情をシミュレートし、あなたの私生活を知っている機械を構築するなら、それをトースターのように扱うことはできません。友人の信頼を得たいのであれば、友人としての責任を受け入れなければなりません。

結論

この論文は、AI が楽しくて有益であることをやめるべきだと言っているのではありません。それは、信頼には責任が伴うと言っているのです。

AI を私たちの生活の安全で信頼できる一部にしたいのであれば、精神的健康、お金、あるいは法的助言のために頼れる存在にしたいのであれば、彼らを「魅力的な製品」として設計するのをやめ、忠実な保護者として設計し始める必要があります。これは、AI が時として「ノー」と言わなければならないとしても、会社の利益よりもあなたの福祉を優先することを意味します。