非常に賢く、非常に高速なロボットアシスタントを雇って、あなたのオフィスの運営を支援すると想像してください。このロボットは文書を読み、メールを書き、さらには公式記録を更新することもできます。しかし、あまりにも強力であるがゆえに、あなたは以下の 2 つの大きな懸念を抱くことになります：

1. どの程度、自律的に行動できるのか？（もし間違いを犯した場合、あなたはそれを止められるか？）
2. 実際にどの程度の権限を持っているのか？（単にファイルを読み取るだけなのか、それともデータベース全体を削除できるのか？）

Safin と Balta の論文は、これらの 2 つの懸念を別々に考えてはならないと主張しています。これらはシーソーのように密接に結びついています。ロボットに完全に任せる（高い「自律性」）のであれば、そのロボットが触れることを許可されるツールの範囲を厳しく制限（低い「権能」）する必要があります。逆に、危険なツールへのアクセスを許可する（高い「権能」）のであれば、人間がハンドルを握っている状態（低い「自律性」）を保つ必要があります。

以下に、日常の比喩を用いた彼らの解決策の簡単な内訳を示します。

1. 2 つのレバー：「自由」対「権力」

著者らは、デザイナーが自らのロボットがどこに位置するかを把握するための、2 つの軸を持つマップを作成しました。

• 「自由」レバー（自律性）： これは人間の上司がどの程度関与しているかを測定します。
  • レベル 1: 人間が命令を下し、ロボットはごく小さな 1 つの作業を実行する。
  • レベル 5: ロボットが全てを統括し、人間は傍観者として sidelines（ sidelines）から眺めるだけである。
• 「権力」レバー（権能）： これはロボットが実際に触れたり変更したりすることを許可されているものを測定します。
  • レベル 1: ロボットは与えられた情報に基づいて思考し、テキストを起草することのみができる。
  • レベル 5: ロボットはファイルを永久的に削除したり、公式の支払いを送金したり、法的記録を変更したりできる。

大原則： 100% 自由であり、かつ 100% 権力を持つロボットを持つことはできません。ロボットに野放図に動かすことを許すのであれば、安全な作業に制限する必要があります。逆に、王国の鍵を渡すのであれば、すべての動きを人間が承認する必要があります。

2. 6 つの「安全ギア」（アーキテクチャ戦術）

有用でありながら安全なロボットを構築するにはどうすればよいでしょうか？この論文では、ロボットの設定を調整するために使用できる 6 つの具体的な「ギア」またはトリックを提案しています。

自由を制御するため（自律性戦術）：

• 「赤信号」（チェックポイント）： 高速道路の一時停止標識を想像してください。ロボットがどれだけ速く走行していても、この特定の場所で必ず停止し、人間の「進め」という合図を待つ必要があります。これは、ロボットの性能がどうであれ、常にリスクを伴うタスクに用いられます。
• 「パニックボタン」（エスカレーション）： これは自動車の自動緊急ブレーキのようです。ロボットは自律的に走行しますが、混乱したり、理解できないものを検知したりした場合、パニックボタンを押して「行き詰まりました、人間、あなたが引き継いでください」と伝えます。これは、ロボットは通常は問題ないが、時折トラブルに巻き込まれる場合に用いられます。
• 「専門家チーム」（マルチエージェント委任）： 1 つのロボットが全てを行うのではなく、「マネージャー」ロボットが大きな仕事を小さな部分に分解し、それを他の専門的なロボットに引き渡します。もし小さなロボットが失敗しても、メインのロボットがプロジェクト全体を失敗させた場合よりも修正が容易です。

権力を制御するため（権能戦術）：

• 「道具箱」（ツールの提供）： これは単に、ロボットにどのツールを渡すかを決めることです。ロボットがメールを読むだけなら、ハンマーは与えません。メールを書く必要があるなら、ペンを渡します。
• 「柵」（ツールの囲い込み）： ロボットにハンマーを渡しますが、それを特定の釘だけを打てるように囲いの中に置くことを想像してください。ロボットはツールを持っていますが、間違ったものを壊さないように囲い込まれています。ツールは使用できますが、厳格な制限内でのみです。
• 「下書きモード」（書き込みのステージング）： これは「送信」を押す前に「下書き」として手紙を書くようなものです。ロボットは最終文書を作成しますが、それは待機室に置かれます。人間が「承認」をクリックして初めて公式なものになります。ロボットが間違いを犯した場合、単に下書きを削除すればよいのです。まだ永続的な変化は起きていません。

3. 実世界の事例

この論文は、2 つの実際のシナリオでこれらのアイデアを検証しました。

• シナリオ A：メールの仕分け（文書分類）

  • 目標: 数千通のメールとファイルを自動的に仕分けること。
  • 設定: ロボットにメールを送信する権限（高い権力）を与えましたが、特定の人物にのみ送信できるように「柵」で囲みました。また、「パニックボタン」（エスカレーション）を使用しました。ロボットが誰にメールを送るべきか確信が持てない場合、停止して人間に尋ねます。
  • 結果: ロボットは大部分を自律的に作業できましたが、安全でした。

• シナリオ B：人々と助成金のマッチング（資金調達プログラムマッチング）

  • 目標: 人々が資格を満たす政府資金を見つけるのを支援すること。
  • 設定: ロボットは資格を確認するためのルールを作成する必要がありました。これは、不適切なルールが人々に害を及ぼす可能性があるため危険です。そこで、「赤信号」（チェックポイント）を使用しました。ロボットが結果をユーザーに提示する前に、人間がまずプロフィールをレビューする必要があります。また、ロボットが誤って政府のメインデータベースを変更できないように「柵」も使用しました。
  • 結果: ロボットは人々が助成金を見つけるのを支援しましたが、最終決定は人間が管理していました。

4. 「天井」（展開パラメータ）

最後に、この論文は、完璧な安全ギアを持っていても、ロボットの性能を制限する他の要素があることに注意を促しています。これらをプロジェクトの「天井」と考えてください。

• ロボットの脳（モデルの能力）： ロボットが十分に賢くなければ、どれだけ多くの柵を建てても間違いを犯します。
• ロボットの記憶（エージェントアーキテクチャ）： ロボットが 5 分前に何をしたかを忘れる場合、長いタスクを処理できません。
• ツールの品質（ツールの忠実度）： ロボットの「地図」（データベース）が古かったり間違っていたりする場合、ロボットは道に迷います。
• ボトルネック： ロボットが高速であっても、その後で人間がすべてのファイルを手動で確認しなければならない場合、ロボットは実際には作業を迅速化していません。
• テスト（評価）： ロボットが実際に良い仕事をしているかどうかを測定する方法が必要です。測定しなければ、それが安全かどうかはわかりません。

結論

この論文は、政府や法務など、厳格で規制された環境で機能する AI を構築するためのガイドブックです。これはこう述べています：推測してはいけません。 このマップを使って、AI にどの程度の自由を与え、どの程度の権力を持たせるかを決定してください。その後、6 つの安全ギアを使用して、この 2 つをバランスさせます。これにより、AI の速度を享受しつつ、災害を引き起こすリスクを回避することができます。