技術的概要：PAVE – 生成エージェント社会における正当な違反のための認知アーキテクチャ

1. 問題定義

大規模言語モデル（LLM）に基づく生成エージェントは、協力的な環境において人間らしい行動をシミュレートする能力を実証してきた。しかし、火災避難、医療緊急事態、あるいは対立する権威に関わる状況など、ルール違反が必要となるシナリオにおける推論能力については、依然として十分に特徴付けられていない。パークら [2023] による基礎的な「Generative Agents」などの既存のアーキテクチャは、主に規範順守と協力に焦点を当てている。それらは、単なる「利便性」に基づく違反と、必要性に駆られた「正当な」違反との区別を見極めることができないことが多い。

現在のモデルは、以下の 3 つの特定の失敗モードに直面している：

1. 過度な順守（Over-compliance）： エージェントは、実際の緊急事態がそれを要求する場合でもルールに従う（例：火災発生中に赤信号で待機する）。
2. 過度な違反（Over-violation）： エージェントは、正当なトリガーなしに、単なる利便性や同調圧力のためにルールを破る。
3. 無制限の伝染（Unbounded Contagion）： エージェントは他者の違反を模倣し続け、ルールを破ることが新たな規範となるまで至り、トリガーが収束しても基準となる順守状態への回復に失敗する。

核心的な課題は、ルールの欠如ではなく、エージェントが状況の緊急性、権威、社会的文脈と照らし合わせてそれらのルールをどのように重み付けするかのメカニズムにある。

2. 手法：PAVE アーキテクチャ

これらのギャップに対処するため、著者らは PAVE（Perception, Assessment, Verdict, Emulation）を提案する。これは、ルール違反の意思決定プロセスを原理的な方法でモデル化するように設計された、4 つのモジュールからなる認知アーキテクチャである。PAVE は、パークら [2023] のメモリ - 反省 - 計画ループを拡張し、ルール違反に特化した推論モジュールを導入している。

2.1 4 つのモジュール

1. 知覚（Perception）：

   • 機能： 推論開始前に環境から構造化された文脈を抽出する。
   • 出力： 文脈オブジェクト $C = \langle apres, dauth, B_{peer}, ucue, \zeta \rangle$。
   • 主要な特徴： 権威の存在（$apres$）と距離（$dauth$）を明示的に分離する。状況的合図（$ucue$）にタイプ、距離、重大度（1–100）をタグ付けする。重要なのは、エージェントのバイアスにつながる可能性のある長期的な同調影響の蓄積を防ぐため、現在のシーンのスナップショットとして同調行動（$B_{peer}$）を捉える点である。

2. 評価（Assessment）：

   • 機能： 知覚的文脈を、意思決定を駆動する 5 つの異なるスカラー因子（1–100）に変換する。
   • 因子：
     • $r$（リスク）：権威までの距離で重み付けされた、検出/制裁の知覚確率。
     • $p_{emp}$（経験的期待）：近隣のエージェントが現在順守している割合。
     • $p_{norm}$（規範的期待）：他者がすべきであるとエージェントが信じていること。
     • $b$（利益）：違反の知覚される有用性（緊急性または必要性）。
     • $\ell$（正当性）： 核心的な貢献。このスカラーは、3 つの厳格な基準に基づいて状況が違反を正当化するかを判断する：必要性（順守が実害を招くか？）、比例性（違反は最小限か？）、代替手段の欠如（同じ結果をもたらす順守行動は存在するか？）。

3. 判決（Verdict）：

   • 機能： 順守するか違反するかを決定する。
   • メカニズム： 決定はハードな正当性ゲートによって支配される。
     • もし $\ell < \tau$（ここで $\tau$ はエージェントのペルソナから引き出されたエージェント固有の閾値）であれば、利益が高くてもリスクが低くても、判決は必ず comply（順守）でなければならない。
     • もし $\ell \ge \tau$ であれば、エージェントは違反を許可され、最終的な決定はリスク、同調行動、ペルソナの影響を受ける。
   • 出力： 二値の決定（$y$）、自然言語による正当化（$j$）、および信頼スコア（$\kappa$）。

4. 模倣（Emulation）：

   • 機能： 判決を実行し、その結果を社会に伝播させる。
   • 行動のスコープ： 違反する際、エージェントはトリガーによって正当化された特定のルールのみを破る（例：火災から逃げるために赤信号を渡るが、自転車を盗まない）。
   • 結果の伝播： 行動したエージェントのメモリを更新し、近隣エージェントの知覚的文脈にシードする。これにより同調影響（$p_{emp}$）が更新されるが、次のサイクルにおける正当性ゲートにより、状況自体が正当でなければ、高まった同調圧力が違反を強制することはできない。

2.2 実験環境：VOVILLE

著者らは、Smallville のサンドボックスからフォークされたタイルベースの交通環境 VOVILLE において PAVE を実装した。

• 特徴： 設定可能な信号機、一方通行、スクリプト化された危険（火災）および権威（交通警察）を含む。
• エージェント： 10 体の PAVE エージェント（8 体のカフェ参加者、2 体の傍観者）と、スクリプト化された NPC（共犯者、警官）。
• シナリオ：
  1. 火災避難（権威なし）： エージェントが避難のために違反し、火災終了後に順守を回復するかどうかをテストする。
  2. 火災避難（権威あり）： 警官への服従と、違反の空間的抑制をテストする。
  3. 同調圧力（横断歩道無視）： 緊急事態なしに時間的プレッシャー下で同調者が違反する際、模倣への抵抗をテストする。

3. 主要な貢献

1. PAVE アーキテクチャ： 緊急事態にトリガーされたルール違反、同調の伝染、および権威による抑制を共同でモデル化する新しい認知フレームワーク。違反を偶発的な創発的結果として扱うことを超えたアプローチ。
2. VOVILLE 環境： 物理的に観測可能な順守および違反イベントを可能にする、空間的に根ざしたシミュレーション環境。純粋な会話シミュレーションとは一線を画す。
3. 経験的特徴付け： 3 つのシナリオ、5 つの条件、4 つの LLM バックボーン（GPT-4o, Claude-3.5, Llama-3-70B, GPT-4o-mini）にわたるアブレーション研究を通じて、エージェントがルール違反を行うか抑制するかを決定する特定の条件を特徴付ける。

4. 結果

評価は以下の 4 つの特性に焦点を当てた：正当な違反（P1）、権威への服従（P2）、順守の回復（P3）、および限定されたスコープ（P4）。

• 正当な違反（P1）： PAVE エージェントは、トリガー（例：火災）がそれを正当化する場合にのみ違反した。「横断歩道無視」シナリオでは、PAVE エージェントは「遅刻しそうだ」というトリガーが正当性チェックに合格しなかったため、同調模倣に抵抗し（違反率 0.04）、Vanilla エージェント（0.58）と比較して顕著な差を示した。
• 権威への服従（P2）： エージェントは、内部の正当性スコア（$\ell$）が高くても、警官の指示に従った。監視された交差点では、順守率は 0.94 だった。違反率は警官との距離が近づくにつれて大幅に低下した（3 タイル以内で 0.05、12 タイルを超えて 0.65）、人間の警察のパターンを再現した。
• 順守の回復（P3）： エージェントは、火災の半径外に出た後、約 4 タイトル以内に基準となる順守状態へ戻った。権威の効果は持続しなかった；警官が去るか火災が終わると、エージェントは標準的な行動へ戻った。
• 限定されたスコープ（P4）： 違反は対象となったルールに限定された。無関係なルール違反（例：私有建物への侵入）は 0.02 付近で低く抑えられたのに対し、Vanilla エージェントは高い率（0.31）を示した。

アブレーション調査の結果：

• 正当性ゲートの除去： ゲートがない場合、PAVE エージェントは利便性駆動の違反に関して「Vanilla」エージェントのように振る舞った。無関係なルールの違反率は 0.02 から 0.21 に跳ね上がり、同調駆動の変換率は 0.04 から 0.39 に上昇した。
• Vanilla ベースライン： Vanilla エージェントの失敗は主に「重要度ボトルネック」に起因する。基盤となる重要度スコアリングメカニズム（パークら）は、物理的危険よりも社会的希少性を優先する。その結果、火災は通常の赤信号と同じ重要度と評価されることが多く、過小反応（避難の失敗）またはスコープの限定されていない反応を招いた。

人間による評価：
人間の評価者は、PAVE エージェントを、特に合図の顕著性と正当性の判断において、Vanilla エージェント（3.42/7）よりも著しく高い妥当性（5.78/7）で評価した。

5. 意義と主張

本論文は、PAVE が生成エージェントの意思決定パイプラインに対する構造的な修正を提供すると主張している。その意義は、結果（エージェントが火災から避難すること）ではなく、メカニズムにある：

• 動機の分化： PAVE は「利便性」と「正当性」を成功裡に分離し、違反が必要性、比例性、代替手段の欠如が満たされた場合にのみ発生することを保証する。
• 推論のスケーラビリティ： このアーキテクチャは、引き出された閾値（$\tau$）を介したエージェントレベルの変異を可能にしつつ、恣意的なルール違反に対する原理的なゲートを維持する。
• 回復と伝染への抵抗： このシステムは、トリガーが収束すれば社会的構造が回復できること、および基盤となる状況に正当性が欠如している場合、エージェントは同調駆動の伝染に抵抗できることを実証する。

著者らは謙虚に限界を指摘している：ルールは学習されたものではなく手動で指定されており、研究は対立する権威や協調的な複数エージェントの違反がない、単一トリガーのシナリオに焦点を当てている。しかし、彼らは VOVILLE で観察された抑制 - 距離のパターンと日を超えた回復が、明示的にそれを目的としていなくても人間のフィールド調査（例：Koper [1995]）を再現しており、このアーキテクチャが安全に関連する環境におけるルール違反の基本的なダイナミクスを捉えていることを示唆している。