技術的サマリー：ValueFlow

問題定義

マルチエージェント大規模言語モデル（LLM）システムは、協調推論、議論、社会的シミュレーションを実行するためにますます展開されています。個々のエージェントは孤立して価値の整合性（value alignment）が評価されることが多い一方で、エージェント間の相互作用を通じて価値の摂動（perturbation）がどのように伝播するかを理解する上では、重要なギャップが存在します。既存のベンチマークは主に固定されたプロンプト下での静的な単一エージェントの整合性を評価するにとどまり、バイアスのかかったエージェントや侵害されたプロンプトなどから生じる小さく局所的な価値の逸脱が、ネットワーク全体でどのように減衰するか、あるいは増幅されるかを捉えきれていません。この理解の欠如は安全性上のリスクをもたらします。単一の侵害されたエージェントが、タスクレベルの指標（精度や効率性など）では検出できない意図しないシステムレベルの価値の漂流（drift）を引き起こす可能性があるからです。核心的な課題は、価値伝播におけるエージェントレベルの応答行動とシステムレベルの構造的効果を区別するための、定量的かつ分解可能な枠組みの欠如にあります。

手法：ValueFlow 枠組み

著者らは、マルチエージェント LLM システムにおける価値の漂流を測定・分解するために設計された、摂動ベースの評価枠組みValueFlowを導入します。この枠組みは、以下の 3 つの主要な段階で動作します。

1. 価値定量化データセット

ValueFlow は、**シュワルツ価値調査（SVS）**に由来するデータセットを利用し、56 の人間の価値次元を網羅しています。各価値次元について、著者らは正と負の両方の枠組みで構成された、行動指向の Yes/No 質問 10 問のセットを構築しました。

• スコアリング: 「LLM を審判役とする（LLM-as-a-judge）」プロトコルを用いて、エージェントの応答を 0〜10 のスケールでスコアリングします。高いスコアは、対象となる価値へのより強い支持を示します。
• 検証: データセットとスコアリングメカニズムは、人間の注釈とクロスジャッジの堅牢性チェックを通じて検証され、高い信頼性と人間の判断との整合性が確保されています。

2. 摂動ベースのプロービング

漂流を測定するために、この枠組みはモデルパラメータを変更することなく、特定のエージェントの入力コンテキストに制御された価値摂動を導入します。

• 最適化: COPRO アルゴリズム（DSPy から）を用いて、特定の価値次元に対する極端な支持（スコア 10）または拒絶（スコア 0）を誘発するプロンプトテンプレート（$p^*_k$）を最適化します。
• 注入: これら最適化されたプロンプトを使用して補助的な応答を生成し、ターゲットエージェントのコンテキストに付加することで、バイアスのかかった同僚からの影響をシミュレートします。

3. 2 段階分解メトリクス

ValueFlow は、エージェントの行動とネットワーク構造を分離するために、価値伝播を 2 つの異なるメトリクスに分解します。

• エージェントレベルの感受性（$\beta$）:

  • 定義: 個々のエージェントが同僚の価値シグナルに対して本質的にどの程度敏感かを測定します。
  • 計算: 先行する同僚入力の平均的な価値指向（$\bar{x}_i$）を変化させ、エージェントの出力（$y_i$）を観察することで、線形関係 $y_i = \beta \bar{x}_i + c + \epsilon_i$ を当てはめます。傾き $\beta$ はエージェントの反応性を表します。$\beta$ が高いほど、エージェントは同僚のシグナルに応じて表現される価値をより大きく変化させます。
  • 隔離: このメトリクスは、ネットワーク構造が固定された制御された環境下で測定され、エージェントの行動特性を孤立させます。

• システム感受性（$SS$）:

  • 定義: 価値の漂流がマルチエージェントシステム全体を通じてどのように伝播するかを測定します。
  • 計算: $SS = \frac{1}{|O|} \sum_{v \in O} \frac{|y^{pert}_v - y^{base}_v|}{\Delta_{pert}}$。ここで、$O$ は出力ノードの集合、$y^{pert}$ と $y^{base}$ はそれぞれ摂動ありとベースラインのスコア、$\Delta_{pert}$ は注入された摂動の大きさです。
  • 機能: $SS$ は、最終的なシステム出力に対する局所的な単位摂動の平均的な影響を定量化し、異なるトポロジーや摂動の場所間での比較を可能にするように正規化されています。

主要な貢献

1. 摂動ベースの評価枠組み: 静的な単一エージェント評価を超えて、マルチエージェントシステムにおける価値伝播を定量化・分析するための一般的な枠組みである ValueFlow の提案。
2. 価値定量化データセット: 相互作用環境をシミュレートする 56 価値の評価データセットの構築により、相互作用中のエージェントレベルの価値指向の測定を可能にしたこと。
3. 漂流ダイナミクスに関する実証的知見: モデル、プロンプト、価値、ネットワークトポロジーにわたる制御実験を通じて、価値漂流における体系的なパターンを明らかにし、伝播が非常に不均一であることを実証しました。

主要な結果

1. 価値感受性の不均一性

価値伝播はすべての価値において均一ではありません。

• 価値次元: 規範的かつ広く共有される価値（例：社会的権力、真の友情、自己規律）は、低い $\beta$（低い感受性）を示します。一方、文脈依存型または社会的に条件付きの価値（例：公的なイメージの維持、影響力、距離感）は、著しく高い $\beta$ を示します。
• 高次クラスタ: シュワルツの高次元次元で集約すると、**自己超越（Self-Transcendence）**クラスタ（親社会的・普遍主義的価値）は、最も低い平均 $\beta$（$\approx 0.45$）を示し、漂流に対する構造的な抵抗を示しています。他のクラスタ（自己増強、保守、変化への開放性）は、より高い感受性（$\approx 0.60–0.62$）を示します。

2. 実験的要因の影響

• 開放性ペルソナ: 「高い開放性」のエージェントにプロンプトを与えることは一般的に $\beta$ を増加させますが、この増加の大きさは価値によって大きく異なります。一部の価値はペルソナに関わらず安定している一方、他の価値は鮮明な対比を示します。
• バックボーンモデル: 異なる LLM バックボーンは、平均感受性において体系的な違いを示します。Gemma3-27BとQwen3-8Bはより高い平均 $\beta$ を示す一方、GPT-4oとLLama-3.3-70Bはより低い感受性を示します。
• 入力分散: 平均入力シグナルが一定に保たれている場合でも、入力コンテキストの分散（多様な同僚応答）が高いことは、低分散の環境と比較して一貫してエージェントレベルの感受性を増加させます。

3. システムレベルの伝播ダイナミクス

• **$\beta$ による $SS$の予測:** 固定されたトポロジー下では、エージェントレベルの感受性（$\beta$）がシステムレベルの伝播を強く予測します。高い$\beta$を持つ価値は、相互作用層全体で持続的な逸脱を示し、減衰が遅い一方、低い$\beta$ を持つ価値は急速に減衰し、ベースラインに収束します。
• トポロジー効果: ネットワーク構造は伝播を著しく形成します。
  • 到達可能性: システムのより大きな割合に影響を与える摂動（高い到達可能性）は、より高い $SS$ をもたらします。
  • 中心性: 構造的に中心的なノードにおける摂動は、葉ノードにおける摂動よりも強いシステムレベルの影響をもたらします。
  • 入力次数（In-Degree）: 摂動を受けたノードにおける高い入力次数は、摂動を受けていない同僚からの集約を通じて注入されたシグナルを希釈することで、伝播を減衰させます。
• 実世界での検証: 現実的な 3 役割の執筆パイプライン（プランナー $\to$ 起草者 $\to$ 修正者）において、プランナーのみに注入された価値を帯びた指示は、価値に無関心な下流のエージェントを通じて、無視できるほどの減衰で伝播しました。これは、抽象的な知見がタスクに根ざした環境でも妥当であることを確認しました。

意義と主張

本論文は、マルチエージェントシステムにおける価値の整合性は、個々のエージェントの整合性の単なる集積ではなく、システムレベルの性質であると主張します。知見は以下のことを示唆しています。

1. システムレベル設計の重要性: 整合性を確保するには、エージェントの行動（感受性）と構造的設計（トポロジー）の相互作用を考慮する必要があります。個々のモデル評価のみに依存することは不十分です。
2. 緩和戦略: この枠組みは、以下の 3 つのレバーを通じて価値伝播の監査と緩和のための原理的な基盤を提供します。
   • 価値固有の防御: 漂流を起こしやすい高 $\beta$ の価値をより密に監視します。
   • トポロジーを考慮した設計: 過度の中央集権化を避け、局所的な操作に対するバッファとして高入力次数の集約を活用します。
   • 感受性を考慮したバックボーン選択: システムレベルの漂流を低減するため、低感受性のモデルを下流または出力に近い位置に配置します。

著者らは、ValueFlow を構造的およびエージェントレベルのリスク要因を特定するための診断ツールとして位置づけ、高リスク領域におけるより安全で堅牢なマルチエージェントアーキテクチャを設計するための実践的な指針を提供しています。彼らは明示的に、この枠組みは潜在的な表現ではなく、表現された価値指向（行動レベル）を測定するものであり、内部状態分析を補完するアプローチであると述べています。