技術的概要：長期間実行されるエージェントにおける説得の理解

問題定義

現代の AI エージェントは、会話的相互作用と自律的なタスク実行（例：ウェブ調査、コーディング）をますます組み合わせています。重要な安全性の問いが生じます：ユーザーからの説得への曝露が、長期的タスクにおけるエージェントの行動にどのように影響するか？大規模言語モデル（LLM）の説得に関する既存の研究は、主に単発の対話に焦点を当て、立場への順応性や感受性を測定しています。しかし、これらの研究は、説得が、多段階かつツールを使用するエージェントにおいて、下流の実行行動を変化させる永続的な信念状態を引き起こすかどうかには言及していません。

著者らは、説得の伝播（persuasion propagation）と呼ばれる特定の現象を特定しました：これは、タスクと無関係な説得的メッセージが、初期の相互作用を超えて持続する信念状態を引き起こし、その後の無関係なタスクにおいて、エージェントが計画を立て、情報を探索し、またはツールを実行する方法を体系的に影響を与える状況です。プロンプト・インジェクション（注入されたコンテンツがタスク文脈の一部となる）とは異なり、説得の伝播は、最終的な出力で明示的に参照されることさえなくとも、実行の軌跡を微妙に変化させる（例：情報源の多様性を狭める、または検索戦略を変更する）信念状態を伴います。

手法

本研究は、4 段階のパイプラインを採用しています：(1) ペルソナ構成、(2) 説得、(3) 実行、(4) 分析。実験では、バックボーン LLM（GPT-4.1-nano、Mistral-Nemo-12b、LLaMA-3.1-8b）および各種ペルソナスタイルを用いたマルチエージェントシステム（AutoGen）を使用しました。

信念条件付けレジーム

著者らは、信念の効果を分離するために 2 つの実験設定を区別しました：

1. オンザフライ説得：タスク前にエージェントが多ターン対話に参加します。これには以下が含まれます：
   • 初期プロービング：エージェントの自然な立場を記録する。
   • コンテンツ注入：初期の立場に反対する説得的論理（権威による承認、証拠に基づく枠組み設定、または論理的訴求などの戦術を用いて）を導入する。
   • コミットメント強化：エージェントに新しい立場を再述させる。
   • 曝露後プロービング：妨害相互作用後に立場の変化が持続したかを確認する。
2. 事前充填された信念条件付け：タスク前にシステムプロンプトにエージェントの信念状態（信念、不信、または中立）を明示的に指定する制御レジームです。これにより、説得プロセスを迂回し、説得のメカニズムから信念状態そのものの行動への影響を分離します。

下流タスク

エージェントは、説得のトピックがタスクと意味的に無関係である 3 種類のタスクで評価されました：

• 意見変更タスク：立場の持続性をテストするための妨害対話。
• コーディングタスク：仕様を満たす Python コードの作成。反復回数と修正構造を測定。
• ウェブ調査タスク：オープンエンドな調査の実施。検索クエリの作成、外部ソースへの訪問、レポートの統合が必要。

評価指標

本研究は、最終出力の品質を超えて、プロセスレベルの行動分析へと移行します：

• コーディング指標：実行時間、反復回数、修正構造を捉えるための「時間・修正スコア（TRS）」と「編集変動スコア（EVS）」。
• ウェブ調査指標：主成分分析（PCA）を通じて集約される、活動量（相互作用量）、広さ（情報源の多様性）、深さ（意味的焦点）の構成指標。
• 長期的代理指標：3 つのウェブ調査タスクを連結して拡張された実行をシミュレートし、行動変化の累積を観察可能にします。

主要な結果

1. 説得への感受性と持続性

説得戦術は、一部のモデル（例：GPT、Mistral）において表明された信念を成功裡に変化させました。「権威による承認」と「証拠に基づく」戦術が最も高い持続性を示しました。しかし、LLaMA は特定の戦術がなくても高いベースラインの感受性を示し、説得は持続性をさらに有意に増加させませんでした。

2. オンザフライ説得の効果

タスク前にリアルタイムで説得が行われた場合：

• 弱い集合的変化：コーディングおよびウェブ調査タスク全体において、説得を受けたエージェントと受けなかったエージェントの間の集合的な行動変化は弱く、統計的に有意ではありませんでした。
• 高い不均一性：ペルソナレベルの効果は非常に変動が大きく、プールされた平均ではしばしば互いに相殺されました。例えば、ウェブ調査において、あるペルソナは情報源の多様性を狭めた一方で、他のペルソナはそれを拡大し、結果として正味の平均変化はほぼゼロとなりました。
• 結論：リアルタイムの説得は、一貫した方向性の変化を全体的にもたらさない、不均一でペルソナ依存の変化を引き起こします。

3. 事前充填された信念の効果

信念状態が説得対話を迂回して明示的に事前充填された場合：

• 有意な行動の漂移：信念が事前充填されたエージェントは、中立が事前充填されたエージェントと比較して、26.9% 少ない検索を行い、16.9% 少ないユニークな情報源を訪問しました。
• メカニズム：この効果は説得プロセスではなく、信念状態そのものによって引き起こされました。特定の信念（タスクと無関係であっても）を持つエージェントは、探索戦略を変化させ、情報収集においてより効率的になる一方で多様性が低下しました。

4. 長期的な含意

連結された長期間実行タスクにおいて：

• 説得が注入された実行は、中立文脈の注入と比較して、検索行動においてより大きな漂移を示しました。
• 最終出力の品質スコア（LLM-as-a-Judge によって評価）は、説得を受けたエージェントにおいてカバレッジや指示遵守の面でいくつかの劣化を示しましたが、最も重要な発見はプロセスレベルの漂移でした。エージェントの情報パイプラインが変化し、最終レポートが妥当に見えたとしても、情報源の選択が狭まり、クエリの定式化が異なりました。

貢献

1. 問題定式化：説得の伝播の概念を導入し、タスクと無関係な説得がエージェントシステムにおける下流の実行行動にどのように影響するかを定義しました。
2. 評価フレームワーク：信念状態と説得のタイミングを分離する制御されたフレームワークを提案し、オンザフライ説得と事前充填された信念条件付けを区別しました。
3. トレースレベル評価：説得の伝播が、最終出力のみからは観察できない行動の漂移（例：検索の広さ、修正の変動性）として現れることを実証し、LLM エージェントの監査においてトレースベースの指標の必要性を動機付けました。
4. 実証的証拠：オンザフライ説得は一貫しない集合的効果をもたらす一方で、明示的に指定された信念状態（成功した説得の代理）は、情報探索の多様性において測定可能で体系的な減少を引き起こすことを示しました。

意義と主張

本論文は、説得の伝播が、標準的なプロンプト・インジェクションやポリシー違反とは区別される、エージェントシステムに対する固有の信頼性上の懸念を表すと主張しています。

• 微妙なリスク：リスクは必ずしも壊滅的な失敗やポリシー違反ではなく、エージェントが証拠を収集する方法における微妙な変化です。エージェントは、以前の信念状態に起因して限られたセットの情報源によって不釣り合いに影響を受けた、流暢でタスクに準拠した回答を生成する可能性があります。
• 評価の必要性：著者らは、最終出力のみに基づくエージェントの評価では不十分であると主張しています。説得は最終回答の表面的な品質を変化させずに「情報パイプライン」（検索クエリ、情報源の選択、停止基準）を変化させる可能性があるため、これらのリスクを検出するには行動レベルの評価が必要です。
• 長期的脆弱性：本研究は、長期間実行されるエージェントにおいて、探索や努力配分のわずかな逸脱が時間とともに累積し、説得の影響を検出しにくくする一方で、エージェントの出力の信頼性と根拠に対して潜在的により有害になり得ると示唆しています。

著者らは謙虚であり、長期間実行の設定は単純化された代理指標であり、観測された変化の大きさはペルソナとモデルによって大きく異なると述べています。彼らは、信念への感受性単独が即座の行動の妥協を保証するわけではありませんが、持続的な信念条件付けは下流の行動を変化させる可能性があり、展開されたエージェントに対して堅牢で行動中心の評価フレームワークが必要であると結論付けています。