Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

技術要約：明示的な状態ダイナミクスを用いた言語モデルエージェントの長期的振る舞いの制御

問題提起
大規模言語モデル（LLM）エージェントは、長期にわたるマルチターン対話において、トーンやペルソナが唐突かつ不整合に変化するという現象を頻繁に示します。「瞬間的な感情的反転（instantaneous affective reversal）」と呼ばれるこの現象は、社会的整合性とユーザーの信頼を損なわせます。先行研究では、メモリメカニズム（例：検索拡張メモリ）やペルソナベースのプロンプティングを通じてこの問題に対処してきましたが、これらの手法は情報の蓄積に焦点を当てており、内部状態の「時間的進化」を制御するものではありません。その結果、エージェントは広範なコンテキストを保持していても、不連続な感情遷移を示すことがあります。特定された核心的な問題は、「慣性（inertia）」の欠如です。人間の感情状態は、モメンタム（勢い）と急激な変化への抵抗によって緩やかに変化しますが、標準的なステートレス（状態を持たない）なLLM推論には、この特性が欠けています。

手法
著者らは、基盤となるLLMのパラメータを変更することなく、推論時のオーバーレイとして機能する、外部の低次元の感情状態に明示的な動的構造を課すフレームワークを提案しています。

• 潜在表現: エージェントの状態は、外部で維持される連続的なバレンス・覚醒・優位性（VAD）ベクトル $\mathbf{a}_t \in \mathbb{R}^3$ によって表されます。分析では主にバレンス（価）成分（$v_t$）に焦点を当てます。
• 信号抽出: 各ターンの対話コンテキストから、固定されたレキシコン（語彙）ベースの感情分析器（VADER）を用いて、瞬間的かつメモリレスな感情信号（$\hat{\mathbf{a}}_t$）を抽出します。
• 動的レジーム: 状態の持続性と慣性の影響を評価するために、以下の4つの条件を比較します。
  1. ステートレス制御（Stateless Control）: 状態を保持しない。$\mathbf{a}_t = \hat{\mathbf{a}}_t$。
  2. 一次系ダイナミクス（First-Order Dynamics）: モメンタムのない状態の持続性（$\mu=0$）。指数平滑化としてモデル化される：$\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$。
  3. 二次系ダイナミクス（中程度の慣性）: 減衰振動系をシミュレートするために、感情的な速度（$\mathbf{u}_t$）とモメンタム（$\mu=0.8$）を導入。
  4. 二次系ダイナミクス（高い慣性）: 過度な持続性をテストするための強いモメンタム（$\mu=0.95$）。
• フィードバックループ: 更新された感情状態は、構造化された自然言語プロンプトを介して生成コンテキストに注入され、LLMのトーンと談話スタイルを調整します。
• 実験プロトコル: 実験では、固定された25ターンの対話プロトコル（敵対フェーズ：ターン6–13、および和解フェーズ：ターン14–25）を使用します。異なるサンプリングシードを用いた各条件につき5回の独立した試行を、7Bパラメータの量子化LLMに対して実施しました。

主な貢献

1. 明示的な状態ダイナミクス: 本論文は、感情状態をメモリの検索のみに頼るのではなく、一次および二次更新規則に従う連続変数としてモデル化することで、エージェントの長期的振る舞いを制御する手法を導入しています。
2. 制御メカニズムとしての慣性: 感情的な慣性（モメンタムによってモデル化される）を調整することで、ステートレスなモデルや純粋に反応的なモデルでは達成不可能な、時間的一貫性、応答の遅延、およびヒステリシスを誘発できることを示しています。
3. 推論時のオーバーレイ: このフレームワークは、モデルの再学習やファインチューニングを必要とせず、学習済みLLMと互換性のあるプラグイン型のサブシステムとして機能します。

結果

• 時間的構造: ステートレスなエージェントは、局所的には反応的ですが、時間的な構造を持たず、一貫した下降・回復パターンを示しませんでした。対照的に、状態を持つエージェント（一次および二次系）は、敵対的な入力に対して遅延した感情反応を示しました。
• 回復ダイナミクス:
  • ステートレスおよび高慣性（$\mu=0.95$）のエージェントは、25ターンのホライゾン内で回復（正のバレンスへの復帰）に失敗しました。
  • 一次系および中程度の慣性（$\mu=0.8$）のエージェントは、和解フェーズの開始時（ターン14）に一貫して回復しました。
  • 回復のタイミングは、内部的なモメンタムではなく、外部的な強制力（対話プロトコル）によって決定されました。慣性は軌道の「深さ」と「曲率」には影響を与えましたが、回復の「タイミング」には影響しませんでした。
• ヒステリシスと経路依存性: 感情的なヒステリシス（下降軌道と回復軌道の間の面積）は、慣性とともに単調に増加しました。ステートレス条件ではゼロであり、高慣性条件では最大のヒステリシス（AUC = 21.19）を生じさせ、二次系ダイナミクスが明確な経路依存性を導入することを裏付けました。
• 安定性と応答性のトレードオフ: 中程度の慣性は、安定性と応答性のバランスを取り、スムーズな遷移と回復を可能にしました。過度な慣性（$\mu=0.95$）は、外部的な和解にもかかわらず、負の感情状態への「ロック（固着）」を引き起こしました。

意義と主張
本論文は、感情的な慣性を組み込むことが、単に有能なだけでなく、時間的に一貫したエージェントを作成するための体系的なメカニズムを提供すると主張しています。ダイナミクスを明示的な物理原則に結びつけることで、エージェントの振る舞いを、不適切な気分変化に対して安定させつつ、正当な文脈の変化に対しては感度を維持するように制御できると述べています。

この研究は、エージェントの安定性が、メモリ容量やアーキテクチャの変更のみに依存するのではなく、外部の低次元の動的サブシステムを通じて達成できることを示唆しています。このアプローチは、プロンプトエンジニアリングのみでは強制が困難な、持続性、ラグ、ヒステリシスといった時間的特性に対する解釈可能な制御を提供します。著者らは、これを既存のメモリベースの手法を補完するアプローチとして位置づけており、特に人間とロボットの相互作用やデジタルメンタルヘルス介入など、持続的な社会的関与や感情的な信頼性が求められる領域において価値が高いとしています。

限界
著者らは、感情抽出が粗いレキシコンベースの推定体に依存していること、および実験が単一の対話プロトコルに限定されていることを認めています。また、評価ホライゾンが有限であり、より長い相互作用においては、高慣性シナリオにおいても最終的な回復が見られるような、異なる動的レジームが現れる可能性があると指摘しています。今後の課題として、適応的な慣性や、バレンスを超えた多次元的な分析の探索が挙げられています。