🤖 AI

Engagement Process: Rethinking the Temporal Interface of Action and Observation

本論文は、意思決定の遅延や遅延フィードバックといった複雑な時間的ダイナミクスを明示的にモデル化するために、行動と観測を連続的なイベント・ストリームに分離する新しい相互作用形式であるエンゲージメント・プロセス (EP) を導入し、単一エージェントおよびマルチシステム両方のシナリオにおける従来の固定ステップ・インターフェースの限界を克服するものである。

原著者： Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがビデオ通話で生徒を指導しながら、同時に忙しいキッチンで料理を管理しようとしている状況を想像してみてください。コンピュータ（あるいは「エージェント」）の仕組みについての従来の考え方では、このプロセスは厳格で硬直した「交代制」のゲームのようです。

従来の方法：「停止と進行」のゲーム
従来のモデル（POMDP と呼ばれる）では、エージェントは考えるためにすべての作業を停止し、行動を起こし、結果を待ち、その後に再度考える必要があります。

問題点: 現実の生活はそうではありません。あなたがシチューを調理している間（時間を要する行動）、タイマーが鳴る（観察）ことがあります。あなたが長いメールを書いている間（思考）、新しい緊急メッセージがポップアップすることがあります。
欠点: コンピュータが新しいメッセージを「見る」ことができるようになるまで、メールが完全に書き上がるまで待たされなければならない場合、そのメッセージは古くなり、あるいは期限を逃す可能性があります。それは、車が完全に停止しているときだけ道路を見ることができるような車を運転しようとするようなものです。

新しいアイデア：「関与プロセス（EP）」
この論文の著者たちは、エージェントが世界とどのように相互作用するかを記述する新しい方法を提案しており、それを**関与プロセス（Engagement Process: EP）**と呼んでいます。

EP を交互に行うゲームではなく、同じ時間軸上で流れる 2 つの独立したラジオチャンネルとして考えてみてください。

行動チャンネル: これはエージェントが命令を送り出すチャンネルです（例：「調理を開始する」「このツールを呼び出す」「この文を書く」など）。これらの行動には発生するまでに時間がかかります。
観察チャンネル: これは世界から情報が送り返されるチャンネルです（例：「タイマーが鳴った」「ツールが完了した」「新しいメールが届いた」など）。これらのメッセージは、エージェントが最初の行動にまだ忙しくしている間であっても、いつでも 届く可能性があります。

概念を説明するための創造的な比喩

オーケストラの指揮者とソロ奏者:
- 従来の方法: 指揮者（エージェント）が指揮棒を上げ、オーケストラ全体が 1 つの音を出すのを待ち、停止し、聞き、そして次の音のために指揮棒を上げます。もしヴァイオリニストがその音の最中に突然咳き込んだ場合（観察）、指揮者は次の「ターン」になるまでそれを聞きません。
- EP 方式: 指揮者は流れるような音楽を指揮しています。ヴァイオリニストが音楽が流れている最中に咳き込みます。指揮者は即座にそれを聞き、その場でテンポや音量を調整できます。音楽を止めることなくです。「行動」（指揮すること）と「観察」（咳き込みを聞くこと）は、同じ時間軸上で同時に起こります。
忙しいシェフ:
- 従来の方法: シェフが鍋をコンロに置き、その後椅子に座り、壁をじっと見つめ、鍋が沸騰するまで何もしないで待ちます。もし電話が鳴っても、鍋が沸騰するまで応答できません。
- EP 方式: シェフが鍋をコンロに置きます（時間を要する行動）。お湯が温まっている間に、電話が鳴ります（観察）。シェフはそれを聞き、出向き、その後鍋のチェックに戻ります。「調理」と「電話応対」は重なって行われます。

論文が実際に発見したこと

著者たちは、このアイデアが実際に役立つかどうかを確認するために、3 つの異なる方法でテストを行いました。

「思考時間」テスト（玩具実験）:
彼らは、エージェントが回答する前にどのくらい考えるべきかを決めるゲームを作成しました。
- 結果: 従来の「停止と進行」のエージェントは行き詰まりました。彼らの訓練では、思考に時間がかからないため、彼らは長すぎる思考をしてしまいました。彼らは「最も遅く、最も正確な」選択肢を選び続け、時間が尽きてしまいました。
- EP の結果: EP エージェントは、思考には時間がかかることを学びました。期限が厳しい場合は、思考を早めに停止することを学び、速度と精度のバランスを大幅に改善しました。
「忙しいアシスタント」テスト（LLM 実験）:
彼らは、メールが絶えず届いている間に長いレポートを書こうとするデジタルアシスタントをシミュレーションしました。
- 結果: 従来のエージェント（段落の終わりのみでメールを確認するもの）は、多くの緊急メールを見逃したり、対応が遅すぎたりしました。
- EP の結果: EP エージェントは、執筆を一時停止して緊急メールに対応し、その後、ちょうど中断した場所から執筆を再開することができました。彼らは期限を大幅に逃すことが少なく、より迅速に対応しました。
「キッチンにいるロボット」テスト（具象化実験）:
彼らは、異なるタイミングで注意を必要とする複数の料理を調理しながら、生徒を指導しようとするロボットをシミュレーションしました。
- 結果: 従来のエージェントは硬直していました。もし料理がオーブンから取り出す準備ができても、ロボットは現在の指導文を終わらせるまでそれを無視しました。
- EP の結果: EP エージェントは、話している最中に「オーブンのタイマー」信号を認識し、指導を一時停止して料理を取り出し、その後レッスンを再開することを決定できました。これにより、料理は救われ、指導も継続されました。
「時間を節約する学習」テスト:
彼らは、使用できる単語数（トークン数）に厳格な制限を設けて数学の問題を解く AI を訓練しました。
- 結果: 標準的な訓練は AI を数学的に賢くしましたが、簡潔になることを学びませんでした。速くするように指示されても、多くの言葉を使ってしまいました。
- EP の結果: EP 訓練を受けた AI は、時間制限に応じて「話す」方法を学びました。時間が少ない場合は、短く直接的な回答を提供し、時間がある場合はより詳しく説明しました。それは状況に応じて「思考速度」を適応させることを学びました。

結論

この論文は、AI を構築する際に時間を隠れた詳細として扱うのをやめる必要があると主張しています。代わりに、行動と観察が同時に発生しうる、独立したイベントのストリームであるシステムを構築すべきです。

これを行うことで、AI エージェントは人間に近づきます。彼らはマルチタスクを行い、中断に対処し、時間が尽きそうなときにより良い意思決定を行うことができます。「考え、行動し、待ち、考え、行動し、待つ」という硬直したサイクルに陥るのではなく。

技術的概要：エンゲージメント・プロセス（EP）

問題定義

大規模言語モデル（LLM）、具身知能、ツール拡張エージェントの最近の進展により、ますます現実的なデジタルおよび物理環境での運用が可能になりました。しかし、これらの環境における行動と観測の時間的構造の間には、根本的な不一致が存在します。部分的に観測可能なマルコフ決定過程（POMDP）などの従来の相互作用形式は、観測が単一の瞬間的な行動とペアになる固定された決定エポックに依存しています。実際には、エージェントは以下のような課題に直面します：

行動側のタイミング問題： 熟慮の遅延（例：LLM の推論時間）、持続的な行動（例：ナビゲーションコマンド）、結果が遅延するツール呼び出し。
観測側のタイミング問題： メッセージ、アラーム、ツール応答の非同期または疎な到着、および連続的または多レートなセンサーフィードバック。

現在のアプローチは、これらのタイミング現象を実装の詳細として扱ったり、外部のパッチ（例：固定されたポーリング間隔や手作りの割り込みルール）を通じて処理したりすることが多いです。これは、エージェントが明示的な時間コストに対して行動を適応させるために必要な時間的構造を曖昧にし、過剰な熟慮、緊急イベントの見落とし、または進行中のプロセスの効果的な割り込みの失敗につながる、最適でない方策を生み出します。

手法：エンゲージメント・プロセス（EP）

著者らは、POMDP の意思決定理論的構造を継承しつつ、時間的インターフェースを根本的に再考する新しい相互作用形式である**エンゲージメント・プロセス（EP）**を提案します。

核心的な定義

EP は、離散的なティックの列 $T = \{0, 1, 2, \dots\}$ （連続時間へ拡張可能）上で定義され、 $E = (S, A, Y, F, O, U)$ によって指定されます：

状態（ $S$ ）： 環境、進行中のプロセス、およびインターフェースの条件を要約します。これは、持続的な行動の効果や状態依存の観測アクセスを符号化できます。
介入としての行動： 標準的な POMDP では各ティックでデフォルトの制御となる行動とは異なり、EP は行動を時間的介入として扱います。エージェントは、介入の集合 $A_t \subseteq A$ （空集合でもあり得るし、複数の同時的な原子行動を含むこともあり得る）を選択します。
イベントとしての観測： 観測は、決定ステップとは独立して、状態プロセスから情報イベント $Y_t \subseteq Y$ として生成されます。これらは非同期に到着したり、空であったり、複数のイベントを含んだりします。
ダイナミクス： 状態は $s_{t+1} \sim F(\cdot | s_t, A_t)$ として進化します。重要なのは、 $A_t = \emptyset$ の場合でもシステムが進化する点であり、これにより持続的なプロセスのモデリングが可能になります。
効用： 瞬間的効用 $u_t$ は、タスク報酬だけでなく、行動実行、センシング、割り込み、熟慮時間のコストを表すことができます。

主要な相違点

分離： EP は、エージェントの内部意思決定プロセスを、観測と介入の外部タイミングから分離します。エージェントは、介入セットと観測イベントセットの履歴に基づいて情報状態 $w_t$ を維持し、保留中の計算、ツール呼び出し、および期限を追跡することを可能にします。
構成的再利用： このインターフェースは階層的な組織化をサポートします。エージェント内のサブシステム自体を EP 類似のプロセスとしてモデル化でき、モジュール呼び出しは介入となり、返されたメッセージは観測となり、すべてが同じ抽象インターフェースを共有します。
既存モデルとの関係：
- POMDP： 各ティックに正確に一つの行動と一つの観測がある同期された特殊なケースとして復元されます。
- SMDP/オプション： 介入が状態内に「アクティブ」なコンポーネントを作成する制限された EP として表現されますが、EP はこれらのオプションの実行中に、終了時だけでなく、観測がインターフェースに進入することを許容します。

主要な貢献

明示的な時間インターフェース： EP は、熟慮の遅延、遅延フィードバック、持続的な行動、割り込み、多レート観測といったタイミング現象のための統一言語を提供します。これらは従来、別々に扱われるか、状態設計に隠蔽されることがありました。
関心の分離： 外部の行動 - 観測インターフェースをエージェントの内部組織から分離し、異なる頻度で動作するコンポーネント（例：高レベルプランナー対低レベルコントローラー）が共有タイムライン上で調整することを可能にします。
統一された形式： エージェント - 環境相互作用と内部モジュール間相互作用の両方に対して均質なインターフェースを提供し、各境界に対して別々のインターフェースを必要とせずに構成的設計を容易にします。

実験結果

著者らは、EP を 3 つの設定で評価しました：

1. トイ実験

緊急性を考慮した熟慮： 推論精度が時間とともに向上するが期限を消費するタスクにおいて、EP で訓練された方策は、計算深度と緊急性のバランスを取ることを学びます。対照的に、ステップベースで訓練された方策（熟慮を瞬間的として扱う）は、最も遅く最も正確なモードを過剰に使用し、単一タスク設定において EP の 0.0% に対して 79.0% という高いタイムアウト率を引き起こします。
割り込みを伴う階層的パトロール： 非同期アラームを伴うパトロールタスクにおいて、EP はエージェントがアラーム到着時に即座に進行中のナビゲーションまたは処理ルーチンを割り込むことを可能にします。
- モジュールレベル： EP は、モジュール境界でのみ決定するベースラインの 51.5% に対して、アラームの 90.9% を解決します。
- 状態レベル： EP は、緊急性、距離、進行段階、および割り込みコストの間のトレードオフを学習することで、手書きのパッチや境界ベースのベースラインを上回り、著しく高いリターンと低い失効率を達成します。

2. LLM ベースの実験

デジタルアシスタント（非同期メール）： エージェントは、時間敏感なメールを処理しながらメインタスクを完了する必要があります。
- EP は、メインタスクの生成を割り込み可能な行動として扱い、エージェントが到着するたびにメールをトリアージすることを可能にします。
- ベースライン： AgentLoop（同期型）は多くの期限を見逃します；Periodic Poll は改善しますが、固定間隔によって制限されます。
- 結果： EP は最も高い効用とバランスの取れたスコアを達成し、AgentLoop に対してメールのタイムアウト率を約 40% 削減し、初回応答レイテンシをほぼ半分に削減しました。
具身スケジューリング： エージェントは、指導と調理のプロセスを調整します。
- EP は、指導中に即座に調理信号を露出させ、エージェントが割り込むか、先送りするか、継続するかを決定することを可能にします。
- 結果： EP は最も高い効用と重要な料理の成功率を達成し、ポーリングベースおよびエンジン側のリフレックスベースラインを上回り、特に重複する期限を持つ複数料理のシナリオで顕著でした。

3. 時間認識 LLM 訓練

著者らは、明示的なトークン予算と緊急性の指示を持つ数学問題に対して、推論モデル（Qwen3-8B）を訓練しました。
EP 認識訓練： 報酬は、回答が正しいかつトークン予算内にある場合にのみ与えられます。
結果： EP 認識モデルは、予算に応じて生成長を適応することを学びます（例：1k 予算に対して約 420 トークンを生成し、8k 予算に対して約 1400 トークンを生成する）。対照的に、正解のみを重視する RL モデル（RLVR）は精度を向上させますが、予算を尊重できず、許可されたトークン数よりもはるかに多くのトークンを生成することが多いです。

意義と主張

本論文は、エンゲージメント・プロセスが、拡張された POMDP よりも大きな状態空間の表現力を求めないことを主張しています。代わりに、その主な貢献は、共有タイムライン上で行動と観測を分離する明示的な時間インターフェースです。

限定的な範囲： EP は、特定のエージェントアーキテクチャや学習アルゴリズムではなく、相互作用形式として提示されます。メモリ管理、スケジューリング、方策学習は、それに基づいて構築されるシステムに委ねられます。
中核的価値： 時間的構造（熟慮の遅延や非同期フィードバックなど）をインターフェースで明示的にすることで、EP は標準的なステップベースの定式化では隠れがちなものを露出させます。これにより、エージェントは明示的な時間コストに適応し、より柔軟に割り込みを処理し、外部パッチや硬直的なポーリングスケジュールに依存することなく、異質な時間的ダイナミクスを持つサブシステムを構成することが可能になります。
将来の課題： 著者らは、将来の方向性として、EP 認識アーキテクチャ、より豊かな連続時間定式化、および具身、階層的、マルチエージェント設定における大規模評価を挙げています。