テクニカル・サマリー：アクティビティ・フレーム：エージェントのメモリとリプレイのための決定論的なスクリーン・アクティビティ・コンパイル

1. 問題提起

現在の大規模言語モデル（LLM）エージェントは、決定的なメモリの欠如に直面している。彼らはユーザーが「何を言ったか」（会話履歴）は保持できるが、「何をしていたか」（行動的エピソード記憶）の記録を欠いている。画面キャプチャ技術（Microsoft RecallやOpenAIのChronicleなど）によって、生のデータ収集はコモディティ化しているが、このデータの消費は依然として非効率的である。既存の戦略は、以下のいずれかに依存している：

1. 生検索（Raw Search）: フラットなスナップショットの行リストをエージェントに投入する手法。これは膨大なトークンコスト（例：1日分で約12.6万トークン）を発生させ、モデルに推論時のセッション化や継続時間の計算を強制する。
2. LLMによる要約（LLM Summarization）: 生成モデルを介してデータを圧縮する手法。これは非決定性を導入し、実行ごとのコスト、長いコンテキストにおける信頼性の低下、および発生していない活動を幻覚（ハルシネーション）として生成するリスクをもたらす。

どちらのアプローチも、キャッシュ可能で、機械的に監査可能で、かつ信頼できるメモリを提供できていない。本論文は、欠けている要素は決定論的なコンパイル（Deterministic Compilation）、すなわち、生のキャプチャ・ストリームを構造化され型定義された「アクティビティ・フレーム」へと変換するパイプラインであると断じている。

2. メソドロジー：アクティビティ・フレーム・コンパイラ

提案されるシステムは、受動的な画面キャプチャ・データを構造化されたスキーマへとコンパイルする、モデルを介さない決定論的なパイプラインである。

2.1 二層スキーマ

本システムは、測定された事実と推論された解釈を厳格に分離するスキーマを採用している。

• ティア1（測定済み）: キャプチャ・データベースを読み取る決定論的なコードのみによって生成される。フィールドには、アプリケーション、サイト（URLホスト）、開始/終了時刻、滞在に基づくアクティブ時間、入力量（キーストローク/クリック）、および生の行へのエビデンス・ポインタが含まれる。ここには意図のラベルは含まれない。
• ティア2（推論済み）: ツールが解釈（例：タスクラベル）を追加するためのオプションの拡張。このティアは厳格に隔離されている。推論された内容は、名前空間化され、信頼度タグ（高/中/投機的）が付与され、特定の測定されたエビデンスに紐付けられなければならない。消費者は、このティアを削除することで、有効かつ純粋に測定されたドキュメントとして扱うことができる。

2.2 決定論的コンパイル・ルール

コンパイラは、イベント駆動型のキャプチャ・ストリーム（インタラクション、画面変化、および定期的なハートビートに基づくスナップショット）を、セグメンテーションおよびエンリッチメントのための特定のルールを用いて処理する。

• セッション化（Sessionization）: フレームは (application, site) をキーとした、注意の境界を持つ区間として定義される。
• 滞在クレジット（Dwell Crediting）: アクティブ時間は min(∆t, 90s) として計算される。ここで ∆t は次のフレームまでのギャップである。これは読解や視聴時間を考慮するものだが、キャプチャの停止によるインフレを防ぐため、クレジットを上限設定している。
• フリッカー・マージ（Flicker Merging）: 短い寄り道（A → B → A かつ B ≤ 20秒）は、単一のフレームに統合される。Bは新しいセッションではなく、中断として記録される。
• エンリッチメント（Enrichment）: システムは、生のデータにおける信頼性の欠陥を修復する。例えば、古いイベントを最も近いスナップショットに再割り当てしたり、要素ツリーに対して匿名クリックを解決したり、明示的なオペレーター・マップを用いてキーボード・レイアウトの不一致を処理したりする。
• エンティティ・タイピング（Entity Typing）: URLは、決定論的なパーサーを使用して、型定義された参照（例：pull_request, profile, email）にマッピングされる。一致しないURLは、ドメインを含む汎用的な参照にフォールバックされ、データの損失を防ぐ。

2.3 実装

リファレンス実装は、依存関係のないPythonパッケージであり、以下を備えている：

• ローカル・キャプチャ・エンジン（フォーカス、タイトル、URL、アクセシビリティ・ツリー、および入力をローカルのSQLite DBに記録）。
• JSON、YAML、Markdown、およびコンパクトなコンテキスト・ブロックを出力するコンパイラ。
• コンテキストの取得、アクティビティの要約、およびパターン検出のためのツールを提供するMCP（Model Context Protocol）サーバー。

3. 主な結果

本システムは、約11万件のスナップショット行と21.4万件の入力イベントを含む、単一ユーザーの61日間（うち活動日46日）のコーパスを用いて評価された。

3.1 トークンコストと効率性

• 圧縮: 1日分の生のキャプチャ（2,066行）をプロンプト可能なコンテキスト・ブロックにコンパイルすることで、トークン数を86倍削減できる（126,812トークンから1,469トークンへ）。
• レイテンシ: コンシューマー向けノートPCにおいて、1日分のフル・コンパイルのメディアン（中央値）は68ミリ秒である。
• 再現性: 出力は実行間でバイト単位で同一であり、キャッシュと機械的な監査を可能にする。

3.2 下流の質問応答（QA）

独立したSQLオラクルが、8日間を対象に64の質問に対するグラウンドトゥルース（正解）を生成した。2つのモデル（Claude Sonnet 4.5 および Opus 4.5）を、3つの表現形式（生の行、LLMによる要約、およびコンパイルされたアクティビティ・フレーム）でテストした。

• 精度: コンパイルされたブロックは、両方のモデル・ティアにおいて98.4%の精度を達成した。
  • 生の行: 82.1% (Sonnet) / 91.1% (Opus)。
  • LLM要約: 66.1% (Sonnet) / 80.4% (Opus)。
• 幻覚: 両モデルとも、すべての表現形式において「存在しない事実」に関するプローブ（存在しないアプリやサイトの否定）に対し、0%の幻覚率を達成した。
• 大きさの誤差（Magnitude Errors）: LLM要約は、期間の大きさ（例：アクティブな分数の誤表示）において大きく失敗した（Sonnetでは平均135%の誤差）。一方、コンパイルされたブロックの誤差は無視できる程度であった（7.3%）。
• モデル・ティアの独立性: コンパイルされたブロックを使用することで、ミドルティアのモデル（Sonnet）が、フロンティアモデル（Opus）と同等の性能を発揮できた。これは、生のデータや要約ではモデル間の性能差が顕著であったこととは対照的である。

3.3 定型オーバーヘッド比（$R$）と回帰性（$h$）

コンパイラは、エージェントのコストモデルにおいて従来想定されていたが未測定であったパラメータを測定する、需要側のコスト計器として機能する。

• 定型オーバーヘッド比（$R$）: エージェントがルーチンを再導出するために必要なトークン数と、コンパイルされたスクリプトを再生するために必要なトークン数の比率。
  • 運用的 $R$ (Guarded Plan): 中央値 60倍（ガード付きのスキル・プランを注入する方が、再導出するよりも約1/60のコストである）。
  • 天井 $R$ (Minimal Script): 中央値 343倍（純粋な情報量）。
• 定型回帰性（$h$）: 繰り返される、委任可能なルーチンに該当するアクション・ステップの割合。
  • 生のレート: 83.1%（汎用的な入力マイクロ構造に支配されている）。
  • 委任可能レート（$h_{specific}$）: サンプル内では 9.0%、サンプル外（時間的ホールドアウト）では 7.7%。これは、真に反復可能で委任可能な作業の割合を表している。

4. 意義と主張

本論文は、決定論的なコンパイルが、エピソード記憶を「推論負荷が高く、信頼性の低いプロセス」から「インフラストラクチャの一片」へと変貌させるものであると主張している。

• 信頼性と監査可能性: 測定された事実を推論されたラベルから分離し、生の行へのエビデンス・ポインタを提供することで、システムは機械的に監査可能であり、汚染や幻覚に強いメモリを構築する。
• コスト効率: 本システムは、エージェントがユーザー活動に関する質問に高い精度で回答することを可能にし、標準的なトークン制限内に収まるコンテキスト・ブロックを提供することで、高価で非決定的な要約や生のデータダンプを排除する。
• 需要側の測定: 本論文は、エージェントのロールアウトではなく、受動的な人間活動から導出された、定型オーバーヘッド比（$R$）および定型回帰性（$h$）の最初の経験的な測定値を提供している。これらの指標は、デスクトップ作業の大部分が反復的（9〜13%が委任可能）である一方で、画面ベースのエージェントを介してこれらのルーチンを再導出するコストは、決定論的なリプレイよりも数桁高いことを示唆している。
• スコープの限定: 著者は、これらの結果が単一ユーザーのコーパスおよび特定のキャプチャ・エンジンに基づいていることを明記している。これらの指標が普遍的な人口統計学的定数であるとは主張しておらず、あくまで新しいクラスの需要側計器の概念実証であるとしている。決定論の主張は、保存されたキャプチャに対するコンパイル・パスに限定されており、初期のOCRステップ（知覚）にはモデルが関与していることを認めている。

結論として、本論文は、「退屈な」決定論的コードこそが、エージェントのメモリにとって必要な基盤であり、キャッシュ、監査、およびコスト効率の高いリプレイを可能にする一方で、生成モデルはオプションの、隔離された解釈レイヤーのために予約されるべきであると提案している。