技術要約: SERUM – ユーザーモデリングのための状態抽出と洗練

問題提起

プロアクティブでパーソナライズされたAIアシスタントには、ユーザーの意図とワークフローに関する構造化されたモデルが必要です。しかし、生の非構造化エゴセントリック（一人称視点）ビデオからこれらのモデルを構築することは、依然として大きな課題です。既存のアプローチには、主に2つの制限があります：

1. 既定のタクソノミー（分類体系）への依存: 従来の活動認識手法（EPIC-KITCHENSやEgo4Dなど）は、固定された手作りのタクソノミーに依存しており、オープンエンドで非構造化されたビデオを扱うことができません。
2. シングルパス・アノテーションの限界: ビジョン言語モデル（VLM）はビデオフレームにアノテーションを付与できますが、シングルパスの推論はハルシネーション（幻覚）と時間的な混同に悩まされます。周囲のコンテキストがない場合、VLMは意味的に異なる活動を一般的なラベルへと崩壊させたり、行動の背後にある意図を推論できなかったりします。これは、特定のフレームの意味が、事後的に初めて明らかになることが多いためです。

プロセスマイニングは構造化された行動モデルを提供しますが、それは既知のイベントタイプを持つクリーンなイベントログの存在を前提としており、生のビデオには適用できません。

手法: SERUMフレームワーク

SERUM（State Extraction and Refinement for User Modeling）は、手動のアノテーションや既定のオントロジーを使用することなく、非構造化されたエゴセントリックなスクリーンビデオから、解釈可能な構造化行動モデルを直接抽出するために設計されたマルチパス・フレームワークです。

コアアーキテクチャ

本フレームワークは、補完的な2つのレベルで動作します：

• アクション ($a_t$): 中レベルの観察可能な行動（例：「gitリポジトリをプルする」）。
• インテント（意図, $i_t$): アクションのシーケンスから推論される、潜在的な目標指向の状態（例：「開発環境のセットアップ」）。

システムは、Qwen3-VL-8B-Instructモデルを用いた交互マルチパス・パイプラインを利用します：

1. 交互パス: システムは、アクションをアノテーションする奇数パスと、インテントを推論する偶数パスを実行します。
2. コンテキストの接地（グラウンディング）:
   • 時間的コンテキスト: $w=20$ のスライディングウィンドウ内の隣接フレームが、トークン制限を超えずに高密度なローカルコンテキストを提供するために、ランレングス符号化（RLE）としてエンコードされます。
   • インターパス・サマリー: 長尺ビデオに対してmap-reduceを介して生成された、ビデオ全体の自然言語による要約が、グローバルな物語的コンテキストを前方へ伝播させ、圧縮されたエピソード記憶として機能します。
3. 反復的な洗練: 各パスは、前のパスで生成されたラベルを条件として出力を行います。このフィードバックループにより、モデルは蓄積されるコンテキストに応じて初期の判断を修正することができ、システムを自己一貫性のある語彙へと導きます。

ラベルの正規化

自由形式のアノテーションが表面的な類義語（例：「野菜をすすぐ」と「野菜を洗浄する」）を生み出すという「オープンボキャブラリ」問題に対処するため、SERUMはラベル正規化ステップを採用しています：

• 意味的統合: Sentence-BERT埋め込みを用いて、ペアワイズのコサイン類似度を計算します。
• 閾値処理: 人間が較正した閾値（$t^*=0.43$）によって、類義ラベルを統合します。このステップは、語彙サイズを平均して約46%削減し、事後的な修正ではなくコアとなる設計要素として扱われます。

出力: ユーザーモデル

最終的な出力は、2つの**一次マルコフモデル（ユーザーモデル）**で構成されます：

• 正規化されたアクション状態上のモデル。
• 正規化されたインテント状態上のモデル。
  これらは、エッジが遷移確率を表す有向重み付きグラフであり、ユーザー行動の確率的構造を捉え、次状態の予測をサポートします。

主な貢献と結果

著者らは、コーディング、料理、身体活動、日常生活の4つのドメインにわたる61本のエゴセントリックビデオ（合計11,125フレーム）を用いてSERUMを評価しました。

1. スキーマティック平衡（RQ1）

反復的なアノテーションプロセスは、安定した状態語彙へと収束します。

• 収束: 生の語彙サイズはパス8までに安定します。これは著者がスキーマティック平衡と呼ぶ現象です。
• 正規化の影響: ラベル正規化は、語彙をさらに圧縮して約10の状態へと安定させ、遷移行列におけるスパース性を大幅に軽減します。

2. 予測性能（RQ2）

得られたマルコフモデルは、次状態予測（最初の60%のフレームで学習し、残りの40%でテスト）において評価されました。

• ベースラインに対する優位性: 正規化されたマルコフモデルは、頻度ベースのベースライン（Majority, Weighted Random, Uniform）に対し、Top-1精度とパープレキシティの両方において大幅に outperforms（凌駕）しました。
  • アクション予測: 正規化されたMarkovは、Majorityベースラインの37.6%に対し、**48.5%**のTop-1精度を達成しました。
  • インテント予測: 正規化されたMarkovは、Majorityベースラインの29.9%に対し、**58.2%**のTop-1精度を達成しました。
• ドメイン間の差異: 最大の利得はコーディングのような構造化されたタスク（正規化アクション精度76.4%）で見られ、これはそのようなワークフローに固有の反復的な遷移構造を反映しています。

3. 人間による評価（RQ3）

ドメイン知識を持つ人間によるアノテーターが、ラベルの品質を評価しました。

• 正確性: 最終パスのラベルの**88.3%**が正確であると評価されました（Krippendorff's $\alpha = 0.40$）。
• 嗜好性: アノテーターは、最終パスのラベルを第1パスのラベルよりも**82.8%**高い割合で好みました。これは、反復的な洗練が意味のある改善をもたらしていることを示しています。
• インテント vs アクション: インテントのラベルはアクションのラベル（86.7%）よりもわずかに正確（90%）であり、コンテキストを考慮した推論が目標の曖昧さを効果的に解消していることを示唆しています。

4. アブレーション研究（RQ4）

• ラベル正規化: 同義語の統合により、MarkovのTop-1精度が**+18.2パーセントポイント**向上し、パープレキシティが14.9ポイント減少しました。
• インテント・パス: インテント推論を除去した場合（アクティビティのみのパイプライン）、アクティビティのラベルは情報のない支配的な状態（例：コーディングフレームの92〜96%における「typing_on_keyboard」）へと崩壊しました。アノテーターは完全なパイプライン（アクティビティ + インテント）を**73%**の割合で好みました。
• 時間窓: コンテキストウィンドウのサイズを増やす（$w=20$）と、MarkovとMajorityの間の差が改善され、時間的コンテキストがモデルの品質にとって極めて重要であることが確認されました。

意義と主張

本論文は、SERUMが、以下の事項なしに、非構造化されたエゴセントリックなスクリーンビデオから解釈可能なプロセスモデル（アクションおよびインテントの両方）を直接生成する、著者らの知る限り最初のシステムであることを主張しています：

• 手動のアノテーション。
• 既定のタクソノミー。
• 既存のイベントログ。

著者らは、SERUMをプロアクティブなエージェント的支援およびパーソナライゼーションのためのダウンストリームアプリケーションへの初期の検証として位置づけており、「実世界（in the wild）」におけるユーザーモデリングへのスケーラブルな経路を提供しています。彼らは、マルチパス・パイプラインの計算コスト（フロントロードではあるものの）や、線形ビデオにおける分割評価の難しさなどの限界を認めていますが、反復的なコンテキストとコンセンサスを通じてハルシネーションを自己修正できるシステムの能力を強調しています。

本研究は、反復的でコンテキストを考慮したVLMアノテーションが、いかにハルシネーションや時間的な混同を抑制し、人間によって検証された安定した行動タクソノミーへと収束し、ユーザーワークフローの予測的モデリングを可能にするかを実証しています。