Learning Next Action Predictors from Human-Computer Interaction

この論文は、ユーザーの長期的なマルチモーダル相互作用データから学習し、文脈を考慮して次の行動を予測する新しいモデル「LongNAP」を提案し、従来の手法を大幅に上回る精度でユーザーのニーズを先回りして予測できることを実証しています。

要約

この論文は、**「AI があなたの次の行動を『先読み』して、あなたを助ける」**という夢のような技術について書かれています。

現在の AI（チャットボットなど）は、あなたが「何をしてほしいか」という指示（プロンプト）を待つだけですが、この研究では**「あなたが指示を出す前に、何が必要か、次に何をするかを予測する」**AI を作ろうとしています。

これをわかりやすく説明するために、いくつかの比喩を使って解説します。

---

1. 核心となるアイデア：「完璧な秘書」から「先読みするパートナー」へ

今の AI は、まるで**「指示待ちの秘書」**のようです。
「この資料をまとめて」と言わないと動きません。でも、本当に賢いパートナーは違います。
あなたが「あ、あの会議の資料が必要だ」と考え始めた瞬間、すでに資料を準備して机に置いているようなものです。

この論文では、その**「先読みするパートナー（LongNAP）」**を作ろうとしています。
AI はあなたの画面（スクリーンショット）やクリック、操作履歴をすべて見て、「あ、この人は今、この資料を見ていて、次に Slack で同僚に連絡しようとしているな」と予測します。

2. 最大の課題：「AI に教えるためのデータ」はどうやって集める？

ここで大きな壁があります。AI に「先読み」を教えるには、「人間が実際に何をしたか」という膨大なデータが必要です。
でも、ユーザーに「今から何をしたか、全部メモしてください」と頼んでも、誰もやってもらえません。

解決策：「自動翻訳機（NAPsack）」
研究者たちは、「NAPsack（ナップサック）」というツールを開発しました。
これは、あなたのスマホや PC の画面をこっそり（許可を得て）記録し、「AI 自身（ビジョン言語モデル）」がその映像を見て、「今、ユーザーは『ダウンロード』ボタンを押したな」と自動的に説明書きをつけるシステムです。

• 比喩： 映画の撮影現場で、監督が俳優の動きをすべてメモする代わりに、「AI という優秀なカメラマンと脚本家」が、撮影された映像をリアルタイムで見て「このシーンでは主人公がコーヒーを飲んだ」と自動で台本に書き起こすようなものです。
• これにより、20 人のユーザーから、合計 1,800 時間（約 75 日間連続）の画面操作データを、人間の手を介さずに 36 万件以上の「行動ラベル」として集めることができました。

3. 技術の仕組み：「記憶庫」と「推理力」の組み合わせ

この AI（LongNAP）は、ただ大量のデータを暗記するだけではありません。2 つのステップで考えます。

1. 「推理して引き出す（Reasoning to Retrieve）」

   • 今、ユーザーが何をしているかを見て、「あ、この人は以前も似たような状況で、同僚にメッセージを送ったな」と過去の記憶（メモ）から関連するエピソードを探し出します。
   • 比喩： 探偵が事件現場を見て、「以前もこの犯人は同じ手口を使っていた」と、過去の事件ファイルから類似事例を引っ張り出すような感じです。

2. 「推理して予測する（Reasoning to Predict）」

   • 見つかった過去の記憶と、今の状況を組み合わせて、「次はこうなるはずだ」と予測します。
   • 比喩： 探偵が「過去の事例＋今の証拠」を照らし合わせて、「犯人は次に銀行に向かうに違いない」と推理し、その場所へ向かうような感じです。

このプロセスを繰り返すことで、AI は**「自分の予測が当たったか、外れたか」**を自分でチェックし、より賢くなっていきます（これを「強化学習」と呼びます）。

4. 結果：どれくらい上手い？

実験の結果、この AI は驚くほど上手でした。

• 個人向け： 特定の 1 人のユーザーに特化して学習させると、従来の AI より約 80% 高い精度で「次に何をするか」を当てられました。
• 一般向け： 知らない新しいユーザーに対しても、他の AI より約 40% 高い精度で予測できました。
• 自信度： AI が「自信がある」と判断した予測については、**約 26%**の確率で、実際にユーザーがやったことと一致していました（人間の直感に近いレベルです）。

5. 注意点と未来

もちろん、まだ課題もあります。

• プライバシー： あなたの画面をすべて見られるので、プライバシーが心配です。論文の著者たちは、データをローカル（自分の端末）で処理したり、重要な情報を隠して AI に送る方法などを提案しています。
• 「先読み」のリスク： もし AI が「あなたが怠けたいと思っている」のを先読みして、仕事を先延ばしにする提案をしてしまったら？という「倫理」の問題もあります。AI はユーザーの「本当の望み（良い方向）」をどう見極めるかが今後の課題です。

まとめ

この論文は、**「AI があなたの画面を見て、あなたの思考や行動パターンを学習し、あなたが指示を出す前に必要なものを準備する」**という未来への第一歩を示しました。

まるで、**「あなたのことを何年も知っていて、あなたの次の行動を先読みできる、最高の相棒」**が誕生しつつあるのです。技術的には可能になりつつあり、今後はプライバシーや倫理をどう守りながら、この「先読み AI」を私生活にどう取り入れるかが問われることになります。

技術概要

論文「Learning Next Action Predictors from Human-Computer Interaction」の技術的サマリー

この論文は、人間とコンピュータの相互作用（HCI）の全文脈（スクリーンショット、クリック、センサーデータなど）から学習し、ユーザーが次に何を行うかを予測する「次の行動予測（Next Action Prediction: NAP）」タスクを提案し、その実現に向けたデータ収集パイプラインとモデルアーキテクチャを提示したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義：次の行動予測（NAP）

現在の AI モデル（特に LLM）は、ユーザーからの明示的なプロンプトという「狭い鍵穴」を通してしかユーザーを理解できていません。しかし、真に先駆的（proactive）な AI システムを実現するには、ユーザーが現在何を見ており、過去どのような行動パターンを持っているかという広範な文脈を推論する必要があります。

• タスクの定義: ユーザーのマルチモーダルな相互作用シーケンス（スクリーンショット、キー入力、クリックなど）を入力とし、そのユーザーが次に取る行動（タスク単位）を予測する。
• 課題:
  • データ: 大規模で自然な行動データを収集・注釈するコストが高い。
  • モデル: 長期にわたる相互作用履歴を効果的に推論し、文脈に応じた予測を行う必要がある。従来のパラメータ微調整（SFT）だけでは、新しい情報を即座に学習・利用する「潜在学習（latent learning）」や、長文脈のノイズ除去が困難である。

2. 手法とアーキテクチャ

この研究は、データ収集とモデル学習の 2 つの側面からアプローチしています。

A. データ収集パイプライン：NAPsack

大規模な行動データ収集と注釈を自動化するための受動的（passive）なパイプラインです。

• 仕組み: ユーザーのデバイスのスクリーンショットと入出力イベント（キー入力、マウス操作など）を記録します。
• 圧縮と注釈: 連続したフレームを「バースト（一連の相互作用）」にグループ化し、視覚言語モデル（VLM）を使用して、低レベルのイベントを自然言語の「行動記述（action caption）」に変換します。
• 評価: 人間の注釈と比較し、VLM による自動注釈の品質を検証。イベント駆動型の圧縮により、ストレージを約 70% 削減しつつ、注釈品質を維持・向上させることに成功しました。
• データセット: 20 人のユーザーから 1 ヶ月間（合計 1,800 時間、190 万枚のスクリーンショット）のデータを収集し、36 万以上の行動ラベルを生成しました。

B. モデル：LongNAP (Long-context Next Action Predictor)

長い相互作用履歴から次の行動を予測するための新しいモデルアーキテクチャです。単なる微調整ではなく、**推論（Reasoning）と検索（Retrieval）**を組み合わせる 2 段階のプロセスを採用しています。

1. 推論による検索（Reasoning to Retrieve）:
   • 現在のユーザーの状態に基づき、モデルが「推論トレース（思考過程）」を生成します。
   • この推論をクエリとして、過去の相互作用履歴から関連する「推論トレース」や「観察記録」をメモリから検索します（BM25 などのレトリバーを使用）。
2. 推論による予測（Reasoning to Predict）:
   • 検索された過去のトレースをコンテキストに組み込み、ユーザーの習慣や好みを考慮して、具体的な次の行動を予測します。
   • 予測結果が正しければ、その推論トレースをメモリに保存し、将来的な学習に活用します。

学習手法:

• 方策勾配法（Policy Gradient）: 生成プロセスが離散的なステップ（推論、検索呼び出し）を含むため、強化学習（GRPO アルゴリズム）を用いてエンドツーエンドで最適化します。
• 報酬設計: 「LLM-as-a-Judge」を用いて、予測された行動と実際のユーザーの次の行動（Ground Truth）との意味的類似度をスコア化し、これを報酬信号として利用します。

3. 主要な貢献

1. NAPsack パイプラインの公開: ユーザーの能動的な努力なしに、VLM を用いて自然な HCI データを大規模に注釈・収集できるオープンソースのパイプラインを提案・公開しました。
2. LongNAP モデルの提案: 長期文脈を扱うために、パラメータ学習とコンテキスト内学習（In-context Learning）を統合し、過去の推論トレースを再利用する新しいアーキテクチャを提案しました。
3. 大規模評価の実施: 20 人のユーザー、1,800 時間のスクリーンタイムを用いた大規模な評価を行い、単一ユーザーへの適応と複数ユーザーからの一般化の両方を検証しました。

4. 結果

• 単一ユーザーへの適応:
  • LongNAP は、単一ユーザーのデータで学習した場合、従来の教師あり微調整（SFT）やプロンプトベースのベースラインを大幅に上回りました。
  • 性能向上率：SFT に対して79%、ゼロショットプロンプトに対して106%、Few-shot プロンプトに対して**88%**の向上（LLM ジャッジスコアベース）。
• 複数ユーザーからの一般化:
  • 複数のユーザーで学習させたモデルは、見知らぬ新しいユーザーに対しても一般化し、ベースライン（特に Few-shot RAG）を**13%**上回りました。
• 予測精度:
  • 予測される行動軌跡のうち、**17.1%**が実際のユーザー行動と高い一致（スコア≥0.5）を示しました。
  • モデルの信頼度（分散が低い）が高い予測に絞ると、この比率は**26%**まで上昇します。
• アブレーション研究:
  • 「推論」機能や「検索」機能を除去すると性能が大幅に低下することから、両者がモデルの成功に不可欠であることが示されました。
  • 時系列順にデータを学習させることが重要であり、データをシャッフルすると性能が低下しました。

5. 意義と将来展望

• 先駆的 AI の実現: ユーザーが明示的に指示を出す前に、その文脈に基づいて必要な支援を提供する「先駆的 AI」の実現に向けた重要な一歩です。
• プライバシーへの配慮: データ収集はユーザーのデバイス上で行うことを想定しており、学習プロセスもローカルまたは安全なインフラで行う設計になっています。ただし、個人データの取り扱いには慎重な対応（匿名化、ローカルモデルの活用など）が必要です。
• 応用可能性:
  • powerNAP: オンライン学習を実現し、ユーザーの変化に適応し続けるモデル。
  • SleepWalk: 予測された行動に基づいて、ユーザーに代わってタスクを実行するアシスタントエージェント。
• 限界と課題: 現在のモデルは画面内の情報に依存しており、ユーザーの意図やオフラインの文脈を完全に捉えるには至っていません。また、VLM による自動注釈の誤りが学習に蓄積するリスクや、LLM ジャッジによる報酬ハッキングの懸念も指摘されています。

結論:
この研究は、ユーザーの行動の全文脈から学習し、次の行動を予測することが、大規模データと適切なモデル設計によって「実現可能なタスク」であることを示しました。LongNAP と NAPsack は、パーソナライズされた AI アシスタントやプロアクティブな支援システムの開発において、重要な基盤技術となります。