💬 NLP

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClawは、ハイブリッド・エンコーディングを活用することでAPIコストとレイテンシを劇的に削減し、失敗から継続的に学習して精度を向上させる、自己進化型のリアルタイム・マルチモーダル・エージェントであり、標準的なビデオQAベンチマークおよびVisualClawArenaと呼ばれる新しいエージェンティック・ワークスペース・ベンチマークを通じて検証されています。

原著者： Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、動画を視聴し、文書を読み、コンピュータツールを駆使して問題を解決できる、超スマートなアシスタント（AI）がいます。この論文では、このアシスタントの新しいバージョンであるVisualClawを紹介しています。

著者たちが解決しようとしている主な問題は、現在のAIアシスタントが**「血気盛んな観光客」*のようになっていることです。彼らはビデオの一秒一秒すべてを見ようとし、マニュアルのすべての単語*を読み、あらゆる些細な詳細について「脳」（AIモデル）に助けを求めようとします。これは信じられないほど高価で、時間がかかり、情報が多すぎるためにAIを混乱させてしまいます。

VisualClлотは、何に注意を払うべきか、そしてどのように時間をかけて賢くなるべきかを正確に知っている、**「スマートで経験豊富なガイド」**のように振る舞うことで、この問題を解決します。その仕組みを、3つのシンプルなパートに分けて説明します。

1. 「スマートフィルター」（コストと時間の節約）

あなたが森の中を歩いている30分間の動画を見ていると想像してください。

従来の方法: AIはすべてのフレーム（一瞬一瞬の画像）を分析しようとします。それは、カメラが動いていない時でさえ、人間に対して「木の一枚一枚の葉をすべて説明してください」と頼むようなものです。これには莫大な計算能力のコストがかかります。
VisualClawの方法: VisualClawは、ビデオがクラウドに届く前に、あなたのデバイス（メガネやスマートフォンなど）上で動作する「スマートフィルター」を備えています。これは、美術館の**「警備員」**のように機能します。
- カメラがわずかに揺れているだけだったり、シーンが退屈（静止状態）だったりする場合、警備員は「これはスキップしてください、新しい情報はありません」と言います。
- カメラが角を曲がったり、重要なことが起きたりすると、警備員は「止まれ！これは重要な瞬間だ。このフレームをボス（本体）に送れ」と言います。
- 結果: 30分間のビデオに対して1,800フレームを送る代わりに、わずか5枚か6枚だけを送ることができます。これにより、コストを**98%**削減し、AIグラスのようなリアルタイムデバイスで動作できるほど高速化を実現しました。

2. 「生きたハンドブック」（作り直すことなく賢くなる）

ほとんどのAIモデルは**「凍りついた彫像」**のようなものです。一度構築されると、完全に作り直すことなく、自らの間違いから学ぶことはできません（これは困難で高価な作業です）。

従来の方法: AIがタスクに失敗した場合、それは単に失敗に終わります。次回も同じことを試み、再び失敗します。
VisualClowの方法: VisualClawは**「生きたハンドブック」**（スキルバンク）を保持しています。
- AIが間違いを犯したとき、別の「コーチ」（オフラインのエボルバー）が何が悪かったのかを検証します。
- コーチは、新しいルールやヒントをハンドブックに書き込みます（例：「ロープを握っているときは、常に安定性をまず確認すること」）。
- 次回、AIはこのハンドブックを確認してから回答します。脳を作り変える必要はなく、ただより優れた指示書を読むだけなのです。
- 「ホット／コールド」のテクニック: ハンドブックが重くなりすぎないように、VisualClawは現在最も関連性の高い上位5つのヒント（ホット）のみをAIに提示し、残りは念のため棚に置いておく（コールド）ようにしています。これにより、AIのスピードと集中力を維持します。

3. 「練習アリーナ」（現実世界でのテスト）

著者たちは、これらのAIに対する標準的なテストが、単に答えを選ぶだけの**「選択式クイズ」**のようなものであることに気づきました。しかし、現実世界では、AIは実際にファイルを開いたり、ドキュメントを編集したり、自分の仕事が正しいかどうかを確認したりする必要があります。

これを解決するために、彼らはVisualClawArenaと呼ばれる新しいテストを構築しました。
これは、AIが以下のことを行う必要がある**「ビデオゲームのレベル」**のようなものです：
1. ビデオクリップを視聴する。
2. チャットログやドキュメントを読む。
3. コンピュータ上のファイルを開く。
4. 間違いを修正するか、レポートを作成する。
5. 仕事を正しくやり遂げたことを証明するために「チェック」に合格する。
これにより、AIが単に正解を推測するだけでなく、ビデオの証拠を実際に使って問題を解決できるかどうかをテストします。

結果：何が起きたのか？

彼らがVisualClawをテストした際の結果は以下の通りです：

より賢くなった: ほとんどのテストにおいて、AIは「生きたハンドブック」を使用して過去の失敗から学んだため、精度が向上しました。
より安くなった: 「スマートフィルター」が不要なビデオフレームの送信を阻止したため、長いビデオを実行するためのコストがほぼ**99%**低下しました。
現実世界で機能する: 新しい「アリーナ」テストにおいて、学習し進化できるAI（VisualClaw）は、標準的なAIを大幅に上回る成績を収め、この手法が複雑で多段階のタスクに役立つことを証明しました。

要約すると: VisualClawは、すべてを見つめすぎて無駄使いすることなく（コストを節約）、間違いから学んだ教訓をノートに記録し（賢くなる）、現実的なシミュレーションの中で練習することで、現実の仕事をこなせることを証明するAIアシスタントです。

技術要約：VisualClaw – 物理世界のためのリアルタイム・パーソナライズド・エージェント

1. 問題提起

Vision-Language Models (VLMs) を、複雑なマルチモーダル・タスクのための汎用エージェントとしてデプロイする際、ストリーミングやエッジベースの環境（例：AIグラス、クラウドアシスタント）における実世界のアプリケーションを阻害する3つの決定的なギャップが存在します。

効率性とコスト： 高密度なビデオフレームと長いプロンプトの処理は、高いレイテンシとAPIコストを招きます。標準的なアプローチは、ビデオクリップへの完全なオフラインアクセスを前提としていることが多いですが、これはライブストリームにおいては実行不可能です。
静的なスキャフォールディング（足場）： 現在のエージェント・アーキテクチャは、デプロイ後に静的なままです。これらは、モデルの重みを再学習させることなく、自らの失敗から学習したり、推論能力を時間の経過とともに適応させたりするメカニズムを欠いています。
評価の限界： 標準的なビデオ質問応答（QA）ベンチマークは、ワンショットの多肢選択式回答に焦点を当てています。これらは、エージェントが動的なツール使用ワークスペース（例：ファイルの編集、記録の照合、チェックの実行）内で、視覚的証拠を効果的に使用できるかどうかを評価できていません。

2. メソドロジー：VisualClaw フレームワーク

VisualClawは、エッジ展開のためのハイブリッド・エンコーディングと、適応的推論のための自己進化型スキル／メモリという2つの核となる原則を通じて、これらのギャップに対処するように設計された自己進化型マルチモーダル・エージェントです。本システムは、基礎となるVLMの重み（ $\theta$ ）を更新することなく、3つの異なるタイムスケールで動作します。

2.1 フレームごと：カスケード型エンコーディング・ゲート ( $G$ )

ライブストリームにおける視覚的コストを削減するため、VisualClawは、クラウドVLM APIに到達する前にエッジデバイス上でフレームをフィルタリングする、軽量なCPU専用のカスケードを採用しています。ゲート $G$ は各入力フレーム $f_t$ を処理し、MAJOR、MINOR、または SKIP という判定を出力します。

メカニズム： カスケードは以下の3つのステージで構成されます。
1. 知覚ハッシュ (dHash)： ビット単位で同一、またはほぼ同一の重複（例：カメラの揺れ、静止状態）を検出し、破棄します。
2. 軽量CPUエンコーダー： HSVヒストグラム、輝度、エッジ密度、およびテクスチャを使用して、128次元のシーンベクトルを生成します（ディープネットワークやGPUを必要としません）。
3. 適応型変化ゲート： エンコードされたフレームをローリング参照と比較し、重大なシーンの変化（MAJOR）と軽微な変動（MINOR）を区別します。
結果： MAJOR フレーム（キーフレーム）のみがクラウドに転送されます。MINOR フレームは参照を更新しますが、アップロードはされません。SKIP フレームは破棄されます。これは、将来のフレームをバッファリングすることなく、リアルタイム（ $\sim10 \mu s$ ）で動作します。

2.2 クエリごと：ハイブリッド・ホット/コールド・スキル注入 ( $S$ )

プロンプトのコンテキストを飽和させることなく、スキルバンク $S$ の増大するコストを管理するために、VisualClawは階層的な注入戦略を使用します。

ホット・ティア (Hot Tier)： 特定のクエリ $q$ に対して、センテンス・トランスフォーマーがスキルバンクをランク付けします。最も関連性の高い上位 $k$ 個のスキルは、フルテキスト（「ホットボディ」）としてシステムプロンプト内にインライン化されます。
コールド・ティア (Cold Tier)： 残りのスキルは、コンパクトな「コールドカタログ」（名称と説明）としてのみ公開されます。モデルは必要に応じて特定のスキルのフルテキストを要求できますが、それらは事前にロードされていません。
利点： これにより、プロンプトのコストをスキルバンクの総数 $|S|$ ではなく、 $k$ によって制限し、スキルバンクのサイズとプロンプトコストを切り離します。

2.3 セッションごと：メモリ増強型メタ進化 ( $M_v$ および $E$ )

VisualClawは、失敗から学習することで、時間の経過とともに改善されます。

メモリ・ストア ( $M_v$ )： 正解した例は、高密度埋め込みとして保存されます。
エボルバー (Evoler, $E$ )： 失敗の閾値 ( $N_{evo}$ ) に達すると、オフラインのLLMエボルバーが、失敗の軌跡 ( $D_{fail}$ ) を取得された高信頼度のメモリ ( $R$ ) と共に分析します。
更新メカニズム： エボルバーは、バンクを更新するための新しいスキル ( $\Delta S$ $Δ S$ ) を提案します。以下の2つのバリアントがテストされています：
- 連結 (Concatenation, Cat.)： 取得されたメモリを進化プロンプトに直接追加します。
- ガイド付き (Guided, Guide)： エボルバーに対し、シナリオ固有の詳細を避けつつ、メモリから再利用可能なスキルを抽象化するよう指示するプレフィックスを追加します。
ハイジーン（衛生管理）： スキルの肥大化を防ぐフィルターを適用します：(F1) トークンJaccard重複排除により、重複するスキル名を拒否します。(F2) スキルごとのユーティリティ・トラッカーにより、バンクの平均精度を下回るスキルを削除します。

3. VisualClawArena：新しいベンチマーク

第3のギャップ（評価）に対処するため、著者らは200のシナリオからなるマルチモーダル・エージェント・ベンチマークである VisualClawArena を導入しています。

構築： 既存のビデオデータセット（Indoor/VSI, EgoSchema, QVHighlights）を、ドキュメント、チャットトレース、および実行可能なチェッカーで拡張して構築されています。
パイプライン： 5段階のキュレーションプロセスにより、シナリオがビデオの証拠を必要とし、有効な実行可能チェックを持ち、かつテキストのみによるリーク（ビデオなしでタスクが解決できてしまう状態）を防いでいることを保証します。
タスク構造： シナリオには、エージェントがファイルを編集したり、ビデオの証拠とテキスト記録を照合したり、実行可能なチェックに合格したりする必要がある、マルチステップのインタラクションが含まれます。このベンチマークには、1シナリオあたり平均24.4ステップの、200のシナリオが含まれています。

4. 主な結果

4.1 静的ビデオQA性能

4つのベンチマーク（EgoSchema, EgoPlan-Bench, Video-MME long, NextQA）において、Gemini 3 Flash および GPT-5.2 を用いて評価されました。

精度： VisualClawの「Guide」バリアント（ストリーミング＋ガイド付き進化）は、プレーンなベースラインに対して平均 +3.85% の精度向上を達成し、EgoSchema（Gemini 3 Flash）では最大 +15.80% の向上を記録しました。
比較： VisualClawのストリーミング構成は、オフラインの「Uniform-8」ベースライン（8枚のフレームを均一にサンプリングするもの）と比較して、精度を維持または向上させつつ、コスト面で +25.9% 優れた結果となりました。
オフラインの上限： 同じ進化フレームワークをオフラインのUniform-8ベースラインに適用した場合、精度はさらに +3.50% から +13.00% 向上し、ストリーミング版がこれに近い近似値を示す強力な上限を確立しました。

4.2 VisualClawArena（エージェント的）性能

200のシナリオを用いて、Codex (GPT-5.5) および Claude Code (Sonnet 4.6) で評価されました。

精度： VisualClawの「Cat.」（連結）メモリモードが最高のマクロ精度を達成しました：Codexで 54.27%、Claude Codeで 52.16% です。これは、進化なしのベースラインと比較して、それぞれ +2.9% および +3.2% の向上を表しています。
難易度： 自己進化スタックは、「Hard」シナリオ（難易度 $\le$ 55% のベースライン精度）において最も顕著な利点を示し、ベースラインに対して約 +5.3% から +5.4% の性能向上を実現しました。
観察： 静的なビデオQAでは「Guided」進化が最も優れた性能を示したのに対し、エージェント的なワークフローでは「Cat.」（直接連結）モードの方が優れていました。これは、複雑なツールを使用するエージェントは、抽象化されたスキルよりも生のプロシージャルなトレースからより多くの恩恵を受けることを示唆しています。

4.3 効率性とコスト

APIコストの削減： VisualClawは、全フレームアップロード（1 fps）と比較して、質問あたりのAPIコストを平均 −98.1% 削減しました。
ピーク時の節約： 長時間のVideo-MMEベンチマーク（30分間のクリップ）において、コストは −99.3%（1実行あたり約 $520から約$ 3.63へ）削減されました。
フレーム削減： カスケードにより、長いクリップにおけるAPIへの送信フレーム数は、全ストリームの約1,800フレームから、質問あたり平均 5.41 フレームに減少し、短いクリップでは 1.13 フレームまで減少しました。
エッジ性能： カスケードゲートは完全にCPU上で動作し、無視できるほどのレイテンシ（<10 ms）で動作するため、エッジデバイスでのリアルタイム運用が可能です。

5. 重要性と主張

本論文は、VisualClawが、ストリーミングコスト、静的なスキャフォールディング、および欠落していたエージェント的評価という3つの課題を解決することにより、ライブエッジアプリケーション（例：AIグラス）に自然に適合することを主張しています。

コスト効率： エッジでフレームをフィルタリングし、スキルバンクを圧縮することで、VisualClawはリアルタイムの長時間ビデオ処理を経済的に実行可能なものにします（例：1時間のセッションを約3,600回のAPIコールから5〜20回に削減）。
適応性： 自己進化メカニズムにより、高価なモデルの再学習や重みの更新を必要とせずに、ユーザー固有の失敗に基づいてエージェントをパーソナライズし、改善することができます。
ベンチマーク： VisualClawArenaは、単純な多肢選択式のQAを超えて、動的なワークスペース内で動作しなければならないマルチモーダル・エージェントのための検証済みテストベッドを提供することで、文献における重要なギャップを埋めます。

著者らは、ハイブリッド・エンコーディングとメモリ誘導型の進化の組み合わせが、効率的な知覚と継続的な適応を可能にし、VisualClawをデプロイ可能なマルチモーダル・エージェントのための堅牢なフレームワークにすると結論付けています。