InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

以下は、論文「InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction」の詳細な技術的サマリーです。

1. 問題提起

現在のコンピュータ操作における自動化 AI エージェントは、汎用性と精度の間で根本的なトレードオフに直面しています：

• ツールベースのエージェント（例：OpenHands、AutoGPT）：特定のタスクでの精度向上のために、定義済みのツール（コード、検索など）に依存しています。しかし、新しいシナリオごとにツールの手動統合が必要となるため、脆く、範囲が限定されます。ツールセットに含まれていないソフトウェアに遭遇すると、しばしば失敗します。
• 純粋なビジョンエージェント（例：UI-TARS、Aguvis）：ツールなしで GUI を直接制御するために、ビジョン言語モデル（vLLM）を使用しています。非常に汎用性が高い一方で、高解像度の推論に苦しみ、UI 要素の誤った位置特定（間違った座標をクリックする）や、単純なツール呼び出しで十分であるファイル編集やコード操作などの精密なタスクで失敗することが多いです。
• ギャップ：既存の解決策は、多様で非構造化されたタスクを処理する柔軟性に欠けるか、複雑でツールを多用する操作を確実に実行する精度に欠けています。ツールベースの実行の精度と、純粋なビジョン制御の適応性を統合するハイブリッドパラダイムの必要性があります。

2. 手法：InfantAgent-Next アーキテクチャ

InfantAgent-Next は、統一された対話コンテキスト内でツールベースと純粋なビジョンのアプローチを統合する、高度にモジュール化されたマルチモーダルな汎用エージェントを導入します。単一のモノリシックモデルに依存するのではなく、サブタスクをそれぞれの強みに基づいて専門モデルにルーティングします。

コアアーキテクチャ

このシステムは、それぞれが異なるモデルによって駆動される可能性のある 3 つの明確な役割からなる反復ループで動作します：

1. プランナー：ユーザーのリクエストと現在の状態を分析し、高レベルのタスク計画を生成します。
2. ツールセレクター：キュレーションされたライブラリから、最も適切なツールキット（例：ファイル編集、ウェブブラウジング、コンピュータ操作）を動的に選択します。
3. エグゼキューター：選択されたツールを呼び出し、環境からのフィードバックを収集します。

主要な技術的コンポーネント：

• モジュール化されたワークフローとメモリ：エージェントは統一された対話履歴を維持しますが、特別なタグ（<thought>、<task>、<toolkit>、<execute_bash> など）を使用して応答を解析します。これにより、現在のサブタスク（計画対実行）に特化したコンテキストを再構築でき、コンテキストウィンドウの肥大化や無関係なコンテンツの生成を防ぎます。
• 動的ツールセット：システムはツールを 7 つのツールキット（ファイル読み取り、検索、編集、ウェブブラウジング、コンピュータ操作、コード実行、高度なツール）に分類します。推論コストと LLM への認知的負荷を軽減するため、各ステップで関連するツールのサブセットを動的に選択します。
• マルチモーダル統合：エージェントはテキスト、画像、音声、ビデオをサポートします。音声分析を専門の音声モデルへ、視覚的グラウンディングをビジョンモデルへ、論理的推論を高度な LLM へルーティングできます。

革新的な改善

この論文は、SOTA エージェントにおける既知の失敗点を解決するための特定のアルゴリズムを導入しています：

• マウスクリックのための反復領域クロッピング（アルゴリズム 1）：モデルが座標を誤って特定する「視覚的グラウンディング」の問題を解決するため：
  1. エージェントはフルスクリーンのスクリーンショットを取得します。
  2. 視覚的グラウンディングモデルが候補座標を予測します。
  3. システムはその座標周辺の小さな領域を切り出します。
  4. このプロセスを $n$ 回繰り返します（検索領域を反復的に狭めます）。
  5. 最終的に洗練された座標がクリックに使用されます。これにより、無関係なピクセルからの干渉が大幅に減少します。
• 堅牢なファイル編集（アルゴリズム 2）：行番号ベースのファイル編集におけるエラーを処理するため：
  1. エージェントは開始/終了行と期待されるコンテンツを含む計画を生成します。
  2. 実際のファイルコンテンツが期待される境界と一致するか検証します。
  3. ミスマッチが発生した場合（例：オフ・バイ・ワンエラー）、フォールバック戦略に切り替えます：期待されるコンテンツ文字列をファジー化し、ファイル内で最良の一致するスパンを検索し、変更を適用する前に編集リクエストを動的に更新します。

3. 主要な貢献

1. InfantAgent-Next フレームワーク：ツールベースと純粋なビジョンのパラダイムを橋渡しし、テキスト、画像、音声、ビデオ入力をサポートするオープンソースのマルチモーダル汎用エージェント。
2. 詳細なモジュール化：計画、ツール選択、実行を分離する革新的なアーキテクチャ。これにより、異なるモデル（推論、視覚的グラウンディング、音声分析）が統一されたコンテキスト内でシームレスに連携できます。
3. 強化された実行メカニズム：高精度な GUI 操作のための反復領域クロッピングの導入と、信頼性の高いファイル編集のためのファジーマッチフォールバックの導入。これらは現在のエージェントの 2 つの主要な失敗モードに対処します。
4. オープンソースツールキット：将来の研究を支援するための、最適化されたエージェントツール群と隔離された実行環境（VM ベース）のリリース。

4. 実験結果

このエージェントは、ビジョン、論理、一般タスクを網羅する 3 つの主要なベンチマークで評価されました：

• OSWorld（視覚的推論）：
  • 指標：369 のオープンエンドなデスクトップタスクの精度。
  • 結果：InfantAgent-Next は（50 ステップで）35.3% の精度を達成し、Claude-Computer-Use（26.0%）を 7.27% 上回り、Agent-S2 などの他のオープンソースフレームワークをも凌駕しました。自然言語指示を GUI 要素にグラウンディングする能力が優れていることを示しました。
• SWE-Bench（論理的推論とコード）：
  • 指標：現実世界の GitHub 課題の解決。
  • 結果：SWE-Bench-Verified（50 ケース）のサブセットでは、66% の精度を達成し、Amazon Q Developer Agent（54%）などのいくつかのクローズドソースエージェントを上回りました。SWE-Bench-Liteでは**31.67%**を達成し、トップクラスのオープンソースエージェントにランクインしました。
• GAIA（一般タスクパフォーマンス）：
  • 指標：3 つの難易度レベルにわたるオープンエンドな質問。
  • 結果：InfantAgent-Next はオープンソースエージェントの中で2 位（平均 56.97%）にランクインし、OWL の次に位置しました。レベル 2（中級）の難易度の質問において、最先端のパフォーマンスを達成しました。
• アブレーション研究：
  • 反復領域クロッピングメカニズムは、3 回目の反復で精度が収束することが示されました。2 回の反復が性能とコストの間の最適なトレードオフを提供しました。
  • ファイル編集ロジックは、SWE-Bench タスクで90.4% の総成功率を達成し、失敗した試みの 84.3% を正常に修復しました（例：オフ・バイ・ワン行エラーの修正）。

5. 意義

InfantAgent-Next は、汎用コンピュータエージェントにおける重要な前進を表しています。「単一のモデルがすべてを行う」または「硬直したツールチェーン」というアプローチから脱却し、モジュール化されたマルチモデルアーキテクチャが、専門的なグラウンディングと編集ロジックによる実行の高精度さと、動的なツール選択およびマルチモーダル理解による広範な適応性の両方を達成できることを実証しています。

この研究は以下のことを証明しています：

1. ハイブリッド化が鍵である：LLM の推論能力と、専門的なビジョンおよびツールモジュールの精度を組み合わせることは、モノリシックモデルを上回ります。
2. 反復的洗練が機能する：反復的クロッピングのような単純なアルゴリズム的改善は、視覚的エージェントを悩ませる「幻覚化した座標」の問題を劇的に解決できます。
3. スケーラビリティ：このフレームワークは、コード、ウェブブラウジング、ファイル操作を含む複雑な多段階ワークフローを処理するのに十分な堅牢性があり、現実世界の自動化タスクの実現可能な候補となります。

コード、モデル、評価スクリプトのオープンソース化は、コミュニティがマルチモーダルエージェントシステムをさらに発展させるための強力な基盤を提供します。