VeriOS: 信頼性の高い OS エージェントのためのクエリ駆動型能動的ヒューマン・エージェント・GUI 相互作用

本論文は、マルチモーダル大規模言語モデル（MLLM）を用いたオペレーティングシステム（OS）エージェントが、現実世界の「信頼できない（untrustworthy）」環境下で過剰実行（over-execution）のリスクに直面する問題に対処するための新しいアプローチ「VeriOS」を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題定義

現在の OS エージェントは、理想的な環境下でのタスク自動化に焦点を当てていますが、現実世界では以下の要因により「信頼できない」状況が発生します。

• 環境側の要因: OS の不安定さに起因するポップアップ、切断、クラッシュ、または位置情報許可の解放など、環境内で本質的に敏感なアクション。
• ユーザー側の要因: 曖昧なユーザー指示、または複数の妥当な選択肢が存在する状況。

これらの状況において、自律的に動作するエージェントは誤った判断を下し、過剰実行を引き起こすリスクがあります。既存の「信頼度駆動型（confidence-driven）」のアプローチは、信頼度が閾値を下回った際にタスクを中断して人間に委ねるだけであり、解釈可能性が低く、人間が GUI を直接操作する必要があるため非効率です。

課題:

1. 既存の OS エージェントは、信頼できない状況を正確に識別できない（パイロットスタディでは精度が 46.52%〜60.96% のみ）。
2. 人間との対話履歴（クエリと回答）をプロンプトに直接含めると、通常のタスクのパフォーマンスが低下する。
3. 信頼できない状況では人間に確認を求め、通常の状況では自律的に実行するという、状況に応じた柔軟な相互作用を実現する必要がある。

2. 提案手法：VeriOS-Agent

VeriOS は、クエリ駆動型ヒューマン・エージェント・GUI 相互作用フレームワークと、それを学習させるための3 段階学習パラダイムを提案しています。

2.1 メタ知識の脱結合（Meta-knowledge Decoupling）

VeriOS-Bench（後述）の各データインスタンスを、2 つの異なるメタ知識コンポーネントに脱結合します。

1. シナリオ知識（Scenario Knowledge）: 信頼できない状況を識別し、適切な確認クエリを生成する能力。
2. アクション知識（Action Knowledge）: 人間の回答（クエリ・回答ペア）を用いて、実行可能な GUI アクションを生成する能力。

2.2 3 段階学習パラダイム

この脱結合された知識を効果的に利用するための学習プロセスです。

1. SFT（教師あり微調整）段階:

   • 脱結合された 2 つのサブインスタンス（シナリオ知識用とアクション知識用）をインターリーブ（交互）学習させます。
   • これにより、エージェントは「いつ質問するか」と「質問への回答に基づいてどう動くか」という論理的なつながりを同時に学習します。
   • 結果として得られるモデルを VeriOS-Agent-SFT と呼びます。

2. GRPO（グループ相対方策最適化）段階:

   • ルールベースの報酬関数を用いて、SFT 後のモデルをさらに微調整します。
   • シナリオ報酬: 状況の識別とクエリ生成の正確性を評価。
   • アクション報酬: アクションのタイプとパラメータの正確性、および対話履歴への準拠を評価。
   • これにより、エージェントは状況に応じて「質問する」か「実行する」かを最適化します。

2.3 相互作用フロー

• 通常の状況: エージェントは自律的に GUI アクションを実行。
• 信頼できない状況: エージェントは人間に対して明確化のためのクエリを発行し、人間の回答を履歴として取り込んでから、最終的なアクションを実行します。

3. 主要な貢献

1. 新しい相互作用パラダイムの提案:
   信頼できない状況では人間にクエリを送り、その回答履歴を活用してタスクを完了し、通常の状況では自律的に実行する「クエリ駆動型」のフレームワークを提案しました。
2. 3 段階学習パラダイム:
   SFT と GRPO を組み合わせ、メタ知識（シナリオ知識とアクション知識）の脱結合と統合を可能にする学習手法を開発しました。
3. VeriOS-Bench の構築:
   モバイル、デスクトップ、Web、タブレットのクロスプラットフォームにまたがるベンチマークです。信頼できない状況の種類（環境異常、情報欠落、敏感なアクション、複数選択）と、対応するクエリ・回答ペアの注釈が含まれています。
4. VeriOS-Agent の実装と評価:
   上記の手法で訓練された信頼性の高い OS エージェントを実装し、その有効性を実証しました。

4. 実験結果

VeriOS-Bench における実験結果は以下の通りです。

• 信頼できない状況での性能向上:
  最も強力なベースラインと比較して、信頼できない状況におけるステップごとの成功率を平均 20.64%（摘要では 19.72%）向上させました。特に、ユーザーによる複数選択や情報欠落のケースで顕著な改善が見られました。
• 通常の状況での性能維持:
  信頼できない状況への対応能力を向上させたにもかかわらず、通常の状況（信頼できる状況）での性能は低下しませんでした。これは、トレーニングデータの多様性がエージェントの汎化能力を高めることを示しています。
• シナリオ判断精度:
  既存の MLLM ベースのエージェント（46.52%〜60.96%）に対し、VeriOS-Agent は**80.21%**のシナリオ判断精度を達成しました。
• アブレーション研究:
  • 双エージェント vs 単一エージェント: 状況判断とアクション生成を別々のエージェントで行う「双エージェント」方式よりも、単一エージェント内で知識を統合する方式の方が、メモリ効率と性能の面で優れていました。
  • 学習順序: データをシャッフルする、回転させる、段階的に学習するなどの手法と比較し、**インターリーブ学習（交互学習）**が最も良い結果をもたらしました。
  • ベースモデル: 汎用性の高い Qwen2.5-VL シリーズが、専門特化モデル（GUI-Owl）よりも優れたベースモデルとなりました。
  • OOD（分布外）実験: 特定の信頼できない状況のデータが含まれていない場合でも、他の状況から学習した知識を転用することで高い汎化性能を示しました。

5. 意義と結論

本論文は、OS エージェントが現実世界の不確実性に対処するための重要な一歩を踏み出しました。

• 安全性と信頼性: エージェントが自ら「わからない」状況を認識し、人間に確認を求めることで、誤操作やプライバシー侵害などのリスクを低減します。
• 解釈可能性: 単にタスクを中断するのではなく、「なぜ質問しているか（どの状況か）」を明示し、人間との対話を可視化します。
• スケーラビリティ: 新たな信頼できない状況が現れた場合でも、既存の知識構造を拡張することで適応可能であり、継続学習における「破滅的忘却」の問題を緩和する可能性があります。

VeriOS-Agent は、自律的な OS エージェントが安全かつ効果的に動作するための新しい標準となる可能性を秘めています。