技術要約: PPT-EVAL

問題提起

プレゼンテーションのスライドを作成・編集することは、プロフェッショナルな活動として遍在しているが、コンピュータ使用エージェントの評価においては未開拓の領域である。既存のベンチマークは、プレゼンテーション・ソフトウェアにおける深みに欠ける（例：OSWORLD、WindowsAgentArena）、あるいはプログラムによるAPIに限定されている（例：PPTC）、またはテキストからスライドへの生成に限定されている（例：SlidesBench）といった課題がある。これらの制限により、エージェントは、デザインツール、高度なグラフィックス、トランジション、アニメーションなど、現代的なプレゼンテーションツールのフル機能セット（通常、GUIを通じてのみ利用可能なもの）にアクセスすることができない。さらに、現在の評価指標は多くの場合、バイナリ（成功か失敗か）の成否基準に依存しており、複雑でオープンエンドなタスクにおける部分的な進捗を捉えきれなかったり、不必要な変更に対してペナルティを与えたりすることができない。

メソドロジー

PPT-EVAL ベンチマーク

著者らは、Internet Archiveから取得した12個のPowerPointファイルからなる120個のタスクから成るベンチマーク、PPT-EVALを導入する。タスクは多様なドメイン（医学、計算機科学、会計学など）を網羅しており、以下の3つの難易度レベルに層別化されている：

• Easy（初級）: 5ステップ以下の単純なタスク。
• Medium（中級）: 5〜10ステップを要する複合的なタスク。
• Hard（上級）: 10ステップ以上、または高度な推論を必要とする複雑なタスク。

このベンチマークは、PowerPoint Onlineを用いたGUIベースのインタラクションのために設計されている。エージェントは、Chromiumブラウザを使用したサンドボックス化されたUbuntu環境内で動作し、python-pptxのようなAPIコールに限定されることなく、マウス、キーボード、スクロールといったエンドユーザーの全機能面にアクセスできる。

評価フレームワーク：木構造ルブリック

マルチモーダルでオープンエンドな、複数の正解が存在し得るタスクを評価するという課題に対処するため、著者らはルブリックベースの評価システムを設計した。主な構成要素は以下の通りである：

1. 木構造ルブリック: 各タスクは階層的な基準へと分解される。ノードは、Critical（重要）（核となる要件）またはNon-critical（非重要）（スタイルの選択、余分な変更に対するペナルティ）に分類される。
2. 部分点スコアリング: バイナリ指標とは異なり、本システムは中間的な進捗に対して部分点を与える。集計戦略には、以下の修正された公式を使用する：
   $$\bar{s}_{parent} = \max\left(0, \bar{s}_{crit} - \lambda(1 - \bar{s}_{non})\right)$$
   ここで $\lambda = 0.3$ である。これにより、重要な失敗がスコアに大きく影響する一方で、非重要なエラーが意味のある進捗をゼロにすることなくペナルティを導入するようにしている。
3. マルチモーダル検証: リーフ（末端）ノードでは以下を用いる：
   • 構造的な変更、アニメーション、トランジションのためのプログラムによるチェック（python-pptx、カスタムPPTDiffクラス）。
   • セマンティックな正確性と視覚的な検証（例：色の照合、レイアウトの整列）のためのLLM/VLM呼び出し（正確なピクセル一致が不十分な場合に使用）。
4. 自然言語フィードバック: システムは、子ノードからの説明を再帰的に集約し、最終スコアに対する人間が理解可能なフィードバックを生成する。

実験設定

著者らは、PPT-EVALにおいて一連のエージェントを評価した：

• クローズド・フロンティア・モデル: OpenAIのCOMPUTER-USE-PREVIEW、AnthropicのCLAUDE-4-SONNET、およびCLAUDE-4.5-OPUS。
• オープンウェイト・モデル: OPENCUA (7B, 32B) および QWEN3-VL (8B, 32B)。
• ベースライン: 人間によるベースライン（5名の参加者）および、pptxスキルを用いたCLAUDE-4.5-OPUSによるAPIベースのベースライン。

主要な結果

エージェントの性能

• 顕著なギャップ: フロンティア・エージェントはPowerPointのタスクに苦戦している。最強のモデルであるCLAUDE-4.5-OPUSは、45%の成功率（完全なスコア）と平均部分スコア0.57を達成した。
• 人間によるベースライン: 人間の参加者は80%の成功率と平均部分スコア0.90を達成しており、エージェントの能力に大幅な改善の余地があることを浮き彫りにしている。
• API vs. GUI: APIベースのベースライン（pptxスキルを介したCLAUDE-4.5-OPUS）は、最高のGUIエージェントを大幅に上回った（成功率62% 対 45%）。これは、現在のGUIエージェントが、より豊かな機能へのアクセス権を持っているにもかかわらず、CLI/APIで訓練されたモデルに比べて成熟度が低いことを示している。
• タスクの難易度: パフォーマンスは難易度とともに急激に低下する。CLAUDE-4.5-OPUSは、Easyタスクでの成功率56%から、Hardタスクでは35%へと低下した。
• 失敗モード: 分析により、エージェントは高度な構造（テーブル、アニメーション、非標準的なレイアウト）に苦戦し、スライド間の一貫性を維持することや、意図しない変更を避けることにしばしば失敗することが明らかになった。

ルブリックの信頼性

ルブリックベースの評価は、人間の判断と強い整合性を示した：

• 相関関係: ルブリックのスコアと人間が期待するカテゴリ間のKendallの$\tau_b$は0.77、Spearmanの$\rho$は0.84であった。
• 粒度: システムは「進捗なし」、「進捗あり」、「大幅な進捗」、「完全な完了」を効果的に区別できたが、主観的な美的判断やVLMのハルシネーション（幻覚）による不一致も一部で見られた。

重要性と主張

本論文は、PPT-EVALが、プレゼンテーション編集のための現実的なGUIレベルのベンチマークを提供することで、コンピュータ使用エージェントの評価における決定的なギャップを埋めるものであると主張している。その主な貢献は以下の通りである：

1. 現実的なテストベッド: APIに縛られたタスクを超え、トランジション、アニメーション、デザインツールを含むPowerPointの全機能セット上でエージェントを評価する。
2. 微細な評価: 部分点と自然言語フィードバックを備えた木構造ルブリックを導入することで、バイナリな成功指標の限界を克服し、エージェントの能力をより詳細に評価することを可能にする。
3. 現実のベンチマーク: 結果は、フロンティア・モデルが意味のある進展を見せているものの、複雑で反復的なGUIワークフローにおいては、依然として人間やAPIベースのエージェントよりも大幅に遅れていることを示している。

著者らは、現実的なGUIベースのコンピュータ使用能力には「大幅な進展の余地」があり、彼らのベンチマークは、単純なパス/フェイル（合格/不合格）指標を超えて、その進展を測定するための堅牢な枠組みを提供すると結論付けている。