技術要約: PPTArena および PPTPilot

問題提起

本論文は、ビジョン・ランゲージ・モデル（VLM）エージェントの能力における決定的なギャップ、すなわち既存のパワーポイント（PPT）デッキを高い精度で確実に編集できないという問題を指摘している。エージェントはスライドをゼロから生成したり、基本的な画像編集を行ったりすることはできるが、「インプレース編集（edit-in-place）」の制約、つまり現実世界のドキュメントに対して非破壊的な修正を行うことが求められる場面では苦戦する。

現在のベンチマークは、以下の理由により不十分である：

1. ラスタライズされた表現: スライドを画像やPDFとして扱うことは、精密な編集に不可欠な意味的構造（シェイプツリー、Zオーダー、マスターレイアウト、テーマスロット）を破棄してしまう。
2. テキストからスライドへの生成: これらは新しいコンテンツの作成に焦点を当てており、既存のデッキを洗練させることには焦点を当てていない。これは、プロフェッショナルなプレゼンテーションが継続的な改訂を通じて進化するという現実を無視している。
3. 構造的なグラウンドトゥルース（正解）の欠如: 多くのベンチマークは最終的なテキスト文字列やピクセル類似度をチェックするだけであり、意味的なエラー（例：正しいテキストが間違ったスライドに配置されている）や、審美的な失敗（例：整列の崩れ）を検出できない。

核心となる課題は、信頼できるPPT編集には、エージェントがドキュメントのネイティブな構造を理解し、スライド間の依存関係を推論し、視覚的な階層とスタイルの整合性を維持しながら修正を実行できる必要があることである。

メソドロジー

1. PPTArena ベンチマーク

著者らは、実世界のデッキを用いたエージェントによるPPT編集を評価するために設計されたベンチマーク、PPTArenaを導入する。

• データ構成: このベンチマークは、学術、企業、クリエイティブな領域にわたる18,000以上の候補から厳選された100個の実世界のソースデッキで構成されており、これには2,125枚のスライドが含まれる。
• タスク規模: 16の特定の編集タイプ（テキスト更新、チャートのリマッピング、テーマの切り替え、アクセシビリティの修正など）にわたる1,300以上の人間によるキュレーション済み編集を含み、これらは5つの主要グループ（コンテンツ、レイアウト、スタイリング、インタラクティビティ、構造）に分類される。
• 難易度: タスクは「ロングホライゾン（長期的な展望）」として設計されており、多段階の推論、スライド間の依存関係（タスクの32%）、および視覚的・テキスト的な推論（28%）を必要とする。平均的なタスクは、8.3枚のスライドにわたる13.4回の操作を伴う。
• 評価プロトコル（デュアルジャッジ・システム）: 単純なピクセル差分を超えて、著者らは以下のデュアルVLMジャッジ・フレームワークを採用している：
  • 指示遂行（IF）ジャッジ: 元の、予測された、およびグラウンドトゥルースのスライド間の構造化データ（JSON/XML）の差分を分析し、意味的な正確性と指示への論理的な遵守を検証する。
  • 視覚的品質（VQ）ジャッジ: レンダリングされたスクリーンショットを分析し、指示の論理的な充足とは独立して、審美的な洗練度、レイアウトの整列、およびタイポグラフィを評価する。
  • スタイルターゲット: 各タスクには、コンテンツ、タイポグラフィ、および色の役割に関する正当性を明確にするための、サンプルごとの人間による検証済みスタイル・ルーブリックが含まれている。

2. PPTPilot エージェント

このベンチマークの課題に対処するため、著者らは、堅牢で微細な編集のために設計された構造認識型エージェントであるPPTPilotを提示する。

• デュアルパス・アーキテクチャ: PPTPilotは、「スキルルーター」（軽量なLLM）を利用して、2つの実行パスのいずれかを選択する：
  1. プログラマティック編集: 反復的でコンテンツ中心の操作（例：一括翻訳、置換）のために python-pptx APIを使用する。
  2. 直接的なXML編集: APIでは精度が不足する場合（例：特定の図形の配置、マスターレイアウトの変更など、きめ細かな構造制御が必要な場合）に、生のOffice Open XML（OOXML）ファイル（例：slide1.xml, theme.xml）を直接解析しパッチを当てる。
• 反復的な Plan-Edit-Verify ループ: エージェントはリフレクション（内省）メカニズムを採用している。編集を生成した後、結果をレンダリングし、指示およびスタイルターゲットに対して検証を行い、エラーが検出された場合は出力を反復的に洗練させる。
• 構造認識型プランニング: 編集を行う前に、エージェントはスライドマスター、プレースホルダー、およびシェイプツリーを解析し、ドキュメントの因果的構造を理解する。

主な貢献

1. PPTArena ベンチマーク: PPT編集をデッキのセマンティクスに対する構造的かつ因果的なプログラムとして扱う最初のベンチマークである。これは、合成テンプレートや単純なAPI差分に依存する先行研究とは異なり、要素レベルのグラウンドトゥルース、スタイルターゲット、および人間の知覚に厳密に適合したデュアルジャッジ・プロトコルを提供している。
2. PPTPilot エージェント: 高レベルのプログラマティックなツールと決定論的なXMLパッチングを組み合わせた、新しいエージェント・アーキテクチャである。これは、構造認識型のプランニングとハイブリッドな実行が、信頼できる編集には必要であることを示しており、既存のプロプライエタリなエージェントを凌駕している。
3. 実証的分析: 最先端のシステム（ChatGPT AgentやMiniMax Agentを含む）であっても、複合的、レイアウトに敏感な、あるいはスライドをまたぐ編集において苦戦することを明らかにする包括的な研究。

結果

• パフォーマンス: PPTPilotは強力なベースラインを大幅に上回っている。フルベンチマークにおいて、PPTPilotは指示遂行（IF）スコアで2.57、視覚的品質（VQ）スコアで2.69を達成し、複雑でレイアウトに敏感な、あるいはスライドをまたぐ編集において、次に優れたシステム（ChatGPT）を10パーセントポイント以上上回った。
• ベースラインの苦戦: ChatGPT AgentやMiniMax Agentのようなプロプライエタリなエージェントは、スライド間の依存関係やマスターレベルの変更を必要とするタスクにおいて頻繁に失敗する。PPTAgent（生成ベースのパイプライン）は、元の構造を保持する能力がないため、本ベンチマークのルーブリックに基づくすべてのタスクで失敗した。
• 人間との整合性: 25人の専門家によるブラインドテストにより、VLMジャッジが人間の評価と強く相関していることが確認された（IFについてはピアソン $r=0.72$、VQについては $r=0.81$）。これにより、評価プロトコルの妥当性が検証された。
• アブレーション研究: ハイブリッド・ルーティングを削除した場合（XMLのみ、またはAPIのみに強制した場合）、パフォーマンスは劇的に低下した。同様に、反復的な洗練ループを削除するとスコアが低下し、plan-edit-checkのサイクルの必要性が確認された。

重要性と主張

本論文は、PPTArenaとPPTPilotが、静的な視覚的知覚と実行可能なエージェントAIの間の溝を埋めるものであると主張している。著者らは、真のマルチモーダルな理解には、エージェントが単に視覚的なレイアウトを解釈するだけでなく、その基礎となる構造を因果的に操作できることが必要であると論じている。

PPTPilotは新しい最先端の状態（SOTA）を確立しているが、本論文は、信頼できるPowerPoint編集は依然として解決には程遠いと控えめに結論づけている。最高のシステムであっても、長期的な展望を持つドキュメント規模のタスクや、複雑な視覚的・空間的推論には苦戦する。本研究は、現在のエージェント・システムの失敗モードを露呈させる厳格なテストベッドとして機能し、人々が実際に使用しているドキュメントの信頼できる編集に向けた将来の研究の種をまくものである。著者らは、この分野のさらなる進展を促進するために、コードとベンチマークを公開している。