技術概要：UniPPTBench と UniPPTEval

1. 問題提起

マルチモーダル生成モデルの最近の進歩により、自動プレゼンテーション生成はますます実現可能となっています。しかし、この分野では現在、実世界のシナリオに見られる多様な入力設定にわたってこれらのシステムを評価するための統一フレームワークが欠如しています。既存の研究やベンチマークは、指示のみの生成や単一ドキュメントからスライドへの変換など、特定の入力領域を孤立させて扱う傾向にあり、曖昧なプロンプトから複雑な多ソース合成に至るまで、ユーザーのニーズのスペクトラムに対応できていません。

さらに、現在の評価手法はシナリオ固有の側面が不十分です。これらは主に、視覚的アピール、レイアウトの質、全体的な整合性といった一般的なプレゼンテーション品質の基準に依存しています。これらの指標は、根拠に基づく圧縮、視覚とテキストの整合性、多ソースからの合成など、特定の入力に求められる中核的な能力を診断することにしばしば失敗します。その結果、視覚的に洗練されたデッキを生成するシステムであっても、重要な証拠を省略したり、チャートを誤って表現したり、複数のソースからの矛盾する情報を統合できなかったりする可能性があります。この分野では、多様な実世界の設定にわたってプレゼンテーション生成システムを忠実に診断するための統一ベンチマークと、シナリオを考慮した評価プロトコルが必要です。

2. 手法

A. UniPPTBench：統一ベンチマーク

著者は、根拠の複雑さの増加によって整理された 4 つの代表的な入力設定を網羅するように設計されたベンチマークUniPPTBenchを導入します。

1. Vague-Prompt（曖昧なプロンプト）： ソース資料なしで、未特定化されたユーザー意図に基づくオープンエンドな計画を評価します。
2. Long-Document（長文ドキュメント）： 拡張されたテキスト（平均約 128 ページ）からのソース忠実な圧縮とコンテンツ選択をテストします。
3. Multimodal-Document（マルチモーダルドキュメント）： ドキュメント内のテキスト主張と視覚資料（図、チャート、表）との整合性を強調します。
4. Multi-Source（多ソース）： 複数の異種ドキュメント（平均約 4.5 のソースから約 59 ページ）にわたる証拠の統合、冗長性の除去、および忠実な合成を要求します。

データセットは、SEC EDGAR、arXiv、国連などの権威ある公的ソースから構築された 6 つの応用ドメイン（研究、ビジネス、政策など）にまたがる 126 のタスクで構成されています。構築パイプラインには、ソース収集、タスクの定式化（ドキュメントと現実的な意図のペアリング）、メタデータ注釈（主要なポイントと証拠スパンの特定）、および厳格な品質管理が含まれます。

B. UniPPTEval：シナリオを考慮した評価プロトコル

一般的な指標の限界に対処するため、著者は評価を 2 つのコンポーネントに分離するUniPPTEvalを提案します。

1. 共有指標（Shared Metrics）： 人間の整合性、直交性分析、効率性 - 精度のフロンティア選択を通じて導き出されたコンパクトな指標群です。これらには、指示の履行（Instruction Fulfillment）、エンゲージメント、コンテンツの正確性、視覚的一貫性、および視覚的完全性が含まれます。これらは、一般的なデッキの品質を異なる設定間で比較することを可能にします。
2. シナリオ固有の指標（Scenario-Specific Metrics）： 各入力設定の中核要件に合わせて調整された指標であり、**ソース根拠評価（Source-Grounded Evaluation）**パラダイムを利用します。このパラダイムは、2 つの経路による検証ロジックを採用します。
   • マクロレベルのカバレッジチェック： 生成されたスライドが、ソース資料から導き出された主要な情報チェックリストをどの程度カバーしているかを検証します。
   • ミクロレベルの事実性追求： スライドの内容を特定の主張に分解し、ソース資料に対して検証して真実性を確保します。

具体的な指標としては、Long-Document 向けに主要ポイントのカバレッジとコンテンツの忠実性、Multimodal 向けに視覚要素の活用、図と主張の整合性、およびチャート翻訳の忠実度、Multi-Source 向けにドキュメント間カバレッジ、統合、および冗長性の重複排除が挙げられます。

C. UniPPTAgent：統一ベースライン

著者は、統一パイプライン内で 4 つの入力設定すべてをサポートするように設計されたオープンソースのマルチエージェントフレームワークUniPPTAgentを開発しました。単一の領域に特化した以前のシステムとは異なり、UniPPTAgent は生成を 3 つの専門エージェントに分解します。

1. Narrative Agent（ナラティブエージェント）： 異種の入力を構造化された知識ベースに正規化し、計画 - 概要 - 根拠のプロセスを通じてスライドの概要とページ記述を生成します。
2. Style Agent（スタイルエージェント）： タイポグラフィ、色、レイアウトを網羅するドキュメントレベルのグローバルスタイル契約を誘導し、ページ間の一貫性を確保します。
3. Visual Design Agent（ビジュアルデザインエージェント）： レイアウトをスタイルが解決された HTML に変換し、視覚言語モデル（VLM）を用いた反復フィードバックループを採用して、切り詰められたテキストや重なりなどの知覚的欠陥を検出・修正します。

3. 主要な結果

UniPPTEval を用いた UniPPTBench 上の実験により、いくつかの重要な発見が明らかになりました。

• 性能のばらつき： システムの性能は入力設定によって大きく異なります。一般的な指標での高い性能は、根拠のあるシナリオにおけるタスク履行の強さを必ずしも意味しません。
• 根拠のボトルネック： 現在のシステムは、視覚的な流暢さと実際のタスク履行の間に大きな隔たりを示しています。マルチモーダルシナリオでは、システムは頻繁に図と主張の整合性や効果的な視覚要素の活用において失敗します。長文ドキュメントタスクでは、コンテンツの忠実度がカバレッジよりも一貫して低く、圧縮された出力における事実の歪みを示しています。
• 合成の課題： ソース間の合成は、単純なコンテンツ抽出よりも高次の課題です。システムは、取得した情報を一貫性があり冗長性のないナラティブに整理することにしばしば苦しみ、統合された物語ではなく、孤立した要約を提示することが頻繁にあります。
• オープンソースの断片化： オープンソースシステムは有望ですが、その多様な入力設定へのサポートは、特に根拠のある入力やマルチ入力シナリオにおいて、プロプライエタリシステムと比較して断片化されたままです。
• 評価の有効性： 提案されたシナリオ固有の指標は、一般的な共有指標では見逃されがちな能力固有の劣化（幻覚、視覚的根拠の欠如など）を成功裡に検出します。評価プロトコルは、高い信頼性（実行間での標準偏差が低い）と堅牢性（異なる LLM 判定者間の高い相関）を示しています。

4. 意義と貢献

本論文は、以下の貢献を主張します。

1. UniPPTBench： 曖昧なプロンプト、長文ドキュメント、マルチモーダルドキュメント、多ソースという 4 つの代表的な実世界入力設定を網羅する初の統一ベンチマークであり、多様なワークフロー間での体系的な比較を可能にします。
2. UniPPTEval： 共有プレゼンテーション品質指標と設定固有の指標を組み合わせるシナリオを考慮した評価プロトコルであり、視覚的知覚から厳密な証拠追跡へと焦点をシフトさせます。
3. UniPPTAgent： 4 つの入力設定すべてをサポートする透明性のあるオープンソースの参照ベースラインであり、将来の研究のための再現可能な比較点を提供します。
4. 診断的洞察： 根拠に基づく圧縮、マルチモーダル整合性、ソース間統合、および忠実な合成に関する現在のシステムにおける永続的な限界を明らかにする広範な実験。

著者は、プレゼンテーション生成は単一の均質なタスクとしてではなく、設定に依存する能力要求を持つ統一された問題として研究されるべきであると結論付けています。提案されたフレームワークは、多様な実世界のシナリオにおけるプレゼンテーション生成システムの評価と進展のための、忠実かつ診断的な基盤を提供します。コードとデータは公開リリースを予定しています。