技術要約: X+Slides: 聴衆条件付きスライド生成のベンチマーク

1. 問題定式化

本論文は、既存の自動スライド生成ベンチマークにおける決定的な欠落を指摘している。既存のベンチマークは主にソースの完全性、レイアウト、および視覚的な一貫性を評価しており、すべてのソース内の事実が等しく価値を持つという「ワンサイズ・フィッツ・オール（万能型）」のパラダイムを暗黙のうちに前提としている。しかし実際には、スライド生成は**聴衆条件付きタスク（audience-conditioned task）**である。単一のソース文書（例：研究論文）であっても、ターゲットとなる聴衆に応じて、必要とされる情報の選択は根本的に異なる。

• **専門家（Specialists）**には、厳密な証明、仮定、およびアブレーション（切除実験）が必要である。
• **学習者（Learners）**には、核となるアイデア、動機、および具体例が必要である。
• **意思決定者（Decision-makers）**は、実行可能な結論、リスク、および高レベルの示唆を優先する。

既存の指標は、ソースを忠実に要約したデッキと、特定の聴衆に関連する情報を戦略的に選択したデッキを区別できていない。さらに、現在の評価はソースへの整合性と聴衆への有用性を混同しがちであり、システムが失敗している原因が「生成の質の低さ」によるものか、「聴衆への適応力の低さ」によるものかを分離することを困難にしている。

2. メソドロジー: X+Slides フレームワーク

X+Slidesは、**ソースの網羅性（source coverage）と聴衆への有用性（audience utility）**を切り離して評価するように設計されたベンチマークおよび評価パイプラインを導入する。その核心的な革新は、共有された聴衆非依存型のプローブ・バンク（probe bank）を用いた2段階の評価プロセスである。

2.1 ベンチマークの構築

• コーパス: データセットは、7つのプレゼンテーション・シーンにわたる113の多様なトピック（5al学術論文50件、政策・ビジネス・ヘルスケア等の非学術レポート63件）を網羅している。
• プローブ生成: LLMを用いて、ソース文書から8,133個の重複排除済みかつソースに根ざしたプローブ（根拠となる範囲を伴う質問・回答ペア）を生成する。これらのプローブは、一貫した事実的ベースラインを確保するため、ターゲットとなる聴衆に関する知識なしに生成されるため、**聴衆非依存（audience-agnostic）**である。
• プローブの属性: 各プローブには以下のタグが付与される：
  • 深度レベル (1–4): 文脈/動機（レベル1）から、実装の詳細/ハイパーパラメータ（レベル4）まで。
  • 情報ドメイン: 文脈、手法、根拠、限界、実装、示唆。
  • 根拠のモダリティ: テキスト、表、チャート、図、数式、またはマルチモーダルな混合。

2.2 聴衆条件付きスコアリング

異なる聴衆に対して異なる質問を生成する代わりに、X+Slidesは、聴衆プロファイル（専門家、学習者、意思決定者）およびプレゼンテーション・シーンに基づいて、同一のプローブ集合に対して聴衆固有の有用性重み（$w_j$）を割り当てる。

• 有用性閾値 ($\tau_A$): 重みが閾値（例：$\tau_A = 0.7$）を超えるプローブは、その特定の聴衆にとって「不可欠（essential）」であるとみなされる。
• 評価ロジック: 生成されたデッキは、特定の聴衆にとって不可欠なプローブが、ソースの根拠によって裏付けられた可視のスライド内容を用いて回答可能であるかに基づいてスコア化される。

2.3 評価指標

本フレームワークは、4つの補完的な指標を報告する：

1. 聴衆網羅率 (Audience Coverage): 聴衆にとって不可欠なソース情報の、デッキ内で正常に伝達された加重割合。
2. ドメイン別網羅率 (Domain-wise Coverage): 6つの情報ドメイン（例：専門家に対する「手法」の詳細が学習者に対してどの程度カバーされているか）にわたる詳細な内訳。
3. 効率性 (Efficiency): 注意コスト（スライド数および単語数で測定）の単位あたりに提供される有用な情報の密度。
4. 正確性 (Correctness): デッキ内の主張がソースによって事実的に裏付けられていることを検証するガードレール指標であり、もっともらしいが幻覚（ハルシネーション）に基づいた内容に対して報酬を与えることを防ぐ。
5. SafeEfficiency: 効率性と正確性の積であり、根拠に基づいた有用なユーティリティを表す。

3. 主な貢献

1. 概念の定式化: スライド生成を $f: S \times A \times C \to T$ という条件付き写像として定義し、聴衆への適応を、曖昧なプロンプトの目標ではなく、測定可能な情報選択問題として明確に枠付けた。
2. 分離されたプローブ・バンク: 証拠に基づいた聴衆非依存型のプローブ・バンクを開発し、それを後に重み付けする手法を開発した。これにより、同一の事実的ベースラインを用いて、異なる聴衆間での公平な比較が可能となった。
3. 包括的な指標スイート: 忠実な適応、一般的な要約、および幻覚を区別する、4次元の評価フレームワーク（網羅性、ドメイン別網羅性、効率性、正確性）を導入した。
4. 再現可能なベンチマーク: 113のトピック、8,133のプローブ、3つの聴衆プロファイル、および完全に再現可能な評価パイプラインを含むデータセットを公開する。
5. 実証的評価: 現在の最先端システム（DeepPresenter, SlideTailor）の分析、およびNotebookLMの集中的なアブレーション解析を提供した。

4. 実験結果

著者らは、DeepPresenter、SlideTailor、および（アブレーションとして）NotebookLMを、聴衆非依存および聴衆条件付き設定の両方で評価した。

• 不可欠な情報の部分的回収: 現在のシステムは、聴衆にとって不可欠な情報の相当部分を回収しているが、不完全である。
  • $\tau_A = 0.7$ において、DeepPresenterは学習者向けに最高の聴衆網羅率 0.714を達成した。
  • SlideTailorは0.594（学習者向け）に達した。
  • NotebookLM（非依存設定）は、意思決定者向けに0.853に達したが、その画像ベースの出力により、直接的な効率性の比較は不可能であった。
• 聴衆条件付きの効果:
  • 条件付けプロンプトは、一般に聴衆網羅率を向上させた（例：DeepPresenterの専門家向け網羅率は0.413から0.496に上昇した）。
  • ドメイン別網羅率により、条件付けが焦点のシフトに成功していることが明らかになった（例：専門家にはより多くの「手法」や「根拠」の網羅性が提供され、意思決定者にはより多くの「示唆」や「文脈」が提供される）。
• 正確性 vs 効率性:
  • 正確性スコアは、全システムにおいて高い水準（約0.82–0.85）を維持しており、ほとんどの主張がソースに裏付けられていることを示している。
  • しかし、SafeEfficiencyは大きく変動した。例えば、SlideTailorの条件付き学習者用デッキは、PPTX生成システムの中で最高のSafeEfficiencyを示したが、DeepPresenterの条件付き学習者用デッキは最高の聴衆網羅率を示した。
• トレードオフ: 本論文は、一つの指標（例：広範な網羅性）を最適化することが、他の指標（例：効率性や正確性）の最適化を保証するものではないことを指摘している。聴衆へのプロンプトは情報選択を変更することには成功しているが、品質のすべての次元を自動的に改善するわけではない。

5. 意義と主張

本論文は、X+Slidesが**ドキュメントへの整合（alignment）から聴衆への有用性の最大化（utility maximization）**への根本的な転換を象徴していると主張している。

• 差別化: 視覚的な質や広範なトピックの網羅性は、スライドの質を示す十分な代理指標ではないことを示している。ソースに根ざした聴衆条件付きの評価がなければ、システムは重要な聴衆のニーズを見逃したり、裏付けのない主張を含んでいたりするにもかかわらず、成功しているように見えてしまう可能性がある。
• 限界: 著者らは、高度に視覚的な文書に対するLLM生成プローブの潜在的なギャップ、3つの聴衆プロファイルの広範さ、およびグラフやレイアウトに基づく説明を直接評価しないテキストベースのスコアリングへの依存など、現在の限界を謙虚に認めている。
• 将来の影響: 本フレームワークは、研究コミュニケーション、教育、政策ブリーフィング、およびビジネス意思決定支援をサポートするものとして位置づけられており、コミュニティに対して、聴衆への適応を単なるスタイルの調整ではなく、厳密な情報選択の課題として扱うよう促している。