以下は、提示された論文「FACTS: Table Summarization via Offline Template Generation with Agentic Workflows」の技術的な要約です。

論文要約：FACTS (Fast, Accurate, and Privacy-Compliant Table Summarization)

1. 研究の背景と課題

**クエリ指向テーブル要約（Query-focused Table Summarization）**とは、ユーザーの特定の質問や意図に基づき、表形式データから自然言語の要約を生成するタスクです。これは単なる事実の抽出を超え、文脈に応じた洞察を提供することを目的としています。

既存のアプローチには以下の重大な限界がありました：

• Table-to-Text モデル: 高コストなファインチューニングが必要であり、複雑な推論や数値処理に弱い。
• プロンプトベースの LLM 手法: トークン制限や効率性の問題があり、テーブルの全データを外部 LLM に送信するためプライバシーリスクがある。また、幻覚（ハルシネーション）が発生しやすい。
• 既存の Agent ワークフロー: 分解や計画、手動テンプレートに依存しており、堅牢性やスケーラビリティに欠ける。

特に、金融や医療などの分野では、大量のデータ処理、再利用性、出力の正確性、そして機密情報の保護（HIPAA や GDPR などの規制）が不可欠ですが、既存手法はこれらを同時に満たすことができませんでした。

2. 提案手法：FACTS

著者らは、FACTS（Fast, Accurate, and Privacy-Compliant Table Summarization via Offline Template Generation）という新しいアジェンティック・ワークフローを提案しました。

2.1 核となる概念：オフラインテンプレート生成

FACTS の最大の特徴は、**「オフラインテンプレート」**を生成することです。これは以下の 2 つのコンポーネントで構成されます：

1. スキーマ対応の SQL クエリ: テーブルから必要な情報を抽出するための実行可能なコード。
2. Jinja2 テンプレート: SQL の実行結果を自然言語の要約に変換するレンダリングロジック。

このテンプレートは、テーブルの生データ（値）を LLM に送信することなく、スキーマ（列名やデータ型）とユーザークエリのみを LLM に渡して生成されます。一度生成されれば、同じスキーマを持つ他のテーブル（例：異なる年の財務データや異なる患者の記録）に対して再利用可能です。

2.2 3 段階のワークフロー

FACTS は、LLM Council（複数の LLM のアンサンブル）による反復的な検証・フィードバックループを備えた 3 つのステージで構成されます。

1. スキーマ誘導仕様とフィルタリング (Schema-Guided Specification and Filtering):

   • ユーザークエリとテーブルスキーマに基づき、LLM が「ガイド付き質問」と「フィルタリング規則」を生成します。
   • 重要: 生データにはアクセスせず、抽象的なフィルタリング規則（例：「カテゴリが'expense'の行を除外」）のみを提案します。
   • LLM Council がこれらの仕様の妥当性を検証し、承認されたもののみが次の段階へ進みます。

2. SQL クエリ生成 (SQL Queries Generation):

   • 承認された仕様に基づき、LLM が SQL クエリを合成します。
   • 生成された SQL はローカル環境（DuckDB など）で実行され、エラーや空の結果が検出されます。
   • 実行結果とエラーログを LLM Council に提示し、フィードバックを得てクエリを反復的に修正・改善します。

3. Jinja2 テンプレート生成と整合性チェック (Jinja2 Template Generation and Alignment):

   • 検証済みの SQL 結果を自然言語に変換する Jinja2 テンプレートを生成します。
   • LLM Council が SQL の出力構造とテンプレートの参照が整合しているか（フィールド名、行数など）を確認します。
   • 不整合があれば、SQL とテンプレートを同時に修正します。

2.3 LLM Council の役割

単一のモデルに依存せず、複数の異種 LLM（GPT-4o-mini, Claude-4 Sonnet, DeepSeek v3 など）で構成される「Council」が各ステージの出力を評価します。多数決方式で「YES/NO」を判断し、合意形成されたフィードバックを基にエージェントが出力を修正します。これにより、ハルシネーションを抑制し、正確性と堅牢性を高めています。

3. 主要な貢献

1. オフラインテンプレート生成の提案: プライバシーを遵守し、再利用可能かつスキーマ固有のテンプレート（SQL + Jinja2）を生成する新しいパラダイム。
2. FACTS フレームワークの設計: ガイド付き質問生成、SQL 合成、Jinja2 レンダリングを統合し、反復的な検証ループで正確性を保証するアジェンティック・ワークフロー。
3. 実証的な有効性: FeTaQA, QTSumm, QFMTS の 3 つのベンチマークで代表的なベースラインを上回る性能を示し、実世界での適用可能性を実証。

4. 実験結果

• 性能: 3 つのベンチマーク（FeTaQA, QTSumm, QFMTS）において、FACTS は BLEU、ROUGE-L、METEOR などの指標で、プロンプトベース手法や既存の Agent フレームワーク（Binder, Dater, SPaGe など）を常に上回る、または同等以上の性能を達成しました。
• 人間評価: 人間の評価者による調査では、FACTS は「クエリへの完全な回答」「事実の正確性」「ハルシネーションの低減」において、最強のベースライン（SPaGe）よりも高い好まれ率を示しました。
• 再利用性とスケーラビリティ:
  • 再利用性: 一度テンプレートを生成すれば、同じスキーマの 100 個のテーブルに対して、SQL 実行とレンダリングのみで高速に要約を生成できます（LLM 呼び出し不要）。
  • スケーラビリティ: テーブルの行数が増加しても、テンプレートはスキーマに依存するため実行時間はほぼ一定ですが、既存手法はテーブル全体を LLM に送るためコストが直線的に増加します。
• プライバシー: テーブルの生データ（値）を外部 LLM に送信しないため、プライバシー規制に準拠しています。

5. 意義と限界

意義:
FACTS は、実世界のビジネス環境（金融、医療、法務など）において、大規模データに対する高速、正確、かつプライバシーに配慮したクエリ指向要約を可能にする実用的なソリューションです。特に、生データを外部に漏らさずに高度な推論を行う点で画期的です。

限界:

• スキーマドリフト: テーブルの列名やデータ型が変更された場合、事前に生成されたテンプレートは機能しなくなります（現在のところ自動適応機能はありません）。
• プライバシーの範囲: 現在のモデルでは、スキーマ情報やクエリ意図自体が外部 LLM に露出します。極めて機密性の高い分野では、スキーマ自体が機密とみなされる可能性があり、さらなる隠蔽技術の必要性が指摘されています。

結論

FACTS は、LLM の推論能力と SQL の実行可能性、そして構造化された検証プロセスを組み合わせることで、従来の手法が抱えていた「正確性」「効率性」「プライバシー」のトレードオフを解決しました。これは、データ駆動型意思決定を支援する次世代のテーブル要約システムとして大きな可能性を秘めています。