論文「Towards Robust Real-World Spreadsheet Understanding with Multi-Agent Multi-Format Reasoning」の技術的サマリー

本論文は、現実世界の複雑なスプレッドシート（表計算）の理解と推論タスクにおいて、既存の大規模言語モデル（LLM）アプローチが抱える課題を解決し、より堅牢でスケーラブルな手法を提案するものです。著者らはSpreadsheetAgentと呼ばれる、マルチエージェントおよびマルチフォーマット推論を採用した 2 段階のフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と課題 (Problem)

現実世界のビジネスや科学データ管理においてスプレッドシートは不可欠ですが、現在の LLM ベースの表処理技術には以下の重大な限界があります。

• レイアウト情報の欠落: 既存の多くの手法は、表を単なるテキスト（Markdown, HTML, LaTeX など）として扱っています。しかし、現実のスプレッドシートには、階層的なヘッダー、結合セル、色付け、罫線などの視覚的キューが含まれており、これらは意味情報を担っています。テキスト化だけではこれらの情報が失われます。
• コンテキスト長の制限: 現実のスプレッドシートは数千行・数千列に及ぶことが多く、現在の LLM が一度に効率的に処理できるコンテキスト長（入力サイズ）を超えています。
• 構造的複雑さ: ピボットテーブル、複数のシート、非標準的な関係構造など、単純な行列として扱えない複雑な構造が多く存在します。

2. 提案手法：SpreadsheetAgent (Methodology)

SpreadsheetAgent は、スプレッドシート全体を一度に読み込むのではなく、**「段階的な読み取りと推論（Step-by-step reading and reasoning）」**のパラダイムを採用した 2 段階のマルチエージェントフレームワークです。

2.1 全体アーキテクチャ

フレームワークは以下の 2 つの主要ステージと、複数のエージェント/ツールで構成されます。

1. 構造抽出ステージ (Structure Extraction Stage):

   • 抽出エージェント (Extraction Agent): スプレッドシートを走査し、階層的ヘッダー、結合セル、シート構成などの構造的キューを特定します。
   • マルチフォーマット処理: 抽出エージェントは、以下の 3 つの補助ツールを駆使して局所的な領域を解析します。
     • コード実行 (Code Execution): Python コードを実行し、数値計算や正確な値の抽出を行います。
     • ビジョン範囲エージェント (Vision Range Agent): 選択された範囲を画像に変換し、VLM（Vision-Language Model）を用いて色、罫線、結合セルなどの視覚的キューを解釈します。
     • LaTeX 範囲エージェント (LaTeX Range Agent): 範囲を LaTeX テーブルに変換し、階層的ヘッダーやアライメントなどの構造的忠実性を保ったまま記号化します。
   • 中間表現の構築: これらの情報を統合し、YAML 形式の構造化された「構造スケッチ（Structural Sketch）」と行/列の要約を生成します。

2. 検証ステージ (Verification Stage):

   • 検証エージェント (Verification Agent): 抽出された構造スケッチが元のスプレッドシートと一致するかを確認します。
   • ターゲット検査: 全体を再処理するのではなく、不確実な領域や構造的に複雑な領域を特定し、画像または LaTeX 形式に変換して再検証を行います。
   • フィードバックループ: 誤りが検出された場合、修正提案が抽出プロセスにフィードバックされ、構造スケッチが更新されます。この「抽出 - 検証 - 洗練」のサイクルが収束するまで続きます。

3. 推論ステージ (Solving Stage):

   • 検証済みの構造化された中間表現（スケッチ）に基づき、タスク駆動型の推論（質問応答やデータ抽出など）を実行します。

2.2 技術的特徴

• コンテキスト制約の回避: 全体をロードせず、局所的な領域を多様な形式で順次処理することで、LLM のコンテキスト長制限を回避します。
• 多モーダルな統合: テキスト、画像、コード実行結果、LaTeX 表現を組み合わせることで、数値、視覚、構造のすべての情報を網羅します。
• YAML 形式の採用: 抽出結果を人間が読みやすく、かつ構造化された YAML 形式で出力することで、下流の推論タスクとの互換性と安定性を高めています。

3. 主要な貢献 (Key Contributions)

1. SpreadsheetAgent の提案: 段階的な読み取りと推論を採用した新しいマルチエージェントフレームワーク。LLM のコンテキスト制限を超えて、大規模で複雑なスプレッドシートを処理可能にします。
2. マルチフォーマット推論パイプラインの設計: コード実行、画像スニペット、LaTeX 表現など、局所的な領域を多様な形式で処理するパイプラインを構築し、スプレッドシートの多様なセマンティクスを捉えます。
3. 検証モジュールの導入: 抽出された構造をターゲット検査を通じて検証するモジュールを設計し、誤りの伝播を抑制して信頼性を高めています。

4. 実験結果 (Results)

データセット:

• SpreadsheetBench: 912 の現実世界の質問と Excel ファイルから構成されるベンチマーク。複雑な構造やノイズを含みます。
• RealHiT-Bench: 階層的ヘッダーに特化したベンチマーク（付録で評価）。

主な結果:

• SpreadsheetBench での性能:
  • GPT-OSS-120B をベースモデルとして使用した場合、SpreadsheetAgent は 38.16% の精度を達成しました。
  • 既存の最良のベースラインである ChatGPT Agent (35.27%) を 2.89 ポイント 上回りました。
  • 大規模モデル（Qwen3-Coder-480B）を使用した場合、さらに高い 41.67% の精度を記録し、人間の性能（71.33%）に近づいています。
• アブレーション研究:
  • 検証モジュール、構造スケッチ、マルチフォーマットツール（ビジョン、LaTeX、コード実行）のすべてが性能向上に寄与していることが確認されました。
  • 特に「検証」モジュールを削除すると精度が低下し、ツールと検証が相互に強化し合っていることが示されました。
  • 構造スケッチ（YAML 出力）がない場合、精度が大幅に低下し、構造化された中間表現の重要性が浮き彫りになりました。
• スケーラビリティ:
  • 小さなモデル（Qwen3-30B）でも約 6 ポイント、大規模モデルでは 11 ポイント以上の改善が見られ、フレームワークがモデルの規模に依存せず汎用的に機能することが示されました。

5. 意義と結論 (Significance)

本論文は、現実世界のスプレッドシート理解において、単なるテキスト変換に依存しない新しいアプローチの道筋を示しました。

• 実用性の向上: 企業報告、監査、科学データ管理など、レイアウト情報が重要な実世界タスクにおいて、LLM の信頼性と精度を大幅に向上させます。
• スケーラビリティ: 大規模なスプレッドシートをコンテキスト制限なしに処理できるため、実業務での適用可能性が高まります。
• 将来の展望: 将来的には、ツール呼び出しや領域選択の適応戦略の最適化、および大規模モデルから小規模モデルへの知識蒸留（Distillation）の検討が課題として挙げられています。

総じて、SpreadsheetAgent は、視覚的・構造的・数値的な情報を統合的に処理するマルチエージェントシステムとして、スプレッドシート理解の分野における新たな SOTA（State-of-the-Art）を確立しました。