Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

この論文は、単一パス検索の限界を克服し、反復的なツール呼び出しループとマルチモーダル検索を統合したエージェントフレームワーク「BRTR」を提案し、大規模な企業用スプレッドシートの理解と編集において最先端の性能を達成したことを報告しています。

要約

この論文は、**「Excel のような巨大な表計算ファイルから、AI が正しく情報を引き出し、編集するまで」**をどうすれば可能になるかという課題に挑んだものです。

タイトルにある**「BRTR（Beyond Rows to Reasoning）」**という新しい仕組みを紹介しています。

以下に、専門用語を排し、身近な例え話を使って分かりやすく解説します。

---

🏢 従来の AI の問題点：「一発勝負」の限界

これまでの AI（大規模言語モデル）が Excel などの巨大なファイルを扱うとき、2 つの大きな問題がありました。

1. 圧縮して読む方法：
   • 例え：1000 ページある辞書を、1 ページに縮小してコピーしたようなもの。
   • 問題：細部がボヤけてしまい、重要な数字やグラフが見えなくなってしまう。
2. 全部読み込む方法：
   • 例え：図書館の全蔵書を一度に机の上に広げて、全部読もうとする。
   • 問題：AI の「記憶力（コンテキストウィンドウ）」がパンクして、混乱してしまい、何も答えられなくなる。

さらに、従来の AI は**「一度検索して、それで終わり」という「一発勝負」のスタイルでした。
もし最初の検索で必要な情報が見つかっていなければ、AI は「あ、見つからなかった」と言って諦めてしまいます。しかし、実際の人間の会計士や分析家は、「あ、このデータが欲しいな。じゃあ、別のシートも見てみようか。あ、ここにはグラフがあった。じゃあ、そのグラフの元データを探そう」**のように、何度も試行錯誤しながら情報を集めます。

🚀 BRTR の解決策：「探偵」のような AI

この論文が提案するBRTRは、AI を「一発屋」から**「執念深い探偵」**に変える仕組みです。

1. 何度も質問し直す「反復ループ」

BRTR は、AI に**「ツールを使う」**ことを許可します。

• 従来の AI：「答えは？」→「知らない（検索終了）」
• BRTR の AI：「答えは？」→「まず A シートを見る」→「あ、B シートにヒントがあるかも」→「じゃあ B シートも検索」→「グラフも確認」→「よし、これで答えが出た！」

このように、**「検索 → 結果を見て判断 → さらに検索 → 結果を見て判断」**というループを回すことで、どんなに複雑で巨大なファイルでも、必要な証拠をすべて集めてから結論を出します。

2. 記憶の整理術（コンテキスト管理）

AI は何度も検索すると、会話の内容が膨大になりすぎて頭が混乱します。
BRTR は、**「古い画像データは捨てて、重要なメモだけ残す」**という賢い整理術を使います。

• 例え：探偵が事件現場を調べる際、古い写真の現像液は捨てて、「どこで見たか」「何が書いてあったか」というメモだけをノートにまとめて持ち歩くようなものです。これにより、AI は記憶容量を圧迫されずに、長い作業を続けられます。

3. 指揮官と作業員（プランナー・エグゼキューター）

複雑な仕事（例：「売上を計算して、PDF にまとめて、メールで送って」）を任せる場合、BRTR は**「指揮官（プランナー）」と「作業員（エグゼキューター）」**に分けます。

• 指揮官：仕事を「計算」「ファイル作成」「送信」などに分解し、誰が何をするか指示します。
• 作業員：それぞれの専門分野（Excel 操作、Web 検索、OCR 読み取りなど）を得意とするツールを使って、指示されたタスクを正確に実行します。
  これにより、一つの巨大な AI が全部やろうとして失敗するのを防ぎ、ミスが蓄積するのを防ぎます。

---

📊 どれくらいすごいのか？（実験結果）

この「探偵 AI」は、実際のテストで驚異的な結果を出しました。

• FRTR ベンチマーク（複雑な企業データ）：
  • 従来の AI は 74% 程度しか正解できませんでしたが、BRTR は**99%**の正解率を達成しました。
  • 例え：100 問のテストで、従来の AI は 25 問も間違えていたのに、BRTR は 1 問しか間違えませんでした。
• FINCH ベンチマーク（現実の財務・会計業務）：
  • 従来の自動化ツールが 40% 程度だったところ、BRTR は**95%**の正解率を叩き出しました。
  • 例え：難易度の高い料理のレシピを、他の人が半分しか作れなかったところ、BRTR は完璧に作ってしまいました。

また、**「どの AI モデルを使うか」**も実験しました。

• 検索用の「目」をどのモデルにするか比較したところ、NVIDIA NeMoというモデルが、数字と画像が混ざった Excel データを見つけるのが最も得意でした。
• 全体を動かす「頭脳」としては、GPT-5.2というモデルが、**「最も安く、かつ最も正確」**に作業をこなすことが分かりました。

---

💡 まとめ

この論文が伝えているのは、**「AI に Excel を扱わせるには、一度で全部を理解させようとするのではなく、人間のように『調べて、考えて、また調べて』というプロセスを繰り返させること」**が重要だということです。

• 従来の方法：「全部読ませて、一発で答えさせよう」→ 失敗する。
• BRTR の方法：「必要なところを何度も探させ、指揮官が管理して、ミスを防がせよう」→ 成功する。

これにより、企業は AI に複雑な財務分析やデータ編集を任せても、「誰が、いつ、何を調べたか」という記録（ツール呼び出しの痕跡）がすべて残るため、安心して業務を自動化できるようになります。

まるで、**「優秀な新人社員が、先輩の指示（プランナー）のもと、必要な書類を何度も探し出し、ミスを防ぎながら完璧な報告書を作る」**ようなシステムが完成したと言えます。

技術概要

以下は、論文「Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing（行を超えた推論へ：マルチモーダルなスプレッドシート理解と編集のためのエージェント型検索）」の技術的サマリーです。

1. 背景と課題 (Problem)

大規模言語モデル（LLM）を用いたマルチモーダルな検索拡張生成（RAG）の進展により、企業レベルのスプレッドシート（数百万のセル、シート間依存関係、埋め込まれた視覚的アセットを含む）の分析が可能になりつつあります。しかし、既存の最先端アプローチには以下の重大な限界がありました。

• 単一パス検索の制約: 既存手法はクエリに対して一度だけ検索を行い、結果を生成するだけで、中間結果に基づいて検索を再考したり、追加の証拠を集めたりする「反復的な推論」ができません。実際の分析家はシート間を行き来し、依存関係を追跡しますが、現在のシステムはこれを模倣できません。
• コンテキストの圧縮による情報損失: 文脈制限に収めるためにワークシートを圧縮する手法（SheetCompressor など）は、重要な文脈やクロスシート参照を失い、複雑な推論を阻害します。
• コンテキストウィンドウの限界: 生データをそのまま注入する「ナイーブな全コンテキスト」アプローチは、LLM のコンテキストウィンドウを超えてしまい、大規模なワークブックでは機能しません。
• マルチモーダル埋め込みの評価不足: テーブルデータと視覚的アセット（画像など）が混在するスプレッドシート内容に適したマルチモーダル埋め込みモデルの体系的な評価が欠如していました。

2. 提案手法：BRTR (Methodology)

著者らは、Beyond Rows to Reasoning (BRTR) というマルチモーダルなエージェント型フレームワークを提案しました。これは単一パス検索を、反復的なツール呼び出しループに置き換えることで、複雑な分析から構造化された編集まで、エンドツーエンドの Excel ワークフローを支援します。

BRTR の主要な構成要素は以下の通りです。

• マルチモーダル索引付けと検索 (Multimodal Indexing and Retrieval):

  • スプレッドシートを「行」「列」「矩形ウィンドウ」「埋め込まれた画像」の 4 種類のチャンクに分割し、メタデータ（シート名、セル座標、ヘッダーなど）を保持します。
  • 5 つのマルチモーダル埋め込みモデルを評価し、NVIDIA NeMo Retriever 1B を混合データ（表形式＋視覚）に対して最適なものとして採用しました。
  • 検索時は、密なコサイン類似度検索と BM25（語彙的マッチング）をハイブリッドに行い、Reciprocal Rank Fusion (RRF) で結果を統合します。

• エージェント型ツール呼び出しループ (Agentic Tool-Calling Loop):

  • LLM は構造化された検索ツール（行検索、列検索、ウィンドウ検索、画像検索、全検索）を呼び出します。
  • 返されたチャンクを検査し、証拠が不十分であればクエリを洗練させたり、異なるコンテンツタイプを要求したり、座標フィルタリングを適用して再検索を行います。
  • 最大 50 回のツール呼び出しでループを制限し、不要なループを防止します。
  • コンテキスト管理: 画像データ（Base64）はトークン消費の主要因であるため、新しい画像が取得された際、以前の画像データをテキストメタデータのみ残して削除する「常時プルーニング（always-prune）」戦略を採用し、コンテキスト溢れを防ぎます。

• プランナー - エグゼキューターアーキテクチャ (Planner-Executor Architecture):

  • 複雑なワークフローを依存グラフ（DAG）に分解する「プランナー」と、6 つの専門的な「エグゼキューター（Excel, IO, Web, 検証, OCR, 検索）」で構成されます。
  • 独立したブランチを並列実行し、エラーの蓄積を防ぎながら、計算、フォーマット、可視化、クロスファイル検証などの多段階タスクを処理します。

3. 主要な貢献 (Key Contributions)

1. マルチモーダル埋め込みモデルの体系的評価: FRTR-Bench 上で 5 つのモデルを比較し、スプレッドシートのような混合データに対して NVIDIA NeMo Retriever 1B が最高性能を示すことを実証しました。
2. BRTR エージェントフレームワーク: 反復的なツール呼び出しとコンテキスト管理メカニズムを導入し、単一パス検索や圧縮ベースの手法を凌駕する精度を達成しました。
3. 包括的な評価: 200 時間以上の専門家による人間評価に基づき、3 つの最先端ベンチマーク（FRTR-Bench, SpreadsheetLLM, FINCH）で SOTA（State-of-the-Art）を達成しました。
4. 完全な監査可能性: すべての推論プロセスを明示的なツール呼び出しトレースとして記録し、完全な監査性を保証しています。

4. 実験結果 (Results)

3 つのベンチマークにおいて、BRTR は既存の手法を大幅に上回る性能を示しました。

• FRTR-Bench (複雑な企業ワークブック):
  • 最先端モデル（GPT-5, Gemini 3 Pro）を用いた BRTR は99% の精度を達成しました。
  • 単一パス検索の FRTR ベースライン（最高 74%）より25 ポイント向上しました。
  • 埋め込まれた画像の解釈が必要なタスクにおいて、単一パス手法（65%）に対し BRTR は 99% を達成し、反復的な画像検索の有効性を示しました。
• SpreadsheetLLM ベンチマーク:
  • BRTR は97-98% の精度を達成し、圧縮ベースの SpreadsheetLLM（89-91%）や全コンテキスト注入（55-68%）を上回りました。
• FINCH (財務・会計ワークフロー):
  • 172 の複雑な企業ワークフローにおいて、BRTR（Claude Opus 4.6）は95.3% の精度を達成しました。
  • ナイーブな単一コールエージェント（最高 41.9%）に対し、32 ポイント以上の改善が見られました。
• アブレーション研究:
  • 「プランナー（タスク分解）」、「検索」、「反復推論（エージェントループ）」の各コンポーネントがすべて精度向上に寄与していることが確認されました。特にプランナーの導入により、トークン消費を 40% 削減しつつ精度を向上させることができました。
• コストと効率:
  • GPT-5.2 が、高い精度と低いトークン消費（20,127 トークン/クエリ）のバランスにおいて最も効率的であることが判明しました。

5. 意義と結論 (Significance)

この論文は、スプレッドシート理解において「単なるデータ抽出」から「反復的な推論と編集」へのパラダイムシフトを提案しています。

• 実用性: 企業環境における複雑なクロスシート分析、財務モデリング、PDF や画像を含む多様なドキュメントの統合処理を可能にします。
• 技術的革新: 単一パスの RAG の限界を克服し、エージェントが文脈を動的に管理しながら証拠を集めるプロセスを確立しました。
• 将来展望: 将来的には、スプレッドシート以外の構造化ドキュメントへの拡張や、学習ベースの検索戦略の導入、実環境でのリアルタイムフィードバックによる評価が予定されています。

BRTR は、LLM が企業のスプレッドシートデータを単に「読む」だけでなく、人間のアナリストと同様に「推論し、編集し、検証する」ことを可能にする重要なステップです。