WorkstreamBench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance
本論文は、精度、数式、形式という多次元の分類を用いてエンドツーエンドの財務スプレッドシートタスクにおけるLLMエージェントを評価する新たなベンチマーク「WorkstreamBench」を導入し、Claudeのような最先端モデルがプロフェッショナルな外観の出力を生み出す一方で、現在のエージェントは現実世界の財務ワークフローに必要な複雑さと品質基準を確実に処理することに依然として苦戦していることを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
会社のために複雑な財務モデルを構築する新しいアシスタントを雇うと想像してください。単一の数学問題を解いてほしいのではなく、上司、投資家、監査人に引き渡せるよう、ゼロからプロフェッショナルなレベルのスパッドシート全体を構築してほしいのです。
この論文「WorkstreamBench」は、AI エージェント（賢いコンピュータプログラム）が実際にその仕事をこなせるかどうかを確認するための「最終試験」とも言えます。
以下に、著者が行ったことを簡単なアナロジーを用いて解説します。
1. 課題：「レゴのブロック」対「城」
AI に対する従来のテストは、建設者に「レゴのブロックを一つ上に置く」や「赤いブロックを見つける」よう求めるようなものでした。これらは、質問に答えるや数値を一つ変更するといった、単純で孤立したタスクです。
しかし、現実の財務の世界では、専門家は単にブロックを一つ動かすだけではありません。彼らは城全体を築きます。彼らが必要とするスパッドシートとは以下のものです。
- 3 つの異なる報告書（損益計算書、貸借対照表、キャッシュフロー計算書）を相互接続し、一つの数値を変更すればすべてが自動的に更新されること。
- 「What-if」シナリオ（例：「売上が10% 減少したらどうなるか？」）に対応できること。
- プロフェッショナルに見え、読みやすく、後から人間が編集しやすいこと。
著者らは、既存のテストが容易すぎると気づきました。それらは AI が「城全体」を築けるかどうかをテストするのではなく、「ブロックを数個置く」ことしかテストしていなかったのです。
2. 解決策：AI 向けの新しい「ジム」
著者らは、プロの競技やトレーニングコースから取り出された現実世界の財務課題で満たされた新しいテスト場「WorkstreamBench」を創設しました。
最終的な数値が正しいかどうかだけをチェックする（答え合わせをする数学の先生のような）のではなく、人間の上司が報告書をレビューするのと同様に、AI の仕事の質を評価する「3 段階の採点基準」を作成しました。
- 正確性（数学）： 最終的な数値は正しいか？AI は要求されたシナリオ分析を実際に行ったか？
- 数式（論理）： 裏側の「エンジン」は適切に構築されているか？
- アナロジー: 車を想像してください。悪い建設者は、エンジン部品を瞬間接着剤で貼り付けるかもしれません（ハードコーディングされた数値）。後でエンジンを変更する必要が出たら、車をバラバラにしなければなりません。良い建設者は、ボルトやネジ（動的な数式）を使用し、修理やアップグレードが容易なようにします。AI は接着剤ではなく、ボルトを使用する必要があります。
- また、論理が読みやすいかも確認します。巨大で混乱を招く数式は、絡み合った毛玉のようであり、ステップバイステップの数式は明確な取扱説明書のようです。
- フォーマット（プレゼンテーション）： プロフェッショナルに見えますか？
- 数値は揃っていますか？マイナス記号ではなく括弧で負の数を表していますか（これは財務の標準です）？フォントは統一されていますか？スパッドシートが散らかった見た目であれば、数学が正しくても人間の上司は却下するかもしれません。
3. 試験：誰が受験したか？
著者らは、Claude、ChatGPT、Gemini などのバージョンを含む、現在利用可能な最も賢い AI エージェントの多くをテストしました。一部は「Web」バージョン（ブラウザでチャットするもの）で、一部は「Excel」バージョン（スパッドシートソフトウェア内に存在するプラグイン）でした。
4. 結果：「正直な」成績表
結果は「有望」かつ「本番使用にはまだ準備ができていない」の混在でした。
- リーダー： Claude Web エージェントが最も優れたパフォーマンスを発揮しました。最もプロフェッショナルな見た目で、人間が読みやすく編集しやすいスパッドシートを構築しました。
- ギャップ： 最良の AI でさえ、100 点満点中約69 点しか獲得できませんでした。
- 苦戦： タスクが難しくなる（計算の連鎖が長くなる）につれ、AI のパフォーマンスは急激に低下しました。
- アナロジー: 単純な足し算の問題は完璧に解ける学生が、複雑な代数の文章題を解くように求められた途端に混乱し、間違いを犯すようなものです。
- 一般的な誤り：
- ハードコーディング： 数値を計算する数式を書く代わりに、AI は時として単に数値を入力していました。これは、小切手に「100」と書く代わりに、欄に「100」と書き、銀行に計算させるべきところを、手書きで「100」と書いてしまうようなものです。入力値が変われば、AI の答えは間違ったものになります。
- 散らかったフォーマット： AI はしばしば数値の整列を忘れたり、誤った色を使用したりして、スパッドシートがプロフェッショナルに見えないようにしていました。
- 諦め： 非常に難しいタスクでは、一部の AI はスパッドシートの全体セクションを空白のままにしたり、単に数値を捏造したりしました。
5. 結論
この論文は、AI エージェントは単純なタスクでは上達しているものの、単独でプロフェッショナルなレベルの財務モデルを確実に構築するにはまだ準備ができていないと結論付けています。
彼らは、数学はできるが、フォーマットを確認し、論理の誤りを修正し、最終製品がクライアントが実際に信頼できるものになるよう保証するために、まだ人間の監督者を必要とする、非常に才能あるインターンのような存在です。技術は存在しますが、人間の財務アナリストを代替できるようになるまでには、さらに多くの作業が必要です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。