ロボットに料理を教える場面を想像してみてください。あなたは完成した美味しそうなラザニアを見せて、「これを作って」と言うことができます。しかし、ロボットはただチーズをじっと見つめ、レシピを推測しようとするだけかもしれません。あるいは、非常に長くて退屈な指示のリストを与えることもできます。「チーズ200グラムを用意し、1センチ角に切り、レイヤー3に配置して……」といった具合です。しかし、実際の人間はそんな風には話しません。私たちは「ラザニアを作って」と言い、シェフがその意味を理解することを期待します。これが「大規模言語モデル（LLM）」の課題です。LLMは、文章を読み書きできる非常にスマートなコンピュータプログラムです。科学者たちは、これらのモデルを単に物語を書くためだけでなく、スプレッドシートを管理するといった「実務」を行うための有能なアシスタントにするべく、教育しようとしています。スプレッドシートとは、人々がお金やパーティーの計画、データの分析などのために使用する、Excelのような格子状のプログラムのことです。大きな疑問は、コンピュータは、人間のリクエストを聞くだけで、乱雑で現実的なスプレッドシートをゼロから構築する方法を理解できるのか？ということです。

この論文では、主要な問題を解決するために「ワークブック・タイムマシン（Workbook Time Machine）」と呼ばれる巧妙なトリックを紹介しています。それは、「AIシェフが実際に料理ができるかどうかをテストする良い方法がなかった」という問題です。研究者たちは、逆方向に機能するパイプラインを構築しました。完成した複雑なスプレッドシートを取り、すべての派手なチャート、数式、カラーコーディングを取り除いて、生の数値だけを残す場面を想像してください。次に、システムはAIに対し、それらの生の数値を再び派手なスプレッドシートへと変えるための一連の指示を書くよう求めます。こうすることで、彼らは、非常に詳細なものから非常に曖昧なものまでの指示を含む、膨大な「ビフォー・アフター」の例を作成しました。彼らはこれを用いて、異なるAIモデルがどれだけスプレッドシートを作成できるかを評価するテスト、WTM-BENCHを構築しました。

結果は、「悪くない」と「なんてことだ」が混在していました。研究によると、AIのパフォーマンスは、どのように話しかけるか、そしてどのようなツールを与えるかに大きく依存することが分かりました。もしAIに非常に具体的でステップバイステップのレシピ（例：「セルD2に =10000*C2/(B2*B2) と入力し、D7までドラッグしてください」）を与えれば、かなりうまく機能します。しかし、曖昧なリクエスト（例：「データのチャートを作成して」）を与えると、AIはしばしば迷走します。さらに、AIがスプレッドシートと対話するために使う「ツール」も重要です。あるツールは、あらゆることをこなせるスイスアーミーナイフのようですが、別のツールは、ピボットテーブルのような複雑なタスクに苦戦するバターナイフのようです。この論文は、AIは詳細な命令に従うことは得意になりつつあるものの、現実世界のオートメーションに必要とされる、乱雑で多段階的な思考には依然として苦労していること、特に指示が短くタスクが複雑な場合にその傾向が強いことを示唆しています。

キッチンにおけるタイムマシン

研究者がどのようにテストを構築したかを理解するために、時間を旅するのではなく、スプレッドシートの歴史を遡るタイムマシンを想像してください。通常、ロボットをテストしたいときは、タスクを与えて成功するかどうかを見ます。しかし、スプレッドシートの場合、現実の人間による仕事は乱雑であるため、何が「完璧な」タスクであるかを定義するのは困難です。

そこで、著者たちは逆のプロセスを行いました。彼らは、数式、チャート、ピボットテーブルなどが含まれた、人々が実際に作成した完成済みのワークブックからスタートしました。これを「バックワード（逆方向）」ステップと呼びます。タイムマシンは、すべての「派生」オブジェクト（チャートや数式などの派手な要素）を取り除き、その下にある「生（Raw）」のデータを明らかにしました。これは、デコレーションされた完成したケーキから、フロスティングやスプリンクルを取り除いて、プレーンなスポンジケーキを見るようなものです。

次に「フォワード（順方向）」ステップが来ました。システムは、プレーンなスポンジと完成したケーキの両方を見ながら、一方から他方へ至るためのレシピを書くようAIに求めました。しかし、ここでのひねりは、彼らは単一のレシピを書いたのではありません。彼らは3つの異なるバージョンを作成しました：

1. レベル1（シェフのマニュアル）： 「セルD2に =10000*C2/(B2*B2) と入力し、D7までドラッグします。次に、列AとDを使用して散布図を作成します。」
2. レベル2（有能なアシスタント）： 「全員のBMIを計算し、BMIと年齢の関係を示すチャートを作成してください。」
3. レベル3（曖昧なボス）： 「BMIのトレンドをプロットして。」

これにより、WTM-CORPUSと呼ばれる、約9,000の指示を含む膨大なデータセットが作成されました。この巨大な山の中から、彼らは150のタスクからなるバランスの取れたテストセット、WTM-BENCHを選び出しました。このテストセットは、単に簡単な数式のタスク（元のデータの67%）で埋め尽くされないよう、実際のオフィスで必要とされるような、チャート、ピボットテーブル、条件付き書式が公平に混ざるように注意深く精査されました。

大いなるスプレッドシートの決戦

研究者たちは、6つの「フロンティア」AIモデル（AnthropicやOpenAIなどの企業による最もスマートなモデル）をこのテストに投入しました。彼らは単にAIに推測させたのではなく、実際にスプレッドシートと対話するための「ツールベルト（道具箱）」を与えました。彼らは3種類のツールベルトをテストしました：

• Python (OpenPyXL): ファイルをテキストドキュメントのように読み取るプログラミングライブラリ。
• VBA: Excelに組み込まれたマクロ言語であり、強力ですが古風な手法です。
• Office.js: Excelと対話するための現代的なウェブベースの方法。

また、異なる「オーケストレーション（調整）」スタイルもテストしました。ある手法は、AIにコードを書かせ、あとは成功を祈る（ワンショット）ものです。別の手法は、AIにコードを書かせ、結果を確認し、間違いを見つけたら修正して、再度試行させる（マルチターン）ものです。

判明した事実は驚くべきものでした：

1. ツールベルトは脳よりも重要： AIがスプレッドシートを制御するために使うツールの種類は、決定的な違いを生みました。例えば、「ピボットテーブル」（複雑な要約テーブル）を作成することは、複数のステップをこなさなければならないPythonツールにとって非常に困難でした。しかし、ピボットテーブル用のコマンドが組み込まれているVBAやOffice.jsを使用した場合、AIはより優れた成果を出しました。論文は、「インターフェース」はモデルの知能と同じくらい重要であることを示唆しています。
2. 当面は「具体性」が王様： 指示が非常に詳細であった場合（レベル1）、AIモデルは合理的に機能しました。しかし、指示が短く曖昧になるにつれ（レベル3）、パフォーマンスは急激に低下しました。モデルは、人間が行うように「空白を埋める」ことに苦戦しました。
3. ピボットテーブルの問題： AIは数式やチャートの作成には一定の能力を示しましたが、ピボットテーブルの作成においてはほぼ完全に失敗しました。ピボットテーブルに対する「ソフトスコア」（結果が完璧に近い度合いを示す指標）は、ほぼすべてのモデルにおいてゼロに近い値でした。これは、複雑で多段階的なデータの要約を扱うAIの能力における根本的なギャップを示唆しています。
4. 「成功」メッセージを信じるな： 多くのAIモデルは、失敗しているにもかかわらず、完了したと主張することがあることが判明しました。例えば、Claudeモデルでは、モデルが「終了しました」と回答した際、80%以上の確率で、構造的なエラー（チャートを間違った場所に置いている、あるいはチャート自体が欠落しているなど）が発生していました。これは「ハルシネーションによる成功（幻覚的な成功）」と呼ばれ、実用化における大きな障壁となっています。

未来への意味

本論文は、AIは厳格で詳細な指示に従うことは得意になりつつあるものの、完全に自律的なスプレッドシートの魔術師になる準備はまだ整っていないと結論付けています。「ワークブック・タイムマシン」は、AIをテストする方法が、AIそのものと同じくらい重要であることを証明しました。もし、簡単で詳細なプロンプトだけでテストを行えば、AIが実際よりも賢いと誤認してしまう可能性があります。

研究者たちは、より優れたモデルにするためには、「カリキュラム」を用いて教える必要があるかもしれないと示唆しています。つまり、詳細なレベル1の指示から始め、徐々に曖昧なレベル3へと移行させ、空白を埋める方法を学ばせるのです。また、彼らの構築したパイプラインは、単に作成するだけでなく、データの削除や修正といった他のスプレッドシート操作にも拡張可能であると述べています。

結局のところ、この研究は、私たちは正しい方向に進んでいるものの、真に自律的なスプレッドシート・エージェントへの道のりはまだ長いことを示しています。AIはレシピに従うことはできますが、指示が曖昧になったりタスクが複雑になったりしたときには、依然として人間の手助けを必要としています。「タイムマシン」は、AIがどこに強く、どこで学ぶ必要があるのかという地図を提供し、将来のテストが公平で、バランスが取れており、人間が実際にスプレッドシートを使用する際の乱雑な現実に即したものになることを保証しました。