ItinBench: Benchmarking Planning Across Multiple Cognitive Dimensions with Large Language Models

この論文は、言語推論に加え空間推論(ルート最適化)を組み込んだ旅行計画タスクを評価対象とした新しいベンチマーク「ItinBench」を提案し、大規模言語モデルが複数の認知次元を同時に処理する際に一貫した高い性能を維持することが困難であることを明らかにしています。

Tianlong Wang, Pinqiao Wang, Weili Shi, Sheng li

公開日 2026-03-23
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

🗺️ 旅行計画の「天才」は、地図が読めない?

「ItinBench」で探る AI の頭脳の限界

みなさん、こんにちは。
最近、AI(特に大規模言語モデル)は「旅行の計画を立ててくれる」と言われていますが、本当に賢いのでしょうか?

この論文は、**「AI が旅行計画を立てる時、言葉の理解力と『地図を読む力』を同時に使うと、どっちもダメになる」**という面白い発見をした研究です。

まるで、**「料理のレシピ(言葉)は完璧に読めるのに、包丁の使い方がわからない」**ような状態です。


🧠 1. 問題:AI は「言葉」は得意だが、「空間」は苦手

これまでの AI のテストは、主に**「言葉の論理」**(例:「A は B より好き、B は C より嫌いなら、A と C はどっち?」)を問うものが多かったです。

でも、現実の旅行計画って、それだけじゃないですよね?

  • 「美味しいレストラン」を探す(言葉の理解)
  • 「朝から夜まで、効率的に回るルート」を考える(空間的な思考

この研究では、**「言葉の力」と「地図を読む力(空間推論)」の両方を同時に試す新しいテスト「ItinBench(イティンベンチ)」**を作りました。
フィラデルフィアという街を舞台に、AI に「3 日間の旅行プランを作って」と頼むのです。

🎒 2. 実験:AI に「旅行計画」を任せてみた

研究チームは、いくつかの AI(GPT-4o や Llama など)に以下の 4 つの課題を出しました。

  1. 言葉だけ: 条件に合うお店やホテルをリストアップするだけ。(地図は無視)
  2. 言葉+ルート: 条件に合うお店を選び、**「効率的な移動ルート」**も考えてもらう。
  3. フィルター付き+ルート: 条件に合うお店を事前に選んでおき、**「ルートだけ」**を考えてもらう。
  4. 道具使い+ルート: 検索ツールを使って情報を集めながら、**「ルート」**を考える。

📉 3. 結果:AI は「二兎を追うと一兎も得ず」

驚くべき結果が出ました。

  • 言葉の理解は得意: 条件に合う「美味しいレストラン」や「良いホテル」を見つけるのは、ある程度できました。
  • 空間思考は苦手: しかし、**「効率的なルート」**になると、AI は大失敗しました。
    • 隣り合っているはずのお店を、街の反対側にあるお店とセットにしてしまったり、
    • 無駄に遠回りするルートを作ったりしました。
  • 両方をやると両方ダメに: 言葉の理解とルートの最適化を同時に求めると、言葉の理解力まで下がってしまいました。まるで、**「歩きながら複雑な足し算をさせられたら、足も計算もどちらもボロボロになる」**ような状態です。

🧩 4. 面白い発見:AI は「地図」ではなく「文章」で考えている

最も興味深い点は、**「AI が本当に地図を頭の中で描いているわけではない」**という事実です。

  • 研究チームが AI に**「A と B は近いです(クラスター 1 に入っています)」**と、文章で距離の情報を教えてあげると、AI のルート作成能力が劇的に向上しました。
  • これは、AI が「地理的な距離」を計算しているのではなく、「近いです」という『言葉』をヒントにして、パターンを当てはめているだけであることを示しています。

つまり、AI は**「地図を見る目」を持っているのではなく、「近いです」という言葉を信じて、テキストを並べ替えているだけ**なのです。

💡 5. 結論:これからの AI には「空間の想像力」が必要

この研究からわかることは、**「今の AI は、言葉の天才だが、空間の天才ではない」**ということです。

  • 現実の課題: 旅行計画だけでなく、物流の配送ルートや災害時の避難経路など、現実世界の問題を解決するには、言葉の理解だけでなく、**「空間をイメージする力」**が不可欠です。
  • 今後の展望: これからは、AI に「地図」や「座標」を直接理解させるようなトレーニングが必要かもしれません。単に「近いです」という言葉を教えるだけでは、本当の意味での「空間思考」にはならないのです。

🌟 まとめ

この論文は、**「AI に旅行計画を任せる時、言葉の条件は満たせても、ルートが非効率になるかもしれない」**という警鐘を鳴らしています。

AI が本当に「人間のパートナー」として活躍するには、「言葉の理解力」と「空間をイメージする力」の両方をバランスよく育てる必要があるのです。

まるで、「レシピは完璧に読めるシェフ」に、「包丁の使い方も、食材の配置も、自分で考えて料理を完成させる力」**を身につけさせるようなものですね。