A complementary study on PlanGPT: Evaluation with defined Performance Metrics and comparison with a planner
本論文は、定義された性能指標を用いたPlanGPT大規模言語モデルの補完的な評価を提示しており、それが従来のプランナーに対して優位性を持たず、単純な貪欲探索戦略よりも優れた性能を発揮しないことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ロボットに散らかった部屋を掃除させようとしているところだと想像してください。あなたには、ルールのリスト（「靴下を拾う」「靴下を洗濯カゴに入れる」など）、部屋の開始時の写真、そしてきれいな部屋の状態を示すゴールとなる写真があります。ロボットは、散らかった状態からきれいな状態に至るための正確な手順のシーケンスを見つけ出す必要があります。
人工知能の世界では、これを**自動計画（Automated Planning）**と呼びます。通常、私たちはこのパズルを解くために、**プランナー（Planner）**と呼ばれる特別な、非常に論理的なコンピュータプログラムを使用します。これらは、あらゆる可能な動きを計算して完璧な経路を見つけ出す、マスター級のチェスプレイヤーのような存在です。
最近、PlanGPTという新しいタイプのAIが登場しました。PlanGPTを、論理的な機械ではなく、これらのステップバイステップの指示を「書く」ように訓練された超クリエイティブなライター（大規模言語モデル）だと考えてみてください。大きな疑問は、「このクリエイティブなライターは、果たしてマスター級の論理機械の仕事をこなせるのか、それとも単に推測しているだけなのか？」ということでした。
この論文は「補完的研究」です。つまり、著者たちは、元のレポートがすべての物語を語り尽くしていなかったため、PlanGPTの仕事を再確認することに決めたのです。
実験：三者三様のレース
PlanGPTが本当に優れているかどうかを確認するために、著者たちは、ブロックを積み上げることからトラックを動かすことまで、7つの異なる「部屋（ドメイン）」のトラック上で、3人のランナーによるレースを設定しました。
- PlanGPT（クリエイティブなライター）： 学習したパターンに基づいて計画を推測しようとする新しいAI。
- A（完璧主義者）：* 最善かつ最短の経路を見つけ出すために時間をかける伝統的なプランナーですが、部屋があまりに散らかっていると行き詰まってしまうことがあります。
- Greedy（スプリンター/短距離走者）： 最初に見つけた有効な経路を即座に掴み取る伝統的なプランナー。必ずしも最善の経路ではありませんが、驚異的に速いです。
著者らは2つの指標を測定しました。
- プランのコスト（Plan Cost）： ロボットが何ステップ踏む必要があったか。（ステップが少ないほど、より良い結果です）。
- 計画時間（Planning Time）： コンピュータが計画を考案するのにどれくらいの時間がかかったか。
結果：ライター vs スプリンター
著者らが発見した内容は、以下の簡単な比喩を用いて説明できます。
- 「完璧な」経路： PlanGPTは、時として完璧主義者（A*）と同じくらい優れた経路を見つけることができましたが、多くの場合、そうではありませんでした。
- スピードテスト： スプリンター（Greedy）は、計画を立てる際、ほぼ常に最も速かったです。PlanGPTは完璧主義者より速いこともありましたが、スプリンターより遅いこともよくありました。
- 大きな驚き： 全体的なスコアを見ると、PlanGPTはスプリンター（Greedy）よりも優れたパフォーマンスを示しませんでした。 多くの場合、スプリンターの方が、より良く、短い計画を見つけることに長けていました。
「一人の専門家がすべてをこなすことはできない」問題：
著者らは、PlanGPTの設計における重大な欠陥を指摘しています。動作するためには、PlanGPTはあらゆる種類の部屋に対して異なる「脳（モデル）」を必要とします。
- ブロックを積み上げたいなら、モデルAが必要です。
- トラックを動かしたいなら、モデルBが必要です。
- 人工衛星を飛ばしたいなら、モデルCが必要です。
これは、家の中のあらゆる雑用に対して、別々のスペシャリストを雇うようなものです。ある人は料理が得意で、別の人は掃除が得意ですが、8つの仕事をするために8人の異なる人を雇わなければなりません。これは膨大なコンピュータ資源（リソース）を消費します。著者らは問いかけました。「たった一つの高速な『スプリンター』ができる同じ仕事をさせるために、高価な専門家チームを大量に雇う価値はあるのだろうか？」と。
結論
この論文は、PlanGPTは興味深い実験ではあるものの、現時点では「有能な」プランナーではないと結論付けています。
- それは、単純で速い手法よりも優れた計画を一貫して見つけることはできません。
- 膨大なリソース（8つの異なるモデル、大量の計算能力）を必要とします。
- 訓練されたものよりも多くのオブジェクトを扱う複雑な問題に対処できません。
著者らは、大規模言語モデル（PlanGPTのようなもの）は、この特定の仕事には向いていない可能性があると示唆しています。それらは物語を書いたりチャットしたりすることには適しているかもしれませんが、伝統的な論理プログラムの方が依然としてプランニングには最適です。彼らは、おそらく「言葉を予測する」のではなく「推論する」ように設計された別の種類のAIこそが未来になるだろうと示唆していますが、今のところ、クリエイティブなライターが論理の機械に打ち勝つことはできていません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。