Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost

あなたは、ロボットに巨大で散らかった遊び場をナビゲートする方法を教えていると想像してください。最初は、ロボットは好奇心旺盛な幼児のようです。前へ進もうとして壁にぶつかり、混乱し、また別の方法を試し、そして少しずつ学習していく……といった具合です。これは、現代のAI「エージェント」がどのように機能するかをよく表しています。これらは強力な言語モデルであり、指示を理解しコンピュータと対話することができますが、新しい複雑な課題に直面すると、あらゆるステップをゼロから「考え」直さなければならないことがよくあります。ドアを開けようとして失敗し、別の方法を試し、また失敗し、正解にたどり着くまでループを繰り返すといった具合です。これは機能はしますが、遅くてコストがかかります。ロボットが「考える」たびに、人間がパズルを解くために費やす時間に対して料金を支払うのと同じように、お金と時間がかかるのです。

大きな疑問は、研究者たちが投げかけている問いです。「どうすれば、ロボットが同じことを何度も学び直すことなく、より上手くなるように教えられるだろうか？」その答えは通常、「スキル」にあります。スキルとは、ショートカットや既成のレシピのようなものです。ケーキを焼くたびにゼロから方法を考えるのではなく、すでに書き留めてあるレシピに従うのです。しばらくの間、科学者たちはこれらのレシピを平易な英語で書こうと試みてきました。しかし、この論文の著者たちはこう疑問に思ったのです。「もし、レシピを英語ではなく『コード』で書いたらどうだろうか？」コードは、コンピュータが混乱したり時間を無駄にしたりすることなく、即座に実行できる超精密な取扱説明書のようなものです。もし、ロボットの泥臭い試行錯誤の経験を、クリーンで再利用可能なコードに変えることができれば、ロボットはより速く、より安価に、そしてより賢くなれるのではないか、という大きなアイデアです。

これこそが、「SpeedRunner」プロジェクトのチームがテストしようとしたことです。彼らは、AIエージェントが単に指示されるのを待つのではなく、作業をしながら自分自身のコードベースのスキルを学習する方法を検証したいと考えました。彼らは、AIがゲームをプレイし、ミスを犯し、次に特別な「コーディング・エージェント」がロボットの履歴をチェックするというシステムを構築しました。このコーディング・エージェントは、探偵であり、プログラマーでもある存在です。それはロボットの過去の試行をスキャンし、ロボットが何度も失敗したり、同じ長い手順を繰り返したりしていたパターンを見つけ出し、それを修正するための新しいコードを書き上げます。それは、靴紐を結ぼうとしている人のビデオを見ながら、「紐が何度も引っかかっている」ことに気づき、二度と引っかからないようにするための完璧で小さな取扱説明書を書くようなものです。

研究者たちは、このアイデアを3つの非常に異なる仮想世界でテストしました。化学物質を混ぜる必要がある科学実験室、オブジェクトを拾うための指示に従う必要があるグリッド・ワールド、そして資源を集めたりゾンビと戦ったりする必要があるサバイバルゲームです。どの場所においても、「SpeedRunner」エージェントは作業中に独自のコードスキルを自律的に学習しました。結果は驚くべきものでした。他の手法がループに陥ったり、学習が進むにつれてコストが増大したりした一方で、SpeedRunnerは学習を進めるほど、より安価に、より速くなっていったのです。それは、長く複雑な一連のアクションを、短く再利用可能なコード関数へと変換しました。例えば、ロボットが木を見つけるために多くのコストをかけて「考える」代わりに、「find_tree（木を見つける）」という単純なコードコマンドを学習し、それを即座にクリックして使用できるようになったのです。

この論文は、このアプローチがコスト面においてゲームチェンジャーであることを示唆しています。あるテストでは、SpeedRunnerエージェントは、標準的な手法が同じ問題を解決するために使用したコンピューティング・リソース（計算能力）の約8分の1のコストしか使いませんでした。しかし、単に節約できただけではありません。エージェントはタスク自体もより上手くなりました。鍵となったのは、コーディング・エージェントが単に起きたことを記憶するのではなく、「なぜ」失敗したのかを分析したことです。もしロボットが見つけられないせいで資源を見つけることに失敗し続けていたなら、コーディング・エージェントは諦める前に「エリアを掃討する（sweep the area）」という新しい関数を書き込みました。これにより、エージェントは堅牢（ロバスト）になり、ゾンビが突然現れるような環境の変化に対しても、パニックに陥ることなく対処できるようになりました。

しかし、著者たちは、これがあらゆる状況における魔法の杖ではないことにも注意を促しています。ロボットがすでに特定のタスクに非常に習熟している場合、コードの使用を強制すると、レシピにあまりに厳格に従いすぎて、オーブンが壊れた時に適応できないロボットのように、少し硬直してしまう可能性があることが分かりました。しかし、ほとんどの複雑で長期的なタスクにおいては、泥臭い経験をクリーンなコードに変えることが、AIエージェントをより賢く、かつ手頃な価格にするための最善の方法であるようです。この研究は、エージェントがプレイしながら自分自身の「自動化されたショートカット」を書き込めるようにすることで、新しい課題に直面するたびにゼロから再学習することなく、効率的に学習できるシステムを構築できることを示しています。