EvolveNet: Collaborative Harness Evolution for Agent Self-Improvement
EvolveNetは、ローカルエージェントに対して独立した進化のための共有ハーネスをブロードキャストし、その後それらのプログラム適応を統合することで、生のデータを中央集約することなく隔離されたワークロード間での知識転送を可能にする、エージェントの自己改善のための協調的フレームワークを導入する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、コードを書いたり、数学の問題を解いたり、旅行の計画を立てたりできる、超スマートなロボットの脳（大規模言語モデル）を持っていると想像してください。しかし、その脳は凍結されており、再学習させたり、内部の配線を変更したりすることはできません。その脳に実際に「何か」をさせるためには、それを「ハーネス（装着具）」で包む必要があります。つまり、いつ話すべきか、どのツールを使うべきか、どのように自分の仕事をチェックするか、そして間違いを犯したときにどう対処すべきかを指示する、一連の指示、スクリプト、またはプログラムです。ハーネスは、ロボットの体や神経系のようなものだと考えてください。より優れた「体」があれば、同じ凍結された脳であっても、以前には不可能だった奇跡を起こすことができます。
長い間、科学者たちは、ロボットの失敗と成功のすべてを一つの巨大なデータの山として中央の本部に集めることで、これらの「体」を改善しようと試みてきました。そこでは、単一の「オプティマイザー（最適化器）」が、すべての人に適合する一つの完璧な体を進化させようとしました。しかし現実の世界では、ロボット（あるいはエージェント）はいたるところに散らばっています。異なる企業、異なるデータベース、そして異なる環境の中に存在しています。彼らはプライバシー規則や技術的な制限のために、常に自分のプライベートなデータを共有できるわけではありません。ここにパズルがあります。データを一箇所に集めることができない場合、どのようにして全員のための共有された超スマートな体を作ることができるのでしょうか？
ここで、新しい巧妙なアイデアを持つ論文「EvolveNet」が登場します。EvolveNetは、すべての乱雑なデータを一箇所に集める代わりに、その手法を逆転させます。それは「共有された体（ハーネス）」を、すべてのロボットのもとへと送り出すのです。各ロボットは、自分自身のローカルデータと特定の問題を用いて、その体を改善しようと試みます。作業が終わると、彼らはデータそのものを送り返すのではなく、体に対して行った「変更点のみ」を送り返します。すると、中央のサーバーがマスター・テーラー（熟練の仕立て屋）のように振る舞い、これらすべての異なる修正事項の中から最も優れた部分を縫い合わせ、一つの新しく改良された共有の体を作り上げます。そして、それが再び全員へと送り出されるのです。
この論文は、この「協調的進化」が驚くほど効果的に機能することを見出しています。テキストをデータベース・クエリに変換したり、データサイエンスのコードを書いたり、競技プログラミングの課題を解決したりといった、5つの異なる領域にわたるテストにおいて、共有された体はあらゆるタスクで大幅に向上しました。例えば、DS-1000と呼ばれるコーディング・チャレンジでは、精度が55.5%から68.5%へと跳ね上がりました。決定的なのは、この向上は単に一つの優れたロボットを選び出し、他のロボットを無視することによって得られるものではないという点です。それは、異なるロボットによって発見されたユニークな修正を「組み合わせる」ことによってもたらされます。あるロボットは特定の数学ライブラリに関する問題を修正し、別のロボットは異なる領域における論理エラーを修正するかもしれません。サーバーの役割は、それらの修正が互いに衝突することなく、両方の修正をどのように保持するかを見極めることです。研究者たちは、「スコープ型（範囲指定型）」のルールを用いることで（本質的には、体に「数学を扱っているときはこの修正を使い、マップを扱っているときはあの修正を使うように」と伝えることによって）、これらの異なるスキルを単一の超高性能なエージェントへと統合できることを明らかにしました。
また、この研究は、優れた結果を得るためにデータを中央集約する必要はないという考えを否定しています。データをローカルに保ち、プライベートな状態に保ったまま、共に賢いシステムを構築できることを証明しています。ただし、著者たちは、これがすべてを一瞬で解決する魔法の杖ではないことにも注意を促しています。プロセスには数回の試行錯誤のラウンドが必要であり、システムは変更が実際に機能するかどうかを確認するために、ラベル付けされたデータに依存しています。結果は強力であり、複数の現実世界のシナリオにわたって測定されていますが、論文は、システムがより大規模になり、より多くのラウンドを実行するようになるにつれ、コードが大きすぎたり乱雑になったりするといった、管理すべき新たな課題が生じる可能性があることを示唆しています。しかし、現時点では、EvolveNetは、多くのエージェントにそれぞれの専門スキルを進化させ、それを注意深く縫い合わせることで、単一のエージェントが単独で行えるよりもはるかに賢い「集合知」を作り出せることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。