🤖 AI

AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization

AgentPSO は、エージェントを群れ最適化プロセスにおける粒子として扱うことでマルチエージェント推論能力を進化させる新規フレームワークであり、個人およびグローバルな最良の経験の組み合わせを通じて自然言語推論戦略を反復的に更新し、基盤となる言語モデルのパラメータを変更することなく問題解決性能を向上させるものである。

原著者： Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

4 人の天才的な探偵チームが、非常に厄介な謎を解こうとしている状況を想像してください。過去には、彼らが行き詰まると、リアルタイムで互いに議論し合う（行き来する議論）か、あるいは各自でより深く考えるしかありませんでした。どちらの方法にも問題がありました：議論は時間がかかりすぎ、時には反対することを恐れて誤った答えで合意してしまうこともあり、一人で考えることは同じ過ちを繰り返すことを意味していました。

この論文は、これらの探偵を訓練する新しい方法、AgentPSO を導入します。捜査中に議論する代わりに、彼らは事件が始まる前に一緒に訓練し、互いから学ぶことで、問題解決能力を永続的に向上させます。

以下は、シンプルな比喩を用いた仕組みの説明です：

「蜂の群れ」の比喩

4 人の探偵を群れの中の蜂だと考えてください。自然界では、蜂は情報を共有することで最高の花を見つけます。1 匹の蜂が素晴らしい花の群れを見つけた場合、他の蜂はそれから学びます。

AgentPSO では、各探偵（エージェント）が、問題の解決方法に関する「バックパック」を運ぶ蜂のような存在です。このバックパックが彼らのスキルです。

目標： 彼らは、数学と論理パズルを完璧に解けるように、バックパックをアップグレードしたいと考えています。
プロセス： 彼らは議論によってバックパックを変更するのではなく、問題のバッチを解こうとし、他者の行動を見て、指示を微調整する訓練ループを経ます。

3 つの魔法の成分

チームが訓練するたびに、各探偵は、コンピュータサイエンスにおける粒子群最適化（PSO）アルゴリズムが機能するのと同様に、3 つの特定の助言源を用いてバックパックを更新します。

「個人のベスト」（鏡を見ること）：
探偵は自分の過去を見つめます。「ねえ、前回はこの特定の計算チェック方法で正解した。これを続けよう。」これが彼らの個人のベストスキルです。
「グローバルベスト」（スター選手を見ること）：
探偵はチーム全体を見渡します。「わあ、探偵 B は特別なトリックを使って最後の問題を完璧に解いた。あのトリックを学ぼう。」これがグループ全体で見つかったグローバルベストスキルです。
「自己反省的な方向性」（批判的なコーチ）：
これが論文の特別な秘密兵器です。単にスター選手の指示を一字一句そのままコピーする（それはこの特定の探偵には意味をなさないかもしれない）のではなく、探偵はコーチのように振る舞います。彼らはスター選手の思考プロセスを見て、「なぜ彼らは成功したのか？私は何が間違っていたのか？」と問います。
- 例：スター選手が「エッジケース」（ルールを破る奇妙な数値）をチェックし、探偵がしなかった場合、コーチは探偵に「奇妙な数値をチェックするステップを追加する必要がある」と伝えます。
- これにより、単に答えをコピーするのではなく、どのように改善するかについての具体的な指示である自己反省的な方向性が生まれます。

訓練ループ

チームはこのサイクルを 10 回実行します：

試す： 全員が現在のバックパックの指示を使って、一連の練習問題を解きます。
見る： 彼らは互いの作業を交換します。誰が正解し、どのように解いたかを確認します。
反省： 各探偵は、何を変更すべきかについてのメモ（自己反省的な方向性）を自分自身に書きます。
更新： 彼らは古いメモ、個人のベスト、チームのベスト、そして新しい反省を組み合わせて、バックパックの指示を書き換えます。
繰り返す： 新しい指示で再度試みます。

これが重要である理由

この論文は、この方法が従来の方法よりも優れていることを 2 つの主な理由で示しています：

無限の議論はもう不要： 従来の「マルチエージェント議論」方法では、探偵たちは各問題ごとに互いに話し合わなければならず、それは遅く、コストもかかりました。AgentPSO では、学習はすべて訓練中に行われます。実際の問題を解く時が来れば、彼らは独立して作業し、答えについて投票するだけです。それは迅速で効率的です。
彼らは実際に学び、単に暗記するだけではない： この論文は、探偵たちが練習問題の答えを単に暗記しただけではないことを証明しています。研究者が新しい種類のパズルを与えた場合（あるいは異なる AI モデルに同じ指示を使用させた場合でも）、探偵たちは依然として良好なパフォーマンスを発揮しました。これは、彼らが特定の答えを暗記するのではなく、一般的な推論スキル（例：「常にエッジケースをチェックする」）を学習したことを意味します。

結果

訓練の終わりまでに、探偵チームは進化を遂げています。彼らはもはや 4 人のランダムな思考者ではなく、各メンバーが洗練された再利用可能な指示セットを持つ、高度に調整されたチームです。このセットは、彼らを開始時よりも、そしてリアルタイムで議論するだけのチームよりも賢くします。

要約すると： AgentPSO は、AI エージェントが作業を開始する前に互いの過ちと成功から学ぶように教える方法であり、AI の脳を変えることなく、その「指示書」を変えるだけで、平均的な思考者の集団を問題解決のスーパーチームへと変えるものです。

技術的概要：AgentPSO

問題定義

大規模言語モデル（LLM）は複雑な推論において顕著な進歩を遂げてきたものの、その性能はプロンプトエンジニアリングや指示された特定の推論スキルに強く依存したままです。推論能力を向上させる既存のアプローチは、いずれも限界を有する 2 つのカテゴリーに大別されます。

単一エージェントの自己進化：自己反省を通じて単一エージェントのプロンプトまたはポリシーを洗練させる手法は、探索的多様性が限定的であり、モデル固有のバイアスに制約された局所最適解に陥りやすいという欠点があります。
推論時のマルチエージェント協調：マルチエージェント議論や集約などのアプローチは、推論中にエージェント同士が互いを批判することを可能にします。しかし、これらの手法は誤った同調圧力や偏った合意形成に脆弱です。重要なのは、これらが静的である点です。エージェントの基盤となる推論スキルはタスク間で進化せず、テスト時の多ラウンド議論に伴う計算オーバーヘッドは甚大です。

本研究が扱う中心的な問いは以下の通りです：マルチエージェントシステムは、単一のインスタンスに対する出力の洗練に留まらず、集団的な相互作用を通じて基盤となる推論スキルを反復的に進化させることができるでしょうか？

手法：AgentPSO

著者は、マルチエージェント推論スキルの進化を、粒子群最適化（PSO） に着想を得た動的な最適化問題として扱うフレームワーク、AgentPSO を提案します。連続的な数値ベクトル上で動作する標準的な PSO とは異なり、AgentPSO は自然言語スキル空間上で動作します。

中核概念

エージェントを粒子として：N 個のエージェントからなる集団内の各エージェント $A_i$ を粒子として扱います。
状態（ $s_i^t$ ）：粒子の「位置」は、そのエージェントの現在の推論スキルであり、自然言語の指示として定義されます。
速度（ $v_i^t$ ）：「速度」は意味的な更新方向であり、スキルに適用されるテキスト修正を表します。
個人最善（ $p_i^t$ ）と集団最善（ $g^t$ ）：これらは、検証精度に基づいて、それぞれ個々のエージェントと集団全体が発見した最高性能のスキル状態を表します。

進化ループ

このフレームワークは $T$ 回のトレーニング反復にわたって動作し、基盤となる LLM のパラメータを更新することなく、スキル指示のみを最適化します。各反復は以下の 4 つのステップに従います。

独立した解決：すべてのエージェントは、現在のスキル（ $s_i^t$ ）を用いて、同じトレーニングバッチを独立して解決します。この段階ではエージェント間の通信を行わず、特定のスキルに対する性能の帰属を明確にします。
ピア観察と自己反省：各エージェントは、集団全体の推論トレースと正解ラベル（自身のスキル指示を除く）を観察します。これに基づき、エージェントは Reflect 関数を用いて自己反省的な方向性（ $d_i^t$ ） を生成します。この方向性は、単にピアのプロンプトをコピーするのではなく、ピアの軌跡から再利用可能な教訓（仮定の確認、問題の分解など）を特定します。
PSO に着想を得た更新：エージェントは、以下の要素を組み合わせることで、意味的な速度（ $v_i^{t+1}$ $v_{i}^{t + 1}$ ）を更新します。
- 前の速度（ $v_i^t$ ）。
- 自己反省的な方向性（ $d_i^t$ ）。
- 個人最善のスキル（ $p_i^t$ ）。
- 集団最善のスキル（ $g^t$ ）。
  これは VelocityUpdate 関数を通じて実行され、LLM が現在のスキルをどのように修正するかを記述する新しいテキスト指示を合成します。
スキル書き換え：新しい速度は SkillUpdate 関数を通じて現在のスキルに適用され、次のスキル状態（ $s_i^{t+1}$ ）が生成されます。
検証と選択：更新されたスキルは検証バッチで評価されます。個人最善および集団最善のスキルは、新しい性能が以前の最善値を閾値 $\epsilon$ だけ上回った場合にのみ更新され、ノイズによる探索の不安定化を防ぎます。

テスト時には、進化させたエージェントが独立して問題を解決し、その回答を多数決で集約することで、高コストな多ラウンド議論の必要性を排除します。

主要な貢献

AgentPSO フレームワーク：自然言語空間において、個人最善、集団最善、および自己反省的な方向性を通じてエージェントを更新することで、マルチエージェント推論スキルを進化させる PSO に着想を得たフレームワークの導入。
持続的なスキル進化：AgentPSO がエージェント能力の持続的な進化をもたらすことを実証。高コストなテスト時の相互作用を必要とせず、静的な単一エージェントプロンプトや議論ベースのマルチエージェントベースラインよりも強力な性能を達成。
転移性：進化させたスキルが異なる推論ベンチマーク、さらには異なる基盤 LLM 間でも転移することを示す証拠。これは、タスク固有のプロンプトを暗記するのではなく、一般的な推論行動を学習していることを示唆。

実験結果

著者は、AgentPSO を数学的推論ベンチマーク（DeepMath, MATH, AIME25, Minerva）および一般的な推論ベンチマーク（BigBenchHard）で評価しました。

性能：AgentPSO はすべてのベンチマークで平均精度 71.98% という最高値を達成し、バニラ単一エージェント手法（例：Chain-of-Thought で 64.50%）、高度な単一エージェント手法（例：Self-Refine で 66.50%）、および静的なマルチエージェントベースラインである MAD（67.68%）や DMAD（68.79%）を上回りました。
漸進的改善：分析により、個人最善および集団最善のスキルが反復を通じて漸進的に改善し、集団をより効果的なスキル構成へと導いていることが示されました。
ベンチマーク間転移：DeepMath で最適化されたスキルは BigBenchHard でも良好に機能し（その逆も同様）、静的なベースラインを上回りました。これは、一般化可能な推論手順を学習していることを示しています。
モデル間転移：GPT を用いて最適化されたスキルは、追加のトレーニングなしに Claude に適用され、Claude の平均精度を（標準プロンプト使用時の約 52-55% から）58.37% まで向上させました。
アブレーション研究：自己反省的な方向性（ $d_i$ ）を除去すると性能が大幅に低下し、個人最善・集団最善という標準的な PSO ガイドのみでは複雑な推論スキルの最適化には不十分であることを確認しました。自己反省的コンポーネントは、再利用可能な教訓を抽出するための必要な行動ガイダンスを提供します。
効率性：AgentPSO はトレーニング段階を必要としますが、議論ベースの手法（MAD, MoA）と比較して推論時のレイテンシを大幅に削減します。これは、進化させたエージェントが独立して問題を解決し、投票によって回答を集約するため、多ラウンド通信のオーバーヘッドを回避できるからです。

意義と主張

本論文は、AgentPSO が、マルチエージェント協調を単なる回答洗練のための推論時メカニズムとしてだけでなく、集団レベルで再利用可能な推論スキルを進化させるためのモデルパラメータフリーのプロセスとしても機能し得ることを実証していると主張しています。

エージェントを、互いの推論軌跡から学習する群れ内の粒子として扱うことで、このフレームワークは、基盤モデルの重みを更新することなく、エージェントが（問題分類、エッジケースの検証、フォーマット準拠などの）再利用可能な推論行動を獲得することを可能にします。著者は、このアプローチが、タスクやモデル間で転移する一般的な推論手順をエージェントに内面化させることで、静的なプロンプトや推論時の議論の限界を超え、推論システムの信頼性と効率性を向上させると位置づけています。

本研究は限界を認めており、推論ベンチマークに焦点を当てており、知識集約型ドメイン（推論スキルの進化よりもドメイン知識の検索がより重要となり得る領域）には焦点を当てていないこと、およびトレーニングプロセスには追加の LLM 呼び出しが必要であることを指摘しています。しかし、集団的な反復的相互作用を通じてエージェント能力を進化させるという新たなパラダイムを確立しています。