SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents

現代の人工知能の展望において、大規模言語モデルは受動的なテキスト生成器から、複雑なデジタル環境をナビゲートできる能動的なエージェントへと進化しています。これらのシステムは単に世界を記述するだけでなく、ソフトウェアツールを使用してコードを修復し、ファイルを管理し、一連の推論ステップと行動を通じて問題を解決するなど、世界と相互作用します。直面する膨大な種類のタスクを処理するために、開発者は手続き的な知識を「スキル」と呼ばれる再利用可能なモジュールとしてパッケージ化し始めました。名前と短い説明が付いた数千ものスキルが含まれるデジタルライブラリを想像してみてください。それらは、必要に応じてエージェントによって開かれるのを待っています。これらのエージェントにとっての決定的な課題は、単にこのライブラリにアクセスできることではなく、適切な瞬間にどの特定のファイルを開くべきかを知ることです。この決定は、エージェントがファイルの全内容を見る前に、しばしば単一の記述行に基づいて、タスクの途中で下されなければなりません。もしエージェントが間違ったスキルを選択すれば、取り組み全体が失敗する可能性がありますが、これまでは、エージェントにこの選択を正しく行う方法を教える信頼できる方法はありませんでした。

研究者たちは、これらのエージェントを訓練するための標準的な手法で十分であると長く想定してきました。それは、エージェントに候補となるスキルのリストを提示し、タスクを解決させ、最終的な結果が成功した場合にのみ報酬を与えるという方法です。その考えは、正しいスキルを選べば良い結果につながるため、エージェントは自然に正しいスキルの選択方法を学ぶであろうというものでした。しかし、新しい研究は、このアプローチには、特に長く複雑なタスクにおいて、エージェントがスキルを選択する能力を効果的に学習することを妨げる根本的な欠陥があることを明らかにしました。研究者たちは、エージェントがタスクの完了に失敗した場合、何が間違っていたのかを伝える訓練信号が、エージェントが生成したあらゆる単語に対して等しく放送されることを発見しました。一連の行動が長い場合、選択したスキルを命名したわずかな単語は、推論や実行に使用された数千もの単語の中に埋もれてしまいます。その結果、エージェントは自身の初期の選択に関するフィードバックをほとんど受け取ることができません。さらに悪いことに、もしエージェントが正しいスキルを選択したものの、その後の別のミスによって失敗した場合、訓練システムはその初期の選択を罰してしまい、正しい決定が実際には間違いであったとエージェントに教えてしまうのです。著者たちが「セレクター・クレジット・スターベーション（選択肢の報酬枯渇）」と呼ぶこの現象は、長い一連の動作の中で最も価値のある決定が、最も少なく、かつ最も誤解を招く指示しか受け取らないことを意味しています。

これを解決するために、研究チームは「SkillGate」と呼ばれる新しい訓練手法を開発しました。SkillGateは、一連の行動全体を一つのブロックとして扱うのではなく、学習プロセスを二つの独立したチャネルに分割します。一つのチャネルはタスクの実行を評価し、最終的な目標が達成されたかどうかに基づいてエージェントに報酬を与えたり罰を与えたりします。もう一つのチャネルは、エージェントがスキルを命名する瞬間にのみ焦点を当てます。この第二のチャネルは、選択されたファイルを特定するために使用された特定の単語のみに注目し、「これはその仕事に対して唯一正しいファイルであったか？」という単純な問いを投げかけます。もしエージェントが正しいスキルを選択し、それを一度だけ行ったのであれば、タスクの成否にかかわらず、その特定の選択に対して肯定的なフィードバックを受け取ります。もし間違ったファイルを選択したり、複数のファイルを選択したりした場合は、否定的なフィードバックを受け取ります。スキルの命名という決定をタスクの結果から切り離すことで、システムは、悪い結果につながった「良い選択」と、悪い結果につながった「悪い選択」を、エージェントが区別できるようにします。

このアプローチの結果は、複雑なエージェントタスクを含む5つの異なるベンチマークでテストされました。研究者たちは、この新手法を用いて90億パラメータを持つモデルを訓練し、従来の「結果のみ」のアプローチで訓練されたモデルと比較しました。SkillGateで訓練されたモデルは53.2パーセントの成功率を達成し、結果のみで訓練されたモデルの47.0パーセントという成功率を大幅に上回りました。この向上は、単にモデルが全般的に賢くなったという問題ではありません。その振る舞いは、具体的かつ測定可能な形で変化しました。SkillGateで訓練されたモデルは、誤解を招くような、あるいは無関係なスキルを読み取る可能性がはるかに低くなり、不適切な選択肢への露出を3分の2削減し、全体として読み取るスキル数も減少しており、より決断力のある正確な選択プロセスを示しました。また、単にモデルを大型化してもこの問題は解決しないことも示されました。はるかに大規模なモデルであっても、SkillGateで訓練されたより小さなモデルほど効果的にスキル選択タスクを学習できなかったのです。

この研究の意義は、エージェントがどのように学習するかという点が、それが目にするデータと同じくらい重要であることを示した点にあります。研究者たちは、旧来の手法で訓練されたモデルの訓練データを監査することで、彼らの診断を検証しました。彼らは、タスクが長くなるにつれて、学習信号がスキル命名の単語に到達する割合が劇的に減少し、ほぼ見えなくなっていることを発見しました。さらに、到達した信号は、しばしば本来あるべき姿とは逆であり、タスクが最終的に失敗したという理由だけで正しい選択を罰していました。スキルの選択をタスクの実行とは別に、それ自体の価値に基づいて判断するシステムを構築することで、研究者たちはこの構造的な障壁を取り除きました。この新しい手法により、エージェントは「適切なツールを選ぶこと」自体が、明確で直接的な指示を必要とする、独立した価値のあるスキルであることを学習できるようになりました。この発見は、エージェントが複雑な環境において真に信頼できるものになるためには、その訓練が、「行動するという決定」と「行動の結果」を区別できるほど精密でなければならないことを示唆しています。