Right Family, Wrong Skill: Benchmarking Risk Exposure in Agent Skill Retrieval

人工知能という新たな世界において、ソフトウェアエージェントは私たちの代わりに行動することを学びつつあります。これらのデジタルアシスタントは、単に質問に答えるだけでなく、膨大な専門的なツールのライブラリ、すなわち「スキル」へと手を伸ばし、仕事を完遂するためにタスクを実行します。本を単に見つけるだけでなく、その本を開き、中の指示を読み、さらにテキストに記載されているハンマーや計算機を使って壊れた椅子を修理できる司書を想像してみてください。これが機能するためには、エージェントはその瞬間に適したツールを呼び出す必要があります。もしタスクが繊細な操作を必要とするなら、エージェントは精密で安全なスキルを必要とします。もしタスクが荒削りで即席のものを求めるなら、異なるアプローチが必要になります。課題は、これらのライブラリが巨大かつ無秩序になっており、表面上は非常によく似ているものの、内部的な挙動が異なるツールで溢れていることです。

問題は、単に関連がありそうなツールを見つけることではなく、正しいツールの「間違ったバージョン」を選んでしまう罠を回避することです。研究者が安全にデータを扱うスキルを必要としているのに、ライブラリの中に、安全チェックを無視する、ほぼ同一のスキルが含まれている場合があります。もしエージェントが誤った方をつかんでしまったら、その結果はタスクの失敗から危険なエラーまで多岐にわたります。この特定の失敗、つまり「正しいツールの系統は見つけ出したが、その系統の中から誤った代表者を選択してしまう」という現象は、これまで測定することが困難でした。ファーウェイ・テクノロジーズ（Huawei Technologies）と同済大学の研究チームは、この危険性をマッピングすべく、エージェントが有用なツールと、その危険な紛らわしいものをいかに区別できるかをテストするための新しい方法を構築しました。

研究者たちは、この特定の種類のミスを捉えるために設計された制御環境である「SameCapRisk-Bench」というテスト場を構築しました。彼らは、エージェントに問題を解決させる1,100件以上のテストケースを作成しました。各問題には、その仕事に完璧に適合するスキルと、「リスクのある兄弟（risky sibling）」が存在します。この兄弟とは、同じカテゴリーに属しながらも、安全チェックの欠如や誤ったリソースの使用といった隠れた欠陥を持つツールです。目的は、エージェントの検索システムが、危険な双子を無視して完璧なスキルを選択できるかどうかを確認することでした。テストには2種類の挑戦が含まれていました。第一の挑戦は、数千のスキルを持つ大規模な公開ライブラリを用い、多くの妨害物の中から正しいものを見つけ出せるかを検証するものでした。第二の挑戦は、より高度なテストであり、2つのスキルの役割を入れ替えたものです。あるシナリオでは有用であったツールが、少し異なるシナリオではリスクのあるものとなるように設定されており、システムに対して、単なる一般的なトピックではなく、リクエストの具体的な詳細に注意を払うことを強制しました。

研究者がテストを実施したところ、現在のシステムはツールの一般的なカテゴリーを見つけることには非常に優れているものの、安全なバージョンを選択することにはしばしば失敗することが判明しました。標準的な公開検索システムを使用した場合、エージェントは90パーセント近いケースで有用なスキルを見つけることに成功しました。しかし、それらの成功事例のうち約35〜37パーセントにおいて、システムは「リスクのある兄弟」をトップの結果の中に引き込んでしまいました。これは、エージェントが正しいツールの系統を見つけたとしても、頻繁に誤った代表者に身をさらしていることを意味します。研究者たちはこれを「有害な兄弟率（harmful sibling rate）」という指標を用いて測定しました。これは、危険な紛らわしいツールが最終的な選択肢のリストにどの程度含まれてしまうかを追跡するものです。データは、システムが「再現率（recall）」（正しいツールを見つけること）には優れている一方で、「安全でないものを排除すること」には不十分であることを示しました。

これを解決するために、チームはプロセスを2つのステップに分離する新しいアプローチをテストしました。まず、どのツールが同じ系統に属するかを特定します。次に、最終的なランキングを行う前に、その系統から特定の代表者を1つだけ選ぶという具体的な選択を行います。この手法を適用したところ、結果は劇的に変化しました。システムは依然として高い割合で有用なスキルを見つけ出しましたが、誤ってリスクのある兄弟を含んでしまう回数は、最良のケースでは30パーセント以上から1パーセント未満へと減少しました。これは、失敗の原因が正しいトピックを見つけることにあるのではなく、特定のツールを使用するという最終的な決定にあることを証明しました。この研究は、単に関連するツールのリストを作成するだけでは不十分であり、システムは現在のタスクに対して、ツールのどのバージョンが安全であるかを能慮に決定しなければならないことを示唆しています。

この知見は、現在のAIエージェントがどのように構築されているかにおける決定的なギャップを浮き彫りにしています。ほとんどのシステムは、ユーザーの質問を正しいトピックに一致させることに焦点を当てており、「トピックが正しければ、ツールも安全である」と想定しています。本論文は、その仮定が誤っていることを実証しています。2つのツールは同じ名前と説明を共有していても、動作に関するルールが異なる場合があります。一方は実行するために特定の許可を必要とし、もう一方はそれを必要としないかもしれません。もしエージェントが許可チェックのない方を選んでしまえば、クラッシュしたり予測不能な挙動を示したりする可能性があります。研究者たちは、これらの系統間の衝突を解決するステップ（つまり、「これら類似したツールのうち、現在の特定のリクエストに対して実際に正しいのはどれか？」と問うステップ）を追加することで、正しいツールを見つける能力を損なうことなく、リスクへの露出を大幅に減少させられることを示しました。

本研究は、AIにおけるすべての安全性の問題を解決したと主張するものでも、ライブラリ内のすべてのツールが危険であると示唆するものでもありません。むしろ、見落とされがちな特定の、測定可能なリスクを明確にしたものです。研究者たちは、最も高度な公開システムであっても、正しい系統を見つけたケースの3分の1以上において、誤ったツールを露出させてしまうという区別に苦慮していることを明らかにしました。しかし同時に、これは解決可能な問題であることも示しました。ツールの選択を、一般的なトピックの選択とは別の独立した決定として扱うことで、開発者は有能かつ慎重なシステムを構築できます。本研究は、将来のAIエージェントのベンチマークは、単に「正しいツールが見つかったか」だけでなく、「誤った、リスクのあるバージョンが最終的な選択から排除されたか」をも測定すべきであると結論付けています。この焦点の転換は、何をすべきかだけでなく、それをいかに安全に行うべきかを正確に理解する、より信頼性の高いエージェントの実現につながるでしょう。