The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

人工知能が急速に進化する世界において、単に質問に答えるだけでなく、行動を起こすという新しい種類のソフトウェアが登場しました。これらのシステムは、人間による監督がほとんど、あるいは全くない状態で、一連の手順を計画し、デジタルツールを使用し、ソフトウェアコードやウェブブラウザのような複雑な環境をナビゲートすることができます。これらのエージェントがいかに有能になりつつあるかを追跡するために、研究者たちは「タイムホライゾン（時間地平）」を用いてその進歩を測定する方法を開発しました。この概念は、人間の専門家が完了させるのにかかる時間で測定される、AIエージェントが成功裏に完了できるタスクの長さを表しています。もしエージェントのタイムホライゾンが1時間であれば、それはそのエージェントが、人間が完了させるのに約1時間かかる問題を確実に解決できることを意味しますが、2時間かかるタスクにはおそらく失敗することを意味します。この指標はAIの進歩を記述するための標準的な言語となっており、報告書によれば、このホライゾンは約7ヶ月ごとに倍増しており、機械がますます複雑な業務をこなせるようになる未来を示唆しています。

しかし、エージェントが平均的に何ができるかと、毎回必ず実行できると信頼できるかの間には、決定的な違いが存在します。繰り返される仕事を割り当てる人間のマネージャーや、自律的なシステムを監視する規制当局にとって、50パーセントの成功率はしばしば不十分です。もしタスクが繰り返し発生する場合、目標はエージェントが半分成功することではなく、そのタスクが現れるたびに成功することです。2回の試行のうち1回失敗するシステムは、多くの実世界のアプリケーションにおいて信頼性に欠けますが、標準的な「タイムホライゾン」という指標はこのリスクを捉えていません。これは能力の最前線を測定するものであり、信頼性の底を測定するものではないのです。この平均的なパフォーマンスと一貫したパフォーマンスの間のギャップこそが、新しい研究が解決しようとしている中心的な謎であり、エージェントの真の信頼性が、見出しを飾るような能力スコアと比較してどの程度遅れているのかを問うています。

これに答えるため、研究者たちは、2023年以降、数百種類の異なるタスクに対してAIエージェントの評価を実施してきたMETR組織による膨大な公開記録を活用しました。この研究は、2023年から2026年初頭までにリリースされた30種類の異なるモデルに焦点を当て、様々なタスクに対する6万件以上の個別の試行を分析しました。研究者たちは、エージェントが一度だけ成功したか失敗したかを見るのではなく、同じエージェントが同じタスクを何度も試みたときに何が起こるかを調査しました。彼らは特に、エージェントが合計成功確率50パーセントで、同じタスクを4回連続で完了できるポイントに注目しました。この「信頼性ホライゾン（reliability horizon）」は、エージェントが時折ではなく、一貫して対処できると期待できるタスクの長さを表しています。

結果は、エージェントができることと、信頼できることの間に、顕著かつ持続的なギャップがあることを明らかにしました。テストされたすべてのモデルにおいて、信頼できる繰り返しの成功のためのタイムホライゾンは、標準的な能力ホライゾンよりもはるかに短いものでした。平均して、信頼性ホライゾンは、平均成功ホライゾンの約2.4倍短くなっていました。これを具体的に例えると、もしトップクラスのモデルが、50パーセントの確率で成功する、人間が完了させるのに715分かかるタスクを扱う能力があるとしても、その同じモデルは、同じ程度の自信を持って、約355分のタスクを4回連続で完了できると信頼されるだけです。このギャップは過去3年間で大きく縮まってはいません。モデルはより強力になりつつあるにもかかわらず、その平均的なパフォーマンスと一貫したパフォーマンスの間の距離は、ほぼ同じままです。

エージェントがタスクに失敗した場合、それは単に運が悪かったか、あるいはランダムな不具合によるものだと考えるかもしれません。そして、もう一度試せば、おそらく異なる結果が得られるだろうと。しかし、研究はこの仮定が正しくないことを発見しました。研究者たちは、繰り返しの試行の結果は、ランダムな現象ではなく、特定のタスク自体と強く結びついていることを発見しました。エージェントがタスクに失敗するとき、そのエージェントはその同じタスクを試すたびに失敗する傾向があります。逆に、成功するときは、その同じタスクに対しては常に成功する傾向があります。これは、エージェントの信頼性が、試行ごとのサイコロの目の結果によって決まるのではなく、エージェントのスキルに対するそのタスク固有の難易度によって決まることを意味しています。この強い結びつきがあるため、観察された信頼性は、各試行が独立している場合よりもはるかに高くなります。もし試行が真にランダムで無関係であれば、信頼性ホライゾンは劇的に短くなるはずですが、現実には、エージェントのパフォーマンスは特定の課題の文脈において一貫しています。

研究はまた、これらの不一致が正確にどこで起こるのかも特定しました。最も予測不可能な挙動は、エージェントが一貫して失敗する最も難しいタスクでも、一貫して成功する最も簡単なタスクでもありません。むしろ、「混合した結果（mixed outcomes）」、つまりエージェントが成功したり失敗したりするケースは、エージェントの能力の境界付近に密接に集まっています。これは、標準的なタイムホライゾンのすぐ下のゾーンであり、エージェントにとって困難ではあるものの、不可能ではないレベルのタスクが存在する領域です。まさにこのゾーンこそが、新たに委任されるタスクが陥りやすい場所であり、リスクを理解する上で最も重要な領域なのです。

明確なギャップの証拠があるにもかかわらず、研究者たちは、このギャップが閉じる速度は統計的に有意ではないことを見出しました。データは、信頼性ホライゾンが能力ホライゾンに追いつこうとするわずかな傾向を示してはいますが、現在のテストされたモデル数では、その傾向はランダムな変動と区別できないほど小さいものです。これは、AIエージェントがより難しい問題を解決できるようにはなっているものの、必ずしも同じペースでその実行の一貫性が向上しているわけではないことを示唆しています。本研究は、これらのシステムを導入する者にとって、平均的な成功率のみに頼ることは、将来に対して過度に楽観的な見方を提供することになると結論付けています。これらのエージェントが本当に何をこなせると信頼できるかを理解するためには、繰り返しの継続的な成功を考慮した、信頼性調整済みのホライゾンを報告に含める必要があります。この調整なしでは、自律型エージェントの約束は、パフォーマンスの保証ではなく、単なるポテンシャルの尺度にとどまってしまいます。