Grouping the Stochastic Machine: Precision, Not Capability, as the Frontier Metric for AI Systems
本論文は、高度なAIシステムにおける真の最前線の差別化要因は能力ではなく出力の精度（繰り返されるリクエスト間での一貫性）であると論じ、修正可能な運用上のエラーと根本的なモデルの限界を区別するために、この「グルーピング」を測定する低コストで非循環的な指標を提案するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界において、コードを書き、問題を解決し、テキストを生成する機械を専門家がどのように評価するかという手法に、静かな革命が起きている。長年、業界は「そのモデルがいかに賢いか」という単一の問いに焦点を当ててきた。研究者たちは、機械が出力できる最高の結果や、テストにおける平均スコアを見ることでこれを測定してきた。このアプローチは、モデルが一度でも正解を出せれば、それは成功であると想定している。しかし、これらのツールを実際のエンジニアリング業務で使用しようとする者にとって、この指標は最も重要な要素を見落としている。半分は完璧に機能し、残りの半分は無残に失敗するツールは、たとえその最高の瞬間が輝かしいものであったとしても、信頼性の高いシステムを構築するためには役に立たない。新たな最前線は、機械がいかに高く跳べるかではなく、いかに一貫して足で着地できるかにある。この転換は、生の能力から精度へと焦点を移し、単に機械が仕事をこなせるかだけでなく、同じ要求に対して毎回全く同じように仕事をこなせるかを問うものである。
ロンドンを拠点とする独立系研究者、ジョージ・アンドリコプロスは、現在の人工知能システムの比較方法は間違ったものを測定していると主張している。彼は、最も高度なモデルは非常に正確（つまり、平均的な出力が目標に達している）になってきた一方で、まだ「精密（precise）」にはなっていないと示唆している。ここでの精密さとは、同じ要求を繰り返し行った際に、結果がいかに密に集まっているかを指す。機械にある特定のエンジニアリング問題を10回解くよう求める場面を想像してほしい。精密なシステムは、9回または10回は正しく理にかなった回答を出す。不精密なシステムは、5回は正しい答えを出すかもしれないが、残りの5回は奇妙なもの、壊れたもの、あるいは全く無関係なものを作り出すかもしれない。業界は現在、最高の一撃を称賛しているが、これらのツールを使って構築を行う人々が必要としているのは、グループ（集団）の状態である。もしショットが散らばっているならば、その中心がいかに優れていても、そのツールは信頼できない。
これを解決するために、アンドリコプロスは、複雑で循環的な採点システムに頼ることなく、この一貫性を測定するシンプルな方法を開発した。別の人工知能に作業を判定させる代わりに（これはそれ自体にエラーを導入する可能性がある）、この手法は、コードがコンパイルされるか、テストがパスするか、あるいはファイル形式のチェックが正しく行われるかといった、明確な二値の結果を持つタスクを使用する。これらはコンピュータによって推測なしに検証可能な事実である。プロセスとしては、これら検証可能なタスクの小さなセットを取り上げ、毎回モデルの新しいインスタンスに対して何度も実行する。モデルが成功する回数と失敗する回数を数えることで、研究者は結果の形状を見ることができる。もしモデルが毎回合格するか、あるいは毎回失敗するのであれば、それは精密である。もし半分は合格し、半分は失敗するのであれば、それは散漫で予測不能である。
この論文は、これらの測定に基づいた明確な決定規則を提示している。もしモデルが一貫した方法で失敗する場合、それは単に中心からずれているだけの「タイトなグループ（密な集団）」である。これは良い問題である。なぜなら、人間のオペレーターが特定のルールを書いてミスを修正し、実質的に機械の「照準を合わせる」ことができるからだ。しかし、もしモデルが多くの異なる方法で失敗する場合、そのグループは散漫である。この場合、いくらルールを書いても助けにはならない。なぜなら、エラーがランダムだからである。散漫なグループに対する唯一の解決策は、モデル自体を変更するか、回答の生成方法を調整することである。この区別は極めて重要である。なぜなら、エンジニアに対して、機械への指示を書くことに時間を費やすべきか、それとも単に別の機械に切り替えるべきかを教えてくれるからである。
この手法の実証実験は、このアプローチの威力を示している。研究者たちは特定のコーディングタスクのセットを取り上げ、特別な指示を与えずに、主要なモデルに対して5回実行した。そのモデルは、特定のバリデーションタスクに毎回合格できなかった。モデルが毎回全く同じ方法で失敗したため、研究者たちはそれがランダムな不具合ではなく、一貫したエラーであることを知った。彼らは失敗を分析し、機械が大きすぎる数値を扱う際に特定の論理的ミスを犯していることを突き止めた。彼らはこの論理を修正するための、たった一つの単純なルールを書いた。同じ5つのタスクを新しいルールを適用して再度実行したところ、モデルは毎回合格した。成功率はゼロから100パーセントへと跳ね上がった。これは、機械が修正可能なほど精密であり、単に照準を調整する必要があっただけであることを証明した。
また、この研究は、書かれたルールによってこれらのシステムをどれほど改善できるかという限界についても、驚くべき事実を明らかにした。研究者たちは、自分たちが書いたルールに基づいた新しいテストタスクを作成し、それらのルールがどれほどの価値を加えるかを測定しようとした。その結果、最も高度なモデルは、指示されなくても自然にこれらの優れた慣行に従うほど既に有能であることが分かった。モデルは、追加の指示がなくても、これらの「ルールベース」のテストを完璧にパスしたのである。これは、最も一般的なエラーについては、機械がすでに自律的に規律を学習していることを意味する。したがって、ルールブックの真の価値は、機械がすでに知っていることを教えることではなく、機械が依然として散漫であったり一貫して失敗したりする、稀で隠れた隙間を見つけ出すことにある。これらの隙間は事前に予測することはできず、機械の実際の作業を測定することによってのみ発見されるものである。
結局のところ、この研究は人工知能に関する会話を、「誰が最も賢いか」という競争から、「誰が最も信頼できるか」という実用的な評価へと変えるものである。業界は何年もかけて、モデルのピークパフォーマンスによってランク付けするリーダーボードを作り上げてきたが、それらのランキングは、ユーザーが特定のプロジェクトに対してそのツールが機能するかどうかを教えてはくれない。グループの密さを測定することで、エンジニアはどのモデルを使用し、どこに時間を投資すべきかについて、情報に基づいた決定を下すことができる。もしモデルが精密だが目標から少しずれているのであれば、人間はルールで修正できる。もし散漫であれば、いかなるルールも救いにはならない。これらの機械と共に働く未来は、完璧な一つの答えを見つけることではなく、答えのパターンを理解し、いつ照準を調整し、いつライフルを持ち替えるべきかを知ることにかかっている。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。