A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

人工知能が急速に進化する世界において、研究者たちは困難な問題を解決するために「アンサンブル学習」と呼ばれる戦略に目を向けることがよくあります。単一の巨大なコンピュータプログラムに正解を見つけさせるのではなく、異なるデータで訓練されたり、異なる強みを持つように設計されたりした様々なプログラムを集め、それらすべてに同じタスクに取り組ませるのです。一つのプログラムが躓いたとしても、別のプログラムが成功するということを期待して、彼らの努力を組み合わせることで、単独のメンバーでは到底到達できないレベルの精度を実現しようとするのです。しかし、グループ内のどのメンバーを信頼すべきかを決定する方法は、長年の課題でした。伝統的な手法はしばしば「選挙」のように機能し、すべてのモデルが票を投じ、最も多くの支持を得た回答が単に選ばれます。このアプローチは、グループの集団的な知恵は多数派の中にあると仮定していますが、最も人気のある答えが間違っている可能性や、より静かで信頼できる専門家が、声の大きい不正確なものによってかき消されてしまう可能性を無視しています。

新しい研究は、この問題に対する異なる考え方を提案しており、人工知能モデルのグループを「有権者」としてではなく、「陪審員」として扱うべきであると示唆しています。法廷において、陪審員は単に何人が判決に同意したかを数えるのではありません。代わりに、彼らは各証人の証言を聞き、その話の内容やそれらがどのように一致しているかに基づいて、誰が信頼できるかを判断しようとします。この研究の背後にいる研究者たちは、言語モデルのグループが同様のことができるのではないかと問いかけました。つまり、事前に正解を知ることなく、回答のパターンのみから各メンバーの信頼性を推論できるのではないか、ということです。彼らは、モデルが「証人」として振る舞うシステムを構築しました。そして、システムは正解自体を目にすることなく、一貫して真実に沿った証言を行うモデルを信頼することを学習します。

研究者たちは、数学、科学、法律、一般的な推論など、幅広いトピックをカバーする1,560問のベンチマークを用いてこのアイデアをテストしました。彼らは、エキスパートとして機能させるために、サイズや訓練内容が異なる9つの異なる言語モデルを集めました。標準的なセットアップでは、これらのモデルに一連の質問が与えられ、その回答は単純な多数決、あるいは既知の正解を含む別の問題セットでのパフォーマンスに基づいて重みが決定される加重平均を用いて組み合わされます。しかし、新しい手法は、信頼性を判断するために正解を見るステップをスキップします。代わりに、それは数学的なプロセスを用いて、モデルが提示した質問への回答を分析します。どのモデルが互いに同意し、どのモデルが意見を異にしているかを見ることで、システムは各モデルがどれほど信頼できるかを推定します。システムは、正解を「モデルが報告しようとしている隠された事実」として扱い、グループの応答の構成に基づいて、各モデルが真実を述べている確率を計算します。

実験の結果は驚くべきものでした。正解を一つも目にすることなくメンバーを信頼することを学んだ陪審員システムは、フルベンチマークにおいて76.9パーセントの精度を達成しました。このパフォーマンスは、63.0パーセントを記録した単純な多数決よりも大幅に高く、また、グループ内の最高の単一モデルが到達した75.0パーセントをも上回りました。おそらく最も重要なことは、陪審員が、重みを決定するために正解を用いて訓練されたシステムと同じ組み合わせルールを使用した場合と同等の性能を発揮したことです。この発見は、どのモデルを信頼するかを教えるためにデータをラベル付けするという複雑なプロセスが、必ずしも厳密に必要ではないことを示唆しています。つまり、システムは、メンバーが何を語るかを聞くだけで、正しい証人を信頼することを学ぶことができるのです。研究ではまた、モデルが提示し得る回答の全範囲を保持することが、単一の選択肢のみを保持する場合よりも結果を大幅に改善することも分かりました。システムが回答の確率分布を考慮することで、単純な投票よりも8.4パーセントポイント精度が向上し、エキスパートを正しく重み付けすることでさらに5.5ポイント向上しました。

研究者たちは、この成功が単にデータの増加やより優れたサンプリング技術によるものではないことを排除するために注意深く検証を行いました。彼らは、ラベルなしでモデルを組み合わせようとする他のいくつかの高度な手法と比較しましたが、陪審員は一貫してそれらを上回りました。例えば、最強の代替となるラベルフリー手法に対して5.5パーセントポイントの差をつけて勝利しました。また、研究では、システムが単に運が良かったのか、それとも真に正しいパターンを学習していたのかを調べました。彼らは異なるモデルのサブセットに対して陪能員をテストし、ほぼすべての組み合わせにおいて、等重投票および最高の単一のエキスパートの両方を一貫して上回ることを発見しました。陪審員が最高の単一モデルを下回った唯一のケースは、グループが非常に弱いエキスパートで構成されていた場合であり、これはどのような組み合わせ手法を用いても現実的に助けにならないシナリオです。

この研究の最も重要な側面の一つは、最善の結果を得るために常に教師あり学習が必要であるという仮定に異議を唱えている点です。人工知能の多くの分野では、システムがどのモデルが良いかを学習できるように、正解が既知である大規模なデータセットでシステムを訓練するのが標準的な慣行です。この新しいアプローチは、モデルを組み合わせる場合、システムは同意と不同意から直接、信頼性を推論できることを示しています。研究者たちは、陪審員と教師ありシステムの差は、モデルの適合に伴う自然な変動を考慮すると統計的に有意ではないほど小さいことを見出しました。これは、組み合わせルールを訓練するためにデータをラベル付けする追加の努力が、多くの場合、必ずしも価値のあるものではないことを意味しています。

研究では、システムが不確実性をどのように扱うかも調査しました。モデルが回答を生成する際、それらはしばなる決定的な声明ではなく、可能性の範囲を生成することがよくあります。陪審員法はこれらの完全な分布を使用するため、単純な投票よりもニュアンスを捉えることができます。例えば、あるモデルが間違った回答に対して非常に自信を持っている一方で、別のモデルが正しい回答に対してわずかに自信が低い場合、システムは証拠を適切に重み付けることができます。研究者たちは、このアプローチが特に数学の問題において効果的であることを発見しました。数学では、最高の単一モデルが苦戦する場面でも、陪審員は他のモデルの強みを活用して正しい解決策に到達することができました。

強力な手法ではありますが、研究者たちはいくつかの限界についても指摘しています。システムは、グループ内のすべてのモデルが回答を提供する必要があり、生成タスクにおいては、信頼できる分布を構築するために複数のサンプルを実行する必要があります。これは、単一のモデルに回答を求める場合に比べて計算コストが増大することを意味します。しかし、研究は、このコストが大幅な精度の向上によって正当化されることを示唆しています。また、研究者たちは、システムの回答に対する自信が実際の精度よりも高くなることがよくあり、つまり、間違った回答に対して非常に確信を持っていることがあると観察しました。これは人工知能における一般的な問題であり、研究者たちは、自信スコアを信頼できる真実の尺度として使用するためには、システムを再較正（リキャリブレーション）する必要があると述べています。

結局のところ、この研究は、私たちがどのように人工知能の集合的知性を活用できるかについて、新しい視点を提供しています。モデルを「有権者」ではなく「陪審員」として扱うことで、正解を事前に知ることなく、部分の総和よりも賢いシステムを構築することができます。証言のみから信頼を学ぶ能力は、システムが新しい問題に遭遇するたびに、どのエキスパートを信頼すべきかという理解を継続的に洗練させていく、より効率的で適応性の高い人工知能の利用への扉を開きます。研究結果は、これらのグループの潜在能力を最大限に引き出す鍵は、彼らに同意を強制することではなく、彼らが互いの声を聞き、自分たちの声の信憑性を判断する方法を教えることにあることを示唆しています。