Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
本論文は、言語モデル固有の確信度を活用するロジットベースのエネルギー・スコアリング手法が、複数の学問分野にわたる科学的仮説のランキングにおいて、プロンプトを用いたLLM-as-judgeのアプローチを大幅に上回る性能を示すことを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
科学は常に、私たちが知っていることと、私たちが発見するかもしれないこととの間の対話であり続けてきました。研究者が複雑な問題に直面するとき、彼らはまず、手元にある事実に基づいた、あり得る説明、すなわち「仮説」を想像しなければなりません。数十年にわたり、このステップは完全に人間の直感に依存してきましたが、今、一つの新しいツールが研究所に参入しました。それが大規模言語モデルです。これらは膨大な量のテキストで学習された強力なコンピュータプログラムであり、文章を書き、研究を要約し、さらには新しい科学的なアイデアを提案することさえできます。しかし、決定的な問いが未解決のまま残されています。もしコンピュータが現象に対する起こり得る説明のリストを生成できるとした、その中でどれが実際に正しいのかを、私たちはどのように知ればよいのでしょうか。現在、この問いに答えるための標準的な方法は、さらに大きな別のコンピュータプログラムにそのリストを読ませ、テストを採点する教師のように、最善のものを選ばせるというものです。しかし、この方法には欠陥があります。それは、真に新しい、あるいは科学的に妥当なアイデアよりも、聞き馴染みのある、あるいはよく書かれたアイデアを好んでしまう傾向があることです。
オークリッジ国立研究所の研究チームは、異なるアプローチを試すことにしました。モデルにアイデアを比較して言葉による意見を求める代わりに、各アイデアの「重み」を単に「感じさせる」よう求めたのです。彼らは、コンピュータの内部的な確信度を一つの信号として扱いました。モデルが予想通りの文章を読んでいるとき、モデルは確信を感じます。一方で、奇妙なものや可能性の低いものを読んでいるとき、モデルは驚きを感じます。研究者たちは、この生の内部的な感覚が、形式的な言葉によるランキングよりも、科学的な真実を判断する上で優れた審判になり得るのではないかと考えました。彼らは、コンピュータが、選択を行うように命じられることなく、単に科学論文のストーリーの中にどれほど自然に適合するかによって、優れた仮説を認識できるかどうかを検証することにしました。
これをテストするために、研究者たちは、天文学や物理学から法律、ビジネスに至るまで、12の異なる分野からなる1,323件の実際の科学論文の膨大なコレクションを集めました。各論文について、彼らは背景情報と、科学者たちが解決しようとしていた特定の問いを取り出しました。そして、コンピュータモデルに対して一つの挑戦状を作成しました。それは16個の起こり得る仮説のリストです。そのうちのたった一つだけが、元の科学者たちが実際に用いた真の仮説であり、残りの15個は、巧みに書かれたものの誤った代替案でした。目標は、コンピュータが、15個の誤ったものの中から唯一の正しい仮説を特定できるかどうかを確認することでした。
チームは、非常に小さなオープンソースのプログラムから、巨大なプロプライエタリなシステムに至るまで、7つの異なるコンピュータモデルを使用してこのテストを実行しました。彼らは、仮説を判断する二つの方法を比較しました。第一の方法は伝統的なアプローチであり、大規模な商用モデルに対し、16個の選択肢をすべて読み、それらを最善から最悪へと明示的にランク付けさせるというものです。第二の方法は、新しいアプローチであり、背景となる文脈とともに各仮説を一つずつモデルに投入し、モデルの内部的な確信度を測定するというものです。このスコアは、与えられた文脈において、その特定の単語の並びが次に現れる確率をモデルがどの程度高いと考えているかに基づいています。彼らはこれを二度行いました。一度は標準的な確率計算を用い、もう一度は、予測が平滑化される前の強さを捉える、モデルの生の内部エネルギーの尺度を用いました。
結果は驚くべきものであり、これらのツールがどのように機能するかについての理解を塗り替えました。大規模なモデルに審判として振る舞い、リストをランク付けさせるという伝統的な方法は、振る舞いが良くありませんでした。それは、約16.6%のケースにおいてのみ、トップの仮説を正しく特定できました。対照的に、明示的なランキングの指示なしに、モデルの内部的な確信度に頼った方法は、大幅に優れたパフォーマンスを示しました。研究者が最も優れたモデルとスコアリング手法の組み合わせを調べたところ、比較的規模の小さいオープンソースのモデルが、生のエネルギー・スコアを用いることで、53.1%のケースで正しい仮説を特定したことが分かりました。これは、単にテキストを「感じている」だけの控えめなコンピュータプログラムが、明示的に比較やランク付けを命じられたはるかに大規模で洗練されたシステムよりも、3倍以上効果的に正しい科学的アイデアを見つけ出せたことを意味しています。
この研究はまた、モデルのサイズが優れたパフォーマンスを保証するわけではないことも明らかにしました。最も成功した構成は、わずか10億のパラメータを持つモデルであり、これは複雑な推論によく用いられる巨大なシステムと比較すると極めて小さいものです。実際、テストされた最大級のモデルが、仮説をランク付けするように求められた際に必ずしも最善の結果を出したわけではありませんでした。研究者たちは、内部的な確信度の信号はすべてのモデルで一様ではないことを指摘しました。あるモデルにとっては、生のエネルギー・スコアは強力なツールでしたが、他のモデルにとっては、それほど効果的ではありませんでした。このことは、この特定のタスクにおいては、モデルの純粋な大きさよりも、そのモデルがどのように構築され、訓練されているかの方が重要であることを示唆しています。また、この手法はほとんどの科学分野において一貫してうまく機能しましたが、分野間の差異は、決定的なルールと見なせるほど明確なものではありませんでした。
この研究における最も重要な教訓の一つは、現在私たちがコンピュータに科学的なアイデアを評価させる方法が、欠陥を抱えている可能性があるということです。モデルに好みを表明させ、選択肢をランク付けさせることを強いることで、その真の理解を隠してしまうエラーを導入している可能性があります。研究者たちは、モデル自身の内部的な尤度、つまり特定の単語の連なりに対する静かな確信こそが、言葉による判断よりも、科学的な妥当性を示すためのより誠実で信頼できる指標であるかもしれないと示唆しています。これは、問題が解決したことを意味するわけではありません。研究者たちは、今回のテストで使用した仮説はすでに発表された論文からのものであるため、モデルは真に科学を理解しているのではなく、馴染みのある言い回しを認識しているだけである可能性があることを認めています。彼らは、次のステップとして、答えが未知である、まだ発表されていない新しいアイデアに対してこれらの手法をテストし、人間である専門家にその結果を判断させる必要があると提案しています。
結局のところ、この研究は、信頼できる人工知能に向けた新しい道を提示しています。それは、正しい答えを見つけるために、コンピュータプログラム同士の複雑な言葉による議論に頼る必要はないことを示唆しています。代わりに、私たちはモデルの静かな内部信号を信頼することができ、それによって、より小さく、よりアクセシブルなツールが、科学的発見のプロセスにおいて極めて重要な役割を果たすことが可能になるかもしれません。研究は、現在の手法には限界があるものの、モデル固有の確信度を用いて科学的仮説を評価することの潜在能力は本物であり、さらなる探求に値するものであると結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。