Capability, ranking dynamics, and inference pricing in the large language model ecosystem: evidence from linked public data
本論文は、リーダーボード、人間による嗜好パネル、および価格カタログから得られる連結された公開データを統合することで、大規模言語モデルのエコシステムを特徴付け、性能はパラメータ数と時間とともにスケールし、嗜好評価はモデル内での急速な入れ替わりと安定性を示し、価格はプロバイダー間の顕著な価格差にもかかわらず、能力スコアとオープンウェイトのステータスによって大きく左右されることを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
急速に進化する人工知能の世界において、大規模言語モデルとして知られる特定の種類のコンピュータプログラムが、執筆、推論、および問題解決のための中心的なツールとなっている。これらのシステムは膨大な量のテキストを用いて学習し、一貫性のある段落を生成したり、複雑な質問に答えたり、さらにはコードを書いたりできるようになるまで、文章内の次の単語を予測することを学習する。現在、巨大なテクノロジー企業によって構築された大規模なシステムから、独立した研究者によって作成されたより小さなオープンなバージョンに至るまで、数千ものモデルが存在するため、それらをどのように比較すべきかという課題が生じている。これを行うために、コミュニティは主に二つのものに依拠している。一つは、モデルが難解な一連の質問に答えてスコアを獲得する標準化テストであり、もう一つは、人間が二つのモデルの回答のうちどちらをより好むかを投票する人間の選好アリーナである。これらの性能指標とともに、モデルへのアクセスを単語単位で販売する市場も出現しており、価格と能力が入り組んだ、ナビゲートが困難な複雑な景観を作り出している。
ハンガリーのコルヴィヌス大学のペーテル・バゴによる最近の研究は、これら三つの大規模な公開データソースを連結させることで、この混沌としたエコシステムに秩序をもたらそうと試みた。研究者は、オープンモデルの数千件のテストスコアの記録、人間の選好ランキングの長期ログ、そして異なるプロバイダーが請求する価格の包括的なカタログを組み合わせた。これらのデータセットを連結することで、研究は最も有名なモデルのみを見ることを超え、エコシステム全体を調査し、性能がサイズとどのように関係しているのか、ランキングが時間の経過とともにどのように変化するのか、そして価格が実際にどのように決定されるのかを問い直した。その目的は、単一の勝者を宣言することではなく、これらのデジタルツールがどのように価値付けられ、どのように進化するかを支配する根本的なルールを理解することであった。
第一の大きな発見は、テスト自体の性質に関するものである。研究では、指示への追従から高度な数学に至る六つの異なるベンチマークでテストされた、4,500件以上のオープンモデルの記録を分析した。研究者たちは、これら六つの異なるテストは六つの別々のスキルを測定しているのではなく、代わりに、一つの支配的な能力を圧倒的に測定していることを発見した。あるモデルがあるテストで優れた成績を収めれば、それはほぼ確実に他のテストでも優れた成績を収める。この共通の糸が、エコシステム全体のスコアにおける変動の約4分の3を説明している。しかし、研究はこれらのテストがパフォーマンスのスケールの最下層において苦戦していることも指摘した。多くのモデルはあまりにも低いスコアしか出せず、ランダムな推測と区別がつかない状態にある。これは、現在のテストが「優れたもの」と「良いもの」を分けることには長けているが、「非常に劣ったもの」と「機能しないもの」を区別することには不得手であることを示唆している。
何がモデルの性能向上を駆動するのかという点において、研究はサイズが重要であることを確認したが、それがすべてではない。パラメータ数で測定されるモデルの大きさは、一般的に高いスコアをもたらす。具体的には、あるモデルが別のモデルよりも10倍大きい場合、平均的なテストにおいて約13.7ポイント高いスコアを得る傾向がある。しかし、時間も同様に強力な力である。同じサイズかつ同じタイプのモデルを比較した場合でも、より最近提出されたモデルの方が著しく性能が高い。同じ計算能力を用いて構築されていても、あるモデルが別のモデルの1年後に提出された場合、スコアは約10.5ポイント高くなる。これは、この分野の進歩が、単により大きな機械を構築することだけでなく、よりスマートな訓練方法を見つけ出すことによってもたらされていることを示唆している。また、研究では、会話用に設計されたモデルや、既存のモデルをマージして作成されたモデルが、生の未修正のモデルよりも優れた性能を示すことが判明しており、微調整（ファインチューニング）や組み合わせのプロセスが現在の進歩の鍵であることを示している。
エコシステムの人間的な側面は、安定性に関して異なる物語を伝えている。研究では、人間選好アリーナにおけるトップランクのモデルを1年以上にわたって追跡し、リーダーシップがいかに一過性であるかを観察した。最高位のモデルは19回も入れ替わり、平均的なリーダーがトップの座を維持できる期間は約12日間であった。この絶え間ない入れ替わりにもかかわらず、最も優れたモデルと10番目に優れたモデルの間の格差は、驚くほど安定していた。研究はまた、スコアリングシステム自体の重大な変化も明らかにした。2025年5月の特定の日に、スコアのデフォルトの計算方法が変更され、その結果、すべてのモデルのレーティングが一夜にして約18ポイント跳ね上がった。これは、調整なしにその日付の前後のスコアを比較すると誤解を招く可能性があることを意味する。なぜなら、数値のスケールが変わってしまったからである。この変更前は、レーティングは安定しており、モデルは繰り返しリストされることによって勝手に上昇したり下降したりすることはなかった。
おそらく最も複雑な発見は、これらのモデルを使用する価格に関するものである。研究では、82の異なるプロバイダーによる約2,700件の異なる価格設定を調査した。その結果、全く同じモデルであっても、誰が販売するかによって価格が激しく変動することが判明した。3つ以上のプロバイダーから提供されているモデルの場合、最も高い価格設定は通常、最も安いものよりも38パーセント高く、一部のモデルではその差はさらに大きくなっている。これは、単に買い回るだけで、買い手が多額の節約ができることを示唆している。研究はまた、これらの価格を駆動する要因を理解するためのモデルを構築した。それによれば、能力が主要な要因である。人間の選好レーティングにおいて標準偏差1つ分優れたモデルは、3倍以上の価格を要求する。しかし、コードが公開されているオープンモデルであることは、莫大な割引として機能し、同様のスキルを持つプロプライエタリ（独占的）なモデルの5分の1以下の価格に抑えている。さらに、研究では、より古いモデル、つまり長くリストされているモデルは価格プレミアムを伴う傾向があることが分かり、確立されたモデルは新しい、潜在的に優れたモデルが登場しても価値を維持することを示唆している。
最後に、研究は二つの主要な品質測定方法がどの程度一致しているかを検証した。研究者が、テストスコアの記録と人間の選好ランキングの両方に登場した69のモデルを調査したところ、強い一致が見られた。標準化テストで高スコアを出したモデルは、一般的に人間が好むモデルでもあった。この収束は、テストと人間の投票がわずかに異なるものを測定しているとしても、それらが能力という同一の現実に向けられていることを示唆している。研究の結論として、景観は広大でデータは乱雑であるが、ソースを連結すると明確なパターンが現れる。このエコシステムは、単一の支配的な能力によって駆動され、時間とサイズによって改善され、性能に報酬を与えつつオープンアクセスを大幅に割り引く形で価格設定されている。これらのツールを理解しようとする、あるいは購入しようとする者にとっての教訓は、性能は予測可能であり、リーダーシップは一時的であり、支払う価格は、モデルが実際に何ができるかだけでなく、誰がいつ売っているかにも依存するということである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。