How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

あるコンピューター・プログラムを想像してみてください。それは、ルールのリストを読み取り、そのリストがどれほど長くなっても完璧に従うことができるものです。これは現代の人工知能、特に「大規模言語モデル」と呼ばれるタイプのシステムが約束していることです。これらのプログラムは膨大な量のテキストを用いて学習しており、質問に答えたり、物語を書いたり、問題を解決したりすることができます。これらのシステムが、より多くの内部コンポーネントとより多くのデータを持って大きくなるにつれ、一般的に複雑なタスクへの能力も向上していきます。科学者たちは長い間、単一のモデルが一度にその「精神」の中に保持できる独立した指示の数には、ハードリミット（限界）が存在するのかどうかを疑問に思ってきました。もしモデルに10個のルールに従わせたら、それは実行できるでしょうか？20個ではどうでしょうか？ルールに従う能力は、モデルが大きくなるにつれて着実に成長するのでしょうか、それとも突然崩壊してしまうのでしょうか？

最近のある研究は、この問いに対して正確な答えを見出したと主張しました。その研究は、モデルが大きくなるにつれて、複数のルールを追跡する能力は、予測可能な曲線のような特定の数学的パターンに従って成長することを示唆しました。研究者たちは、小さなモデルはわずか数個のルールで失敗する可能性がある一方で、より大きなモデルはより多くのルールを扱えるようになり、その関係は厳格な法則に従うという説を唱えました。この考えは、将来の機械がそのサイズに基づいて、どの程度の能力を持つかを正確に予測する方法を提供するものであるため、非常にエキサイティングなものでした。しかし、新たな調査が元の数値と、それを得るために用いられた手法を精査したところ、それとは異なる物語が明らかになりました。新しい研究によれば、限界が存在するという基本的な考え自体は事実であるものの、その限界がどのように成長するかを記述する特定の法則については、証拠によって支持されないことが判明しました。

この調査は、モデルがテストに対して実際に書き出した応答の記録である「元のデータログ」を再検証することから始まりました。研究者たちは、回答を採点するための、より厳格な新しい方法を構築しました。元の研究で使用されたコンピューター・プログラムには、一種のセーフティネットがありました。もしプログラムが応答の中に十分な明確な回答を見つけられなかった場合、テキスト全体を再びスキャンし、どこかに「はい」や「いいえ」という言葉が現れないかを探す仕組みになっていたのです。もしそれらの言葉が見つかれば、たとえモデルがそれらを特定の質問に対する回答として意図していなかったとしても、正解としてカウントしていました。このセーフティネットは、テストの約4分の1で作動していました。それは、モデルが偶然に書いた言葉や、文章の一部として書いた言葉であっても、空白を埋めて回答としてカウントしてしまったのです。

新しい研究者たちがこのセーフティネットを取り除き、コンピューターに対して「明確かつ正しくフォーマットされた回答のみをカウントすること」を強制したところ、結果は変化しました。現象としての「限界」自体は依然として存在していました。小さなモデルは苦戦し、最終的には多くのルールに従うことに失敗しましたが、同じファミリーのより大きなモデルははるかに優れたパフォーマンスを示しました。これにより、核心となる観察結果は事実であったことが確認されました。つまり、モデルには容量の限界があり、サイズが重要であるということです。しかし、その容量がサイズに応じてどのように成長するかを記述していた特定の曲線は消失しました。モデルが大きくなるにつれて、能力が予測可能な形で2倍、3倍になるとされた元の主張は、回答のカウント方法によって生み出された錯覚であったのです。

研究者たちはその後、この修正された手法を、オンラインサービスを通じて利用可能な8つの異なるモデル・ファミリーを含む、より幅広い範囲のモデルに対してテストしました。その結果、元の数学的法則は成立しないことが分かりました。ある種のタスクにおいて、モデルは予測された成長を示さず、代わりに、モデルの規模に関わらず、一定数以上のルールを扱うことができない「天井」に突き当たりました。また別のタスクでは、モデルはすべてのルールを完璧にこなしているように見えましたが、それは単に指示を長い段落としてそのまま繰り返しているだけであり、各ルールを個別に追跡していたわけではありませんでした。いくつかのケースでは、モデルが失敗したのは、ルールに従う知能が欠けていたからではなく、合格するために必要な厳格なフォーマットに従わなかったためでした。テストが単純なリストを求めている場面で、モデルが長文の思慮深いエッセイを書いてしまい、採点システムがそれを完全な失敗としてカウントしたのです。

調査はさらに、モデルがなぜそのような挙動を示すのかを説明するために用いられた理論についても検討しました。元の研究は、限界がモデルの内部構造から算出される特定のアーキテクチャ上の特徴量によって決定されると示唆していました。しかし、この理論を証明するために用いられた新しい監査によれば、使用された2つのモデルは、この特徴量に関して全く同じ値を持っていましたが、パフォーマンスは大きく異なっていました。これは、その理論が両者の違いを実際に説明できていないことを意味します。提案された説明はあまりにも広範すぎて役に立たないものでした。それはあらゆる結果を許容してしまうため、観察された特定の結末を予測することができなかったのです。

最終的な結論は、これらの機械が複数の制約を追跡する能力は、現実的かつ測定可能なものであるが、それを記述すると主張された精密な数学的法則は、まだ支持されていない、ということです。元の発見は、真の発見と測定エラーが混ざり合ったものでした。エラーは、コンピューターが回答を読み取る際の、一般的かつ目に見えない選択肢、すなわち、欠落したデータを誤って補完し、偽のパターンを作り出してしまった選択肢から生じたものです。研究者たちは、これはモデルが完璧であることを意味したり、私たちがその限界を完全に理解していることを意味したりするのではない、と強調しています。それは単に、予測可能なスケーリング則に関する特定の主張が、不安定な基盤の上に築かれていたということを意味しているのです。前進するためには、将来の研究において、回答を読み取るためのより厳格なルールを用い、欠落した回答はすべて失敗としてカウントし、普遍的な法則を宣言する前に、より多くのモデルをテストしなければなりません。これらの機械を理解するための道筋は明確ですが、真実を隠してしまうセーフティネットなしに、データを直視することが求められています。