The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool
固定された2,400万トークンのプールを用いた実証実験を通じて、本論文は、固定された計算予算の下での過度な品質フィルタリングは、過剰なデータの反復を強いることでしばしばモデルの性能を損なう一方で、低品質なデータを保持しつつ高品質なサブセットをオーバーサンプリングすることが、様々なターゲットに対して優れた、あるいは同等の結果をもたらすことを示している。