💻 computer science

Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

本論文は、個々のデータが最終的なモデルパラメータへの距離をどの程度減少させるかを定量化することによって学習データの寄与度を測定する、タスクに依存しない手法を紹介しており、それによって、様々なモデル構成において、文学関連のデータは事前学習の初期段階を、STEM関連のデータは後半の段階をより強力に駆動することを明らかにしている。

原著者： Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボットに人間のように話す方法を教えようとしていると想像してください。ただ一冊の本を与えるのではなく、インターネット全体をその脳の中に流し込みます。このプロセスは「事前学習（pretraining）」と呼ばれ、今日私たちが使用しているAIモデルの基礎となっています。しかし、ここが難しいところです。ロボットの学習が終わったとき、どの特定の文章や物語が最も重要だったのか、実は誰も正確には分かりません。そのロボットは、特定のWikipediaの記事のおかげで数学が得意になったのでしょうか？あるいは、特定の小説のおかげで詩を書けるようになったのでしょうか？

科学者たちは、「もしこの一つの文章を取り除いたら、ロボットは数学の問題を解いたり詩を書いたりといった特定のテストに対して、性能が落ちるだろうか？」と問いかけることで、この問題に答えようとしてきました。これは、ケーキを食べてしまった後に、どの材料がその味を良くしたのかを、ケーキを味わうことで突き止めようとするようなものです。問題は、AIモデルは一つのテストだけでなく、「あらゆること」に長けているはずだということです。もし数学のテストだけを行えば、別の部分のデータから「ユーモア」を学んだという事実を見逃してしまうかもしれません。そこで、大きな疑問が生じます。「特定のテストを受けさせることなく、ロボットの脳が時間の経過とともにどのように変化していくかを観察することはできるだろうか？」

この論文は、特定のテストを必要とせずに、ロボットの学習を観察する巧妙な新しい方法を紹介しています。研究者たちは、「この文章はロボットが数学のクイズに合格するのを助けたか？」と問う代わりに、「この文章は、ロボットを完成した最終的な脳へと近づける助けとなったか？」と問いかけました。彼らは、ロボットの最終状態を地図上の「目的地」として扱いました。ロボットが新しい文章を読むたびに、それは小さな一歩を踏み出します。研究者たちは、その一歩がロボットをゴールへと近づけたのか、それとも誤って後ろに下がってしまったのかを測定しました。

彼らはこの手法を、有名なAIモデルファミリーの18の異なるバージョンに適用し、154の異なるチェックポイント（ロボットの脳の異なる時点でのスナップショットのようなもの）を通じて、学習の過程を観察しました。そこで彼らが見つけたのは、ロボットの「食事」が成長とともにどのように変化するかという、非常に興味深い物語でした。

学習を始めたばかりの初期段階では、最も役に立つ文章は文学や物語からのものでした。これらが、ロボットを最終的な形態へと押し上げる「最大の貢献者」でした。まるで、ロボットがまず人間の物語や感情を理解する必要があるかのようでした。しかし、学習が進み、中盤から後半の段階に入ると、物語は変わりました。最も重要になった文章は、もはや物語ではなく、STEM分野（科学・技術・工学・数学）からのものになっていたのです。

研究者たちは、明確な「クロスオーバー（逆転現象）」を目撃しました。初期には本や文学が主役でしたが、後半には科学やコンピュータに関するテクニカルなデータがスポットライトを奪いました。これは、ロボットが単に最後に「難しいこと」を学ぶのではなく、実際には特定の学習シーケンス（順序）を必要としていることを示唆しています。AIは、まず人間の言語や物語という土台を必要とし、その後に初めて、その潜在能力を最大限に引き出すための複雑でテクニカルなデータを活用できるようです。

著者たちは、自分たちの手法が信頼できるかどうかも検証しました。彼らの「目的地への距離」という測定法を、従来の「テストスコア」による手法と比較したところ、従来のメソッドは選ぶテストによって全く異なる答えを出すことが分かりました。もし数学のテストを行えば、数学のデータがずっと重要であると考えられます。もし物語のテストを行えば、物語のデータがずっと重要であると考えられます。しかし、彼らの新しい手法は、テストされたすべてのモデルにおいて一貫したパターンを示しました。このことは、物語から科学へのシフトが、単なるテスト方法による偶然の産物ではなく、AIモデルが学習する際のリアルで根本的な部分であることを示唆しています。

したがって、主な教訓は、AIのトレーニングは単にデータのランダムな混合物を食べさせることではない、ということです。それはむしろ「カリキュラム」のようなものです。この論文は、「最適な」データとは、AIが学習のどの段階にいるかによって変化することを提案しています。初期には物語が必要であり、後半には科学が必要なのです。これは、より優れたAIを構築するための新しい考え方を与えてくれます。例えば、まず物語を与え、複雑な数学は、彼らがそれを受け入れる準備ができてから残しておく、といった具合です。

技術要約：言語モデルの事前学習におけるタスク非依存的な学習データの影響度測定

問題提起
言語モデル（LM）における学習データの「影響度（influence）」を測定する既存の手法は、特定のテストポイントに対する損失や、特定のダウンストリーム・ベンチマークにおける性能といった、タスク固有のターゲットに依存している。これらのアプローチは特定の目的には有用であるが、単一のタスクの最適化ではなく、広範かつ汎用的な能力の開発を目指す事前学習の文脈においては、重大な限界に直面する。事前学習の全工程を通じて、モデルの一般的な能力を代表するようなダウンストリーム・タスクや検証セットを選択することは困難である。さらに、中間チェックポイントにおける特定のタスクへの性能に紐付けられた影響度の推定値は、一貫性に欠け、異なる学習段階間での比較が困難であることが多い。なぜなら、初期のチェックポイントは、対象となるタスクを完全に解決するには至っていないものの、関連する能力を既に備えている場合があるからである。

手法
著者らは、与えられた事前学習ランの最終パラメータに対して、個々の学習例がどの程度モデルを近づけるかによって定義される、タスク非依存的な学習データの測定法を提案している。

影響度の定義: ミニバッチ $B_t$ の影響度は、現在のパラメータ $\theta_t$ と最終的な事前学習済みパラメータ $\theta^*$ との間の二乗 $L_2$ 距離の減少量として定量化される。数学的には、 $Cont(B_t) = \|\theta^* - \theta_t\|_2^2 - \|\theta^* - \theta_{t+1}\|_2^2$ と定義される。これは、 $2\Delta_t^\top(\theta^* - \theta_t) - \|\Delta_t\|_2^2$ と展開され、最初の項は最終パラメータへの方向への整合性を測定し、第二項は更新量の二乗ノルムによるペナルティを課す。
例レベルへの分解: 標準的な確率的勾配降下法（SGD）を仮定することで、ミニバッチの影響度は個々の学習例の寄与へと分解される。例 $x_k^t$ の影響度は、 $Cont(x_k^t) = 2\Delta_{t,k}^\top(\theta^* - \theta_t) - \Delta_{t,k}^\top \Delta_t$ と定義される。この定式化は、ミニバッチ内における例同士の相互作用を考慮に入れている。
チェックポイントに基づく近似: 大規模な事前学習において、再学習を行うことなくこの手法を実用的なものにするため、著者らは定期的に保存されるチェックポイントを用いた近似手法を導出した。毎ステップで更新を計算する代わりに、チェックポイント区間の開始時（ $\theta_c$ ）と終了時（ $\theta_{c'}$ ）のパラメータを用いて、状態 $\theta_t$ と更新量 $\Delta_t$ を近似する。これにより、公開されているチェックポイントから事後的に影響度を推定することが可能になる。

主な貢献

タスク非依存の再定式化: 本論文は、事前学習における学習データの影響度を、最終パラメータへの進捗という観点から再定式化することで、特定のダウンストリーム・タスクや検証セットへの依存性を排除した。
チェックポイントに基づく推定: モデルをゼロから再学習することなく、中間チェックポイントから例レベルの影響度を推定することを可能にする、実用的な近似手法を導出した。
経験的な特性評価: 学習データの寄与が事前学習を通じてどのように進化するかを特性化し、異なるデータタイプ間で系統的かつ段階的な変動があることを明らかにした。
信頼性分析: 提案された分析が、チェックポイントの近似、参照エンドポイント、および様々なモデル構成（サイズ、初期化、データ順序）に対して信頼できることを確立した。

実験結果
本手法は、モデルサイズが70Mから12Bパラメータに及ぶPythiaおよびPolyPythiaスイートの18の構成に適用され、各ランにつき154個のチェックポイントを利用した。

寄与のダイナミクス: 平均的な寄与は学習の初期段階の後に大幅に増加し、40kステップ付近でピークに達した後、徐々に減少する。標準偏差も同様のパターンを辿る。注目すべき点として、「反対者（opponent）」の例（最終パラメータからモデルを遠ざける負の寄与を持つ例）の割合は、初期および中期段階では低い（1%未満）が、後期段階では8〜10%に上昇する。
テキストの難易度: 中期の事前学習においては、パープレキシティ（PPL）が高いテキスト（モデルにとってより困難なテキスト）が、正規化された寄与のより大きなシェアを占める。一方で、初期および後期段階では、寄与は難易度レベル間でより均等に分布している。
ドメイン・シフト（クロスオーバー）: 影響力のあるデータドメインの系統的な時間的シフトが観察された：
- 学習初期: 文学関連のデータ（例：書籍、趣味）が、最終パラメータへの軌跡に対してより強く整合している。
- 学習後期: STEM関連のデータ（例：科学、コンピュータおよび電子工学）が、次第に軌跡への整合性を高めていく。
- この質的なクロスオーバーは、様々なモデル構成において広く一貫しているが、遷移のタイミングはモデルのスケールによって変化する場合がある（大きなモデルほど、遷移が早く現れる）。
検証: チェックポイントに基づく近似は、より小さなモデルで再学習して計算された厳密な例レベルの寄与と、強い相関（後半段階でピアソン相関係数 $r > 0.94$ ）を示す。結果は、重みの初期化やデータの順序の変化に対しても頑健であるが、データの順序は初期化よりもわずかに大きな変動をもたらす。
タスク固有の手法との比較: 選択した検証ドメインに大きく依存する既存のTracInスタイルの解析とは異なり、提案されたタスク非依存の測定法は、特定のダウンストリーム・ターゲットに関わらず、一貫して「文学からSTEMへ」のクロスオーバーを明らかにする。

意義と主張
本論文は、事前学習における影響度がどのように変化するかについて、扱いやすい軌跡レベルの視点を提供すると主張している。影響度分析を特定のダウンストリーム・タスクから切り離すことで、著者らは既存のタスク固有の分析を補完する視点を提示している。

結果は、最終パラメータへと最も強く動かす学習例が、事前学習を通じて静的なものではないことを示唆している。この発見は、事前学習のデータ組成およびカリキュラム設計に対する段階を意識したアプローチを動機付けるものである。具体的には、学習の後期段階に向けてSTEMデータへの割り当てを増やすという、近年のLLM事前学習レシピに対する経験的な裏付けとなる。著者らは、自身の研究を、単一のデータ混合物をプロセス全体を通じて等しく適当なものとして扱うのではなく、学習段階に応じてデータ組成を適応させる、より微細な事前学習戦略を導くためのツールとして位置付けている。

著者らは、自身の分析がデータの混合を変更することによる因果効果を直接確立するものではなく、学習に伴って寄与がどのように変化するかを特徴付けるものであるとして、因果関係の主張については慎重な姿勢を保っている。また、パラメータ空間の二乗距離への依存（これはパラメータ化に敏感である）や、実際には適応型オプティマイザを使用しているにもかかわらずSGDによる分解を仮定していることなど、限界についても認めている。

関連論文