How Do Large Language Models Learn Concepts During Continual Pre-Training?

人間は、物事を精神的なカテゴリーに分類することで、世界を理解しています。私たちは、毛むくじゃらで四本足の動物を見れば、即座にそれを「犬」という概念として認識します。その概念には、「吠える」「尻尾がある」「走ることができる」といった共通の特性の束が付随しています。このような具体的な観察を一般的な概念へと抽象化する能力は、人間の推論の基盤となっています。物語を書いたり質問に答えたりすることができる強力なコンピュータプログラムである大規模言語モデルも、同様のことを試みています。これらのモデルは膨大なテキストの海で学習し、そこでこれらと同じ種類の抽象的な概念を抽出し、内部システムの中に保存することが期待されています。しかし、これらのモデルが学習できることは分かっているものの、モデルがどのようにしてその知識を時間の経過とともに保持し続けるのか、あるいはなぜ新しい情報が提示されたときに知識を失ってしまうように見えるのかについて、私たちは正確に理解することに苦慮してきました。

長年、研究者たちはこれらのデジタルな精神の内部を覗き込み、それらがどのように機能しているかを探ろうとしてきました。ある者は事実を覚えているかどうかを確認するために質問を行い、またある者はコンピュータが情報を処理するために使用する特定の経路をマッピングしようとしました。しかし、これらの手法はしばしば孤立した事実や静的な瞬間のみを見ています。それらは、モデルが新しい概念をどのように学び、強化し、そして別のことを学ぼうとしたときにどのように忘却していくかという、動的なプロセスを見落としています。これらのモデルを新しいデータで更新する際、モデルが真に世界の安定した理解を構築しているのか、それとも次の更新とともに消えてしまうパターンを単に暗記しているだけなのかを知る必要があるため、この理解の空白は極めて重要です。

ある研究チームは、人工知能が特定の概念をどのようにリアルタイムで学習し、忘却するかを観察することで、この謎を解こうと試みました。彼らは、架空の概念を用いたデータセットを使用して、制御された環境を作り出しました。例えば、「走る」能力を持つ「オルレ（Olre）」という生き物や、四本足を持つ「フー（Foo）」について子供に教える場面を想像してください。これらの生き物は現実世界には存在しないため、コンピュータは事前の知識を持っていません。これにより、科学者たちは、既存のバイアスに縛られることなく、学習プロセスをゼロから観察することができました。彼らはこれらの架空の事実についてモデルを訓練した後、モデルが「オルレ」や「フー」の記憶に対してどのような影響を受けるかを確認するために、大量の無関係なテキストを導入しました。

彼らが発見したのは、モデルの内部構造がどのように変化するかという、明確で測定可能なパターンでした。研究者たちは、コンピュータは単一の場所に事実を保存するのではなく、その概念を表すための複雑な接続の網、すなわち「回路」を構築することを発見しました。これらの網の形状と密度を分析することで、モデルがその概念をどの程度よく学習したか、そしてどの程度忘れる可能性が高いかを予測することができました。彼らは驚くべきトレードオフを発見しました。モデルが最も迅速かつ強力に学習した概念は、新しい情報が到着した際に最も容易に忘れてしまう傾向があるのです。初期の学習の強さそのものが、システムが再編成を強制された際に、メモリをより脆弱にするようです。

また、この研究は、異なるアイデアが互いにどのように干渉し合うかも明らかにしました。モデルが非常に似た意味を持つ二つの概念を同時に学習しようとすると、無関係な概念の場合よりも著しく苦戦することが分かりました。これらの類似した概念のための内部的な網は重なり合い、コンピュータがそれらを容易に区別できない一種の交通渋滞を引き起こしていました。逆に、ある種類の知識を学ぶことが、モデルが別の知識を学ぶ助けになることも発見されました。例えば、物の特性や機能について教えることは、後に類似語や反対語の関係性を学習することを非常に容易にしました。これは、情報の提示される順番が深く重要であることを示唆しています。つまり、ある種のレッスンは他のレッスンのための基礎となるのです。

おそらく最も重要なことは、研究者たちがこれらの内部パターンは単なる抽象的な観察ではなく、モデル自体を改善するために使用できることを示した点です。学習回路の形状を見ることで、どの概念が忘却のリスクに最もさらされているかを特定することができました。そして、彼らはこの洞察を用いて、シンプルな訓練戦略を作成しました。モデルが新しいことを学んでいる間、彼らは時折一時停止し、最も脆弱な特定の概念を復習させたのです。この、モデルの内部構造に基づいた標的を絞った復習は、コンピュータが知識を保持するのを大幅に助けました。この研究は、これらのモデルがどのように学習するかという内部構造に注意を払うことで、より効果的に教えることができ、テスト前にどのノートを復習すべきかを知っている学生のように、より安定し信頼できる世界の理解を構築させられることを示唆しています。