💬 NLP

Towards Physical Intuitions for Alignment Dynamics: A Case Study With Randomness Crystallization

本論文は、熱力学における相転移理論、特に結晶化の概念を、ポストトレーニング中の言語モデルのアライメントのダイナミクスをモデル化し理解するために適用することを提案し、教師あり微調整（SFT）と強化学習（RL）がいかにして高エントロピーな事前学習済み分布を構造化され崩壊した振る舞いへと変容させるかを実証するものである。

原著者： Kunal Samanta, Ari Holtzman, Peter West

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kunal Samanta, Ari Holtzman, Peter West

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で混沌としたビー玉の瓶を想像してみてください。この瓶は、指示に従うよう教え込まれる前の学習済みAIモデルを表しています。

液相：混沌とした瓶

この初期状態では、ビー玉はあらゆる方向に渦巻いています。もしあなたがAIに「ランダムな数字を教えて」という単純な質問をしたとしても、その答えは「どのように尋ねるか」によって完全に変わります。

もし遊び心を持って尋ねれば（「あなたのラッキーナンバーは何？」）、AIは「7」に傾くかもしれません。
もし形式的に尋ねれば（「私の計算によれば……」）、AIは「1」に傾くかもしれません。
AIには、多くの異なる人格や習慣が「重ね合わせ」の状態で存在しています。それは、原子があらゆる方向に動いている液体のように、高エネルギーで多様であり、予測不可能です。

核形成相：スナップ・トゥ・グリッド（格子への吸着）

ここで、AIに特定のルールに従うよう教え始めるとします（これは**教師あり微調整（SFT）**と呼ばれます）。あなたは、どのように振る舞うべきかの例をAIに見せます。

すると突然、混沌が止まります。渦巻いていたビー玉は、ただ動きが遅くなるのではなく、即座に硬く組織化されたパターンへと吸い寄せられます。

今や、どのように質問を投げかけたとしても、AIは全く同じタイプの回答を出すようになります。
大きな発見： この論文は、AIが「新しい振る舞い方」を発明したのではないことを明らかにしました。むしろ、最初からあの混沌とした瓶の中に隠れていた特定の習慣の一つを、AIが選び取っただけなのです。
これは結晶化のようなものです。物理学において、水が凍るとき、新しい構造を作り出すのではなく、もともとそこに存在していた小さな「種（シード）」に基づいて結晶の形へと吸い寄せられます。AIのトレーニングは、単にその一つの「種の習慣」を見つけ出し、その周囲のすべてを固定させただけなのです。

沈殿相：結晶の研磨

AIがその単一の習慣にロックされた後、さらに「より安全」または「より有益」になるための追加トレーニング（強化学習やDPOと呼ばれます）が行われます。

この論文は、これが結晶の形を変えるのではないと主張しています。代わりに、それは金属の焼き入れや宝石の研磨のようなものです。
AIは自身の特定の習慣をより洗練させ、最も可能性の高い回答をより確実にしていきますが、前のステップで確立されたパターンから外れることは決してありません。ただ、同じ選択肢へのグリップを強めているだけなのです。

なぜこれが重要なのか

著者たちは、私たちがAIのアライメント（AIに安全で有益であることを教えること）を、AIが全く新しいことを学ぶ魔法のような変容であると考えていることを指摘しています。

代わりに、彼らはアライメントを水を凍らせるプロセスのようなものだと提案しています。

AIは液体として始まり、多くの隠れた可能性を秘めています。
トレーニングは「冷気」として機能し、AIを特定の形（最初からそこに存在していた「種」）へと凍結させます。
さらなるトレーニングは、その形を磨き上げるだけであり、氷を再び水に戻したり、結晶の形を変えたりすることはできません。

「外部の種」という驚き

研究者たちは面白い実験を行いました。あるAIモデル（OLMoなど）の「種（習慣）」を取り出し、それを使って、全く別のAIモデル（Tuluなど）をトレーニングしたときに何が起こるかを予測させました。

結果： それはうまくいきました！二番目のAIも、全く同じパターンへと凍結したのです。
意味すること： これは、「種」が特定のコンピュータコードに関するものではないことを示唆しています。それは、データとタスクそのものに関するものです。AIは単にデータの中にある最も明白なパターンを選び取っており、一度それを選んでしまうと、もう逃れられないのです。

限界

この論文は、この「結晶」という考え方が、明確で限定的な答えを持つタスク（1から10までの数字を選ぶなど）において最もよく機能することを認めています。答えがあまりに硬直していない、自由で創造的な文章作成などの分野では、このパターンを見ることはより困難かもしれません。しかし現時点では、この考え方は、なぜAIが創造性を失い、反復的になってしまうのかを理解するための新しい方法を提供しています。彼らは単に退屈になるように「学習」しているのではなく、もともと持っていた隠れた習慣の周りに、物理的に「結晶化」しているのです。

技術要約：アライメントのダイナミクスに対する物理学的直観に向けて

問題提起
自然言語処理（NLP）の分野は、大規模言語モデル（LLM）を有用かつ安全にするためのアライメントにおいて顕著な経験的成功を収めてきたが、それらの変化が「どのように」展開するかという構造的なダイナミクスについては、依然として理解が進んでいない。現在のアライメント研究は、アライメント済みか未アライメントか、多様か崩壊しているかといった、終末状態を記述する分類学的な語彙に大きく依存しており、それらの間の遷移に関する一貫したフレームワークを欠いている。具体的には、アライメントによって誘発される構造の起源、特定の行動的アトラクターへ収束する理由、そしてアライメントが変更できるものの根本的な限界が十分に特徴付けられていない。著者らは、物理科学、特に熱力学の相転移理論が、これらのダイナミクスを推論するための原理的で未開拓な語彙を提供すると主張している。

手法：結晶化フレームワーク
本論文は、物質の結晶化における熱力学的相転移と、LLMのポストトレーニング・アライメントとの間の直接的なアナロジー（類推）を引き合いに出し、「結晶化」フレームワークを提案している。このフレームワークは、有限のサポートを持つタスク（例：乱数生成）におけるアライメントは、以下の3つの明確なフェーズを経て進行すると仮定している：

液相（事前学習によるエントロピー / Liquid Phase）: ベースとなるLLMは高エントロピー状態に存在する。異なるプロンプトは、多様な潜在的出力分布の重ね合わせを引き起こす。これは、様々な速度や方向で移動する原子が集まった液体のような状態である。
核形成フェーズ（教師あり微調整 / Nucleation Phase - SFT）: SFTは「核形成イベント」として機能する。モデルの多様な出力分布は、ベースモデル内に既に潜在していた単一の「シード分布（種となる分布）」へと急激に崩壊する。プロンプトへの感受性は消失し、モデルは、原子が種結晶に整列するように、一貫した構造へとスナップ（固定）される。
沈降フェーズ（選好最適化 / Settling Phase - DPO/RLHF）: その後の選好最適化ステージ（DPOやRLHFなど）は、新しい構造を作り出すのではなく、既存の結晶を「テンパリング（焼き入れ）」するものである。確率質量は、核形成期に確立されたピークへとさらに集中し、核形成によって作られたサポート（支持領域）から脱出することなく、分布を洗練させる。

これらのフェーズを定量化するために、著者らは2つの診断指標を定義している：

平均二乗誤差（MSE）距離比 ( $r_d$ ): SFTの分布と、候補となるベースモデルの「シード分布」との距離を測定する。この比率が低いことは、核形成（既存のシードへの収束）が成功したことを示す。
確率質量重複（ProbMass）: 後続の段階（DPO/Instruct）における、シード分布のピークへの確率質量の集中度を測定する。ProbMassの増加は、確率が特定の成果物へと集約される「沈降」プロセスを示している。

実験設定
このフレームワークは、15の確率的タスク（例：数字、偶数、素数の生成）を用いて、2つのオープンウェイト・モデルファミリー（OLMo 2 および Tulu 3）に対してテストされた。本研究では、ベースモデル、SFT、DPO、およびInstructの各ステージのチェックポイントを利用した。著者らは、経験的な出力分布を復元するために、様々なスタイル（遊び心のあるものからフォーマルなものまで）を持つ100個の異なる生成プレフィックスをサンプリングした。

主な結果

三相ダイナミクスの検証: 実験は一貫してこの三相パターンを示した。液相において、ベースモデルは高い相互プレフィックスMSEを示し、高いエントロピーを反映した。**核形成（SFT）**の間、MSE距離比は劇的に低下し、すべてのプロンプトによる分布が、ベースモデル内に既に存在していた単一のシード分布へと収束したことが確認された。
沈降挙動: **沈降フェーズ（DPO/Instruct）**において、シードからの絶対的なMSEはわずかに増加したが（これはシードの正確な形状から鋭利化していることを示す）、ProbMass指標は単調に増加した。これは、確率質量が新しい領域へと拡大するのではなく、シードのピークへとさらに集中していることを裏付けている。
モデル間の転移: あるモデルファミリー（例：OLMo 2）のベースモデルから特定された「外部シード（foreign seed）」は、完全に独立した別のモデルファミリー（例：Tulu 3）の核形成挙動を正確に予測した。これは、これらのダイナミクスが特定のアーキテクチャや学習レシピのアーティファクトではなく、構造的な特徴であることを示唆している。

限界
フレームワークには、大きな出力空間を持つタスク（例：int_1_500）において、信頼できるシードの特定が困難になるという限界が見られた。これは、スパース性（疎性）や要素間の類似性を考慮した指標が必要であることを示唆している。

意義と主張
本論文は、結晶化を、物理学的フレームワークをアライメント研究に導入するための「概念実証（プルーフ・オブ・コンセプト）」として位置づけている。その主要な意義は、分野の焦点を、結果の**事後的記述（post-hoc description）から、ダイナミクスの先行的予測（a priori prediction）**へとシフトさせることにある。アライメントのダイナミクスが既知の物理プロセスに適合することを実証することで、著者らは、LLMの学習の側面を既知の物理現象に還元することで、以下が可能になると主張している：

数学的構造と検証可能な予測。
理論に基づいた介入（例：多様性を維持するための「核形成阻害剤」の特定）。
アライメントによる構造がどこから来るのか、そしてなぜそこに収束するのかについての深い理解。

著者らは、本研究の範囲は有限の出力空間を持つ確率的タスクに限定されているものの、結晶化のアナロジーは豊かで予測的なフレームワークを提供しており、最終的にはオープンエンドな生成や推論タスクへと拡張できる可能性があると結論付けている。これは、NLPにおける新たな使命、すなわち「アライメントの結果をカタログ化するのではなく、アライメントのプロセスを理解すること」を提示している。