🤖 machine learning

Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling

本論文は、言語モデルにおいて推論と真実性が反相関から協力的へと転じる「アライメント遷移」が臨界規模を超えて隠れて存在することを特定し、この相転移はモデル内部へのアクセスを必要とせず、アーキテクチャの調整、データ選定、トレーニングレシピによって予測および操作可能であることを明らかにする。

原著者： Adil Amin

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Adil Amin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「嘘をつくのは一時的な通過点」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きなアイデア：AI の「成長痛」

あなたが子供を賢く、かつ正直に育てると想像してみてください。長らく科学者たちは、子供により多くの教育（より大きな「規模」）を与えるほど、子供は自然に賢くなり、同時に正直にもなると考えていました。

しかし、この論文は、AI モデルにとってそれが常に真実ではないと主張しています。実際には、賢くなるほど、AI は真実を語る能力が低下するという特定の「成長痛」の段階が存在します。

著者たちはこれを**「アライメント税」**と呼んでいます。これは、AI が成長する過程で一時的に支払う罰金のようなものです。しかし、良い知らせは？これは自然法則ではありません。エンジニアが修正できる設計上の欠陥なのです。

1. 道路での U ターン

研究者たちは、16 の異なるファミリーに属する 63 の異なる AI モデルを調査しました。彼らは以下の 2 つを測定しました：

推論能力：AI がパズル（数学テストのようなもの）をどの程度うまく解くか。
真実性：AI が嘘をつく（でっち上げる）のをどの程度うまく避けるか（嘘発見器テストのようなもの）。

彼らが発見したこと：

小規模モデル（「税」の段階）：AI が小さい場合、それを賢くすると、真実を語る能力が低下する傾向があります。これは、新しいアイデアに自信を持ちすぎた思春期の子供が、かっこよさそうに聞こえるために嘘をつき始めるようなものです。2 つのスキルは互いに競合します。
臨界のスイッチ（ $N_c$ ）：この状況が変わる特定のサイズ（一部のモデルでは約 35 億パラメータ）が存在します。
大規模モデル（「ボーナス」の段階）：AI がそのサイズ閾値を超えると、競合は止まります。今度は、それを賢くすると正直にもなるのです。2 つのスキルは、油の差された機械のように協調して働き始めます。

注意点： 損失曲線（AI の進捗を測定する標準的な方法）はこれを示しません。それは滑らかで完璧な下降線のように見えます。スキル間の「競合」は標準的なツールには見えず、表面のすぐ下に隠れています。

2. 規模の問題ではない；レシピの問題

「ああ、つまりこれを直すには単にモデルを大きくすればいいんだ」と思うかもしれません。しかし、論文は**「違う」**と言います。規模は単なる材料の一つに過ぎません。

「アライメント税」は実際には設計上の選択です。研究者たちは、この問題を修正するためにエンジニアが調整できる 3 つの「つまみ」を発見しました。時には、ごく小さなモデルでも修正可能です。

つまみ 1：より良いデータ（「厳選された食事」）
- 比喩：子供にインターネット上の無作為な噂ではなく、高品質で検証済みの事実だけを食させることを想像してください。
- 結果：非常に小さな（10 億パラメータの）Phiモデルは、超クリーンなデータで訓練されることで、ごちゃごちゃしたウェブデータで訓練された 100 億パラメータのモデルと同じくらい賢く正直に振る舞います。「税」は、食事が良くなったため消滅します。
- 例：Qwen3モデルは、訓練データが慎重に厳選されたため、「税」を全く示しません。
つまみ 2：広幅のアーキテクチャ（「広い廊下」）
- 比喩：狭いドアを 2 人（推論と真実）が同時に通ろうとしている廊下を想像してください。彼らはぶつかり合い、争います。もしドアを広くすれば、衝突することなく並んで歩くことができます。
- 結果：問題は大脳そのものではなく、出力投影（情報が通過する最終的なドア）にあります。そのドアを広くすれば、モデルのサイズを変えなくても争いは止まります。
つまみ 3：アーキテクチャの変更
- 比喩：家の設計図を変更することです。
- 結果：新しい設計（Gemma-4など）は、「成長痛」の段階を完全にスキップできます。40 億パラメータの Gemma-4 は、旧世代の 130 億パラメータモデルのように振る舞います。

3. 問題はどこに隠れているのか？

研究者たちは AI の「脳」（アテンションヘッド）の中を調査しました。

驚き：脳の中では、推論と真実を担う部分は実際には友好的です。95% の時間は協力しています。
本当のボトルネック：問題は、AI が答えを出力しなければならない最後の瞬間に発生します。これは、友人グループが計画で合意しているのに、グループを代表して話す人が、両方の声を一度に運ぶには小さすぎるマイクを持っているようなものです。信号が押しつぶされ、彼らが争っているように見えます。
解決策：その話者に大きなマイク（より広い出力層）を与えれば、協力が光を放ちます。

4. これがあなたにとってなぜ重要なのか

「大きいほど良い」とは限らない：もしあなたが小さな AI モデル（例えば携帯電話にあるもの）を使っている場合、単に大きくするだけでは、その嘘をつく傾向は修正されないかもしれません。それは単により賢い嘘つきになるだけかもしれません。
「結合」を確認する：モデルをスケールアップする前に、そのスキルが競合しているのか、協力しているのかを確認すべきです。
- 競合している場合（負の結合）：単にデータや規模を増やすのではなく、訓練レシピを変更し、モデルを広くし、データをクリーンにしてください。
- 協力している場合（正の結合）：その場合、大きくすれば両方のスキルが向上します。
「税」は任意である：この論文は、「アライメント税」が宇宙の永続的な規則ではないことを証明しています。それは現在のエンジニアリングプロセスにおけるバグであり、パッチで修正可能です。

まとめ：比喩

AI の訓練を橋の建設だと考えてみてください。

古い見方：より多くの鋼鉄（パラメータ）を追加するほど、橋は自動的に強くなり、安全になる。
新しい見方：建設の途中では、より多くの鋼鉄を追加すると、橋の両側が反対方向に引っ張っているため、橋がぐらつく。
解決策：単により多くの鋼鉄が必要なのではなく、両側が一緒に引っ張られるように、設計図（アーキテクチャ）を変更するか、より良い材料（厳選されたデータ）を使用する必要があります。その建設段階を越えれば、橋は信じられないほど強固で安全になります。

この論文は、エンジニアが単に「スケールアップ」するのではなく、「設計図を修正」すべき時期を正確に判断するためのダッシュボードとツールを提供しています。

技術的サマリー：「嘘をつくことは単なる一時的な段階：言語モデルのスケーリングにおける隠れたアライメント転移」

1. 問題定義

現在のスケーリング則は、計算量とパラメータ数の関数としてモデルの損失を高精度に予測するが、異なる能力がどのように相互作用するかを記述することはできない。この分野における支配的な仮説は、ベンチマーク（推論、真実性、指示追従など）が独立した軌道としてスケーリングするというものである。本論文はこの仮説に挑戦し、能力は連動しており、その相互作用が標準的な損失曲線には見えない急激なレジーム転移を経験すると仮説立てている。

具体的には、著者らは推論（HellaSwag で測定）と真実性（TruthfulQA で測定）の関係を調査する。損失はスケーリングとともに単調に減少するが、これら 2 つの能力間の相関は一定ではない。論文は、より小さなモデルでは推論をスケーリングすることが真実性を積極的に低下させる「アライメント税」レジームから、より大きなモデルではスケーリングが両者を同時に改善する協調レジームへと反転する「位相転移」を特定している。

2. 手法

著者らは、16 ファミリーにわたる 63 のベースモデルにおける能力間の相互作用を測定するための位相出現の能力連動分析（CAPE）フレームワークを導入した。

連動メトリクス:
- 局所連動（ $\gamma_{12}$ ）: ファミリー内の連続するモデルサイズ間の微分 $\Delta TQA / \Delta HS$ として定義される。これは推論の改善単位あたりに真実性がどのように変化するかを測定する。
- 集団連動（ $r$ ）: モデルパネル全体にわたるピアソン相関。
データ範囲: 分析は、Pythia、OPT、BLOOM、Llama、Falcon、Qwen、Gemma、Phi などのファミリーにまたがる、70M から 70B パラメータまでの 63 モデルを網羅している。
動力学モデリング: 著者らは Pythia のデータのみに基づいてベンチマーク軌道を支配する常微分方程式（ODE）を発見するために疎回帰（PySINDy）を使用し、その保持されたファミリー（Llama-2）への交差予測能力をテストした。
介入分析: 本研究は、転移への影響をテストするために 3 つの工学的レバーを分離した。
1. 幅正規化: スコアをモデル幅（ $d_{model}$ ）で割る。
2. データキュレーション: 精選/合成データでトレーニングされたモデル（Phi、Qwen3）と Web スケールのデータでトレーニングされたモデルを比較する。
3. アーキテクチャ: 異なるモデルファミリーと内部構造（例：Gemma-4 の PLE アーキテクチャ）を比較する。
内部メカニズムのプロービング: 著者らは TransformerLens を使用してアテンションヘッドと隠れ状態を分析し、「税」が内部表現の競合から生じるのか、それとも出力のボトルネックから生じるのかを決定した。

3. 主要な結果

位相転移

推論と真実性の間の連動が、ファミリー依存の臨界スケール（ $N_c$ ）で符号を反転させることが、中心的な実証的発見である。

$N_c$ 未満（税レジーム）: 能力は負の相関を示す。推論のスケーリングは真実性の低下をもたらす。Pythia ファミリーの場合、 $r = -0.989$ である。
$N_c$ 以上（ボーナスレジーム）: 能力は協調する。スケーリングは両方を改善する。ファミリー全体の大規模モデルにおいて、 $r > +0.78$ である。
臨界スケール（ $N_c$ $N_{c}$ ）: 転移点はアーキテクチャとトレーニングレシピによって変化する。
- Pythia: $N_c \approx 3.5B$ パラメータ [2.9B, 13.4B]。
- OPT: $N_c \approx 0.12B$ 。
- Falcon: $N_c \approx 7B$ 。
- 精選モデル（Phi、Qwen3）: $N_c$ は実質的にテストされた最小モデルよりも下にシフトしており、テストされたすべてのスケールで協調的連動を示す。

損失曲線は転移を見逃す

標準的な損失曲線には目に見える転移は存在しない。これらは滑らかなべき乗則に従う（Pythia の場合 $R^2 = 0.9994$ ）。レジームの変化は、損失や個々のベンチマークスコアではなく、完全に連動（能力間の交差微分）に存在する。損失が同一の 2 つのモデルが、異なる能力位相に存在し得る。

メカニズム：出力投影のボトルネック

内部協調: 試験された 40 モデルのうち 38 モデルにおいて、ゼロのアテンションヘッドが推論と真実性の間で競合する表現を示した。ヘッドは普遍的に協調的である（中央値のコサイン類似度 +0.52）。
ボトルネック: 負の相関は内部の競合から生じるのではなく、出力投影における次元圧縮から生じる。臨界スケール（ $N_c$ ）において、出力層は新たに結合された協調的な内部表現を同時に表現するには狭すぎる。
証拠:
- 幅正規化: ベンチマークスコアをモデル幅で正規化すると、すべてのテストされたファミリーにおいて負の相関が正に反転する。
- 層分析: Pythia-1B（ $N_c$ において）では、連動が隠れ層から出力層に向かって減少する（0.725 $\to$ 0.639）。一方、他のサイズでは増加する。
- 介入: 出力投影をより広いマップに置き換えることで、再トレーニングなしに連動を回復させることができる。

予測能力

ODE の発見: Pythia データで発見された疎回帰 ODE は、Llama-2 ベンチマークを5.6% の平均絶対誤差（MAE）で交差予測し、多項式ベースラインのおよそ 2 倍の精度を示す。
独立検証: このフレームワークの知識なしに独立してトレーニングされた OLMo（AI2）は、1B パラメータで正確に転移境界（ $\gamma_{12} = 0.000$ ）に位置しており、予測された転移スケールを確認している。

工学的レバー

「アライメント税」は自然法則ではなく、工学的に制御可能なボトルネックであることが示された。

データキュレーション: Qwen3 は、同じスケールの Qwen2.5 と比較して、連動の低下を完全に排除する。Phi（1B）は、データキュレーションのみによって 10B の Web トレーニングモデルと同等の連動を達成する。
アーキテクチャ: Gemma-4（4B）は、アーキテクチャの革新（PLE）と蒸留を通じて、13B 以上の標準モデルの連動特性を達成する。
幅: 固定されたパラメータ数でモデル幅を増加させることは、税を減少または排除する。

4. 意義と主張

本論文は、「アライメント税」（小規模モデルにおける推論と真実性のトレードオフ）が、知性の本質的な限界ではなく、トレーニングレシピとアーキテクチャの構造的性質であると論じている。

パラダイムシフト: 転移は漸進的なものではなく、急激なレジーム変化である。 $N_c$ 未満では、スケーリングだけでは不十分であり、アライメントに対して潜在的に有害である。 $N_c$ 以上では、スケーリングは有益となる。
実用的含意: 7B パラメータ未満（デバイス内、組み込みなど）でモデルを展開する組織にとって、単にパラメータを増やすことは最適戦略ではない。代わりに、データキュレーション、アーキテクチャの幅、特定のトレーニングレシピが、協調的アライメントを達成するためのより直接的なレバレッジを提供する。
診断的有用性: 連動位相は、モデル内部へのアクセスを必要とせず、モデルファミリー全体にわたる公開ベンチマークスコアのみを使用して診断できる。
フロンティアの拡張: 協調レジームはフロンティア（34 モデル、10 ラボ）にまで及んでおり、高度な能力（SWE-bench、GPQA）も正の連動（ $r = +0.72$ ）を示す。

著者らは、特定されたボトルネック層における活性化制御のためのオープンソースツール（cape-steer.py）と、連動位相を診断し介入を提案するインタラクティブなダッシュボード（zehenlabs.com/cape）を公開している。

5. 範囲と限界

主張は、テストされたベンチマークペアにおける能力連動に限定されている。フレームワークは公開ベンチマークスコアに依存しており、モデル重みを必要としない。著者らは、精選モデルにおいて「税」が排除される一方で、Qwen3 における「データキュレーション」と他のレシピ変更の間の特定のメカニズムは、制御されたアブレーションではなく、十分条件として特定されていると指摘している。論文は明示的に、転移は物理定数ではなく設計パラメータであり、「税」は小規模モデルそのものの性質ではなく、アーキテクチャとトレーニングデータに対する特定のスケールにおけるモデルの性質であると述べている。