🤖 machine learning

Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions

本論文は、ランダムな初期化によって生成されるモデルが、高感度な関数には本来備わっていない性質である「低感度な文字列を含む関数」をほぼ確実に計算してしまうため、パラメータ空間において高感度な関数が占める領域が消失的に小さいことを示すことで、なぜトランスフォーマーがPARITYのような高感度なブール関数を学習できないのかを説明する。

原著者： Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

Transformer（多くの現代的なチャットボットの背後にあるAIの型）を、調整可能なダイヤルやノブで作られた巨大で複雑な迷路だと想像してください。この迷路が「パラメータ空間」です。私たちがTransformerを訓練するとき、私たちは本質的に、特定のパズル（例えば、0と1の文字列の中に1が偶数個あるか奇数個あるかを判定する「PARITY」と呼ばれるタスク）を解くための、この迷路の中の特定の経路を見つけようとしています。

この論文は、シンプルながらも深遠な問いを投げかけています。「迷路の中に経路が存在するとしても、果たしてそれを見つけ出すことができるのだろうか？」

以下に、日常的な比喩を用いた彼らの発見の解説をまとめます。

1. 「干し草の山から針を探す」問題

著者らは、特定のトリッキーなパズル（PARITYや、最初のビットのみに注目する「FIRST」関数など）において、Transformerのダイヤルの正しい設定値が、迷路の中の極めて微小な領域に隠されていることを発見しました。

比喩: パラメータ空間を巨大なスタジアムだと想像してください。「簡単な」パズル（1が0より多いかどうかを数える「MAJORITY」など）の場合、その解となる領域はフィールド一面ほどの広さがあります。しかし、「難しい」パズル（PARITYなど）の場合、その解となる領域は、スタジアムの中に埋まった一粒の砂ほどしかありません。
結果: 私たちがTransformerの訓練を開始するとき、通常はスタジアム内のランダムな地点を選びます（ランダム初期化）。その一粒の砂の上に偶然辿り着く確率は、事実上ゼロです。たとえ数学的に解決策が「存在する」としても、訓練プロセス（これは登山のハイカーが上り坂を歩こうとするようなものです）において、ターゲットがあまりに小さすぎるため、その砂粒にヒットすることはほとんどありません。

2. 「感度」メーター

なぜこれらの解を見つけるのがこれほど難しいのかを理解するために、著者らは**「感度（sensitivity）」**と呼ばれるものに着目しました。これは、入力のたった一つのビットを反転させたときに、答えがどれだけ変化するかを測定する指標です。

高感度（難しいパズル）: PARITYの場合、任意の単一ビットを反転させるだけで答えが変わります。これは、部屋の中のどのワイヤーに触れてもライトが点いたり消えたりする照明のようなものです。論文では、これらを「センシティブ（敏感）」な関数と呼んでいます。
低感度（簡単なパズル）: MAJORITYの場合、カウントが完全に拮抗していない限り、一つのビットを反転させても答えは通常変わりません。これは、一票の差が勝者を左右することは滅多にない選挙のようなものです（接戦でない限り）。

3. 「低感度バイアス」

この論文の最大の発見は、迷路の**「幾何学的な構造」**についてです。彼らは、もし迷路内のランダムな地点を選んだ場合（ランダムに初期化されたTransformerの場合）、構築されるマシンはほぼ確実に「低感度バイアス」を持つことを発見しました。

メタファー: 迷路は、ランダムな経路の多くが「硬い」あるいは「怠惰な」マシンへと導かれるように設計されています。このマシンは、入力の小さな変化を無視します。入力が大きく変化したときにのみ反応します。
結果: 迷路がこのように作られているため、ランダムに選ばれたマシンは、ほぼ確実に「セーフゾーン（入力を反転させても答えが変わらない入力）」を持つことになります。
- MAJORITYには、こうしたセーフゾーンが豊富にあります（指数関数的に多く存在します）。そのため、マシンはこれを容易に学習できます。
- PARITYやFIRSTには、セーフゾーンが全く存在しません。すべての入力がセンシティブです。
- 矛盾: 論文では、入力が長くなるにつれ、ランダムに初期化されたTransformerは必ず何らかのセーフゾーンを持つことを証明しています。したがって、セーフゾーンを持たないPARITYやFIRSTを学習することは、数学的に不可能です。マシンの「形」が、パズルの形と適合しないのです。

4. 訓練の後に何が起きるのか？

あなたはこう思うかもしれません。「でも、もし十分に厳しく訓練すれば、あの針を見つけられるのではないか？」

著者らは実験を行い、訓練した後でも「低感度バイアス」がしばしば持続することを発見しました。

MAJORITYに対して: 訓練は、広大な解のフィールドを見事に探し当てます。マシンはタスクを学習します。
PARITYに対して: 訓練はマシンをあの小さな砂粒へと押し進めようとしますが、その砂粒があまりに小さいため（「測度ゼロ」の集合であるため）、訓練は通常失敗するか、行き詰まってしまいます。マシンは真のロジックに決して到達できません。

「ルール」の要約

この論文は、入力文字列の長さ（ $N$ ）に基づいた明確なルールを確立しています：

「セーフな」入力（ビットを反転させても答えが変わらない入力）が非常に少ない関数（PARITYやFIRSTなど）の場合、入力が長くなるにつれて、Transformerは理論的に学習に失敗します。解決策があまりに小さすぎるためです。
多くの「セーフな」入力を持つ関数（MAJORITYなど）の場合、Transformerは学習可能です。なぜなら、その解決策の領域は、偶然に見つけ出し、訓練によって洗練させることができるほど十分に大きいからです。

要約すると： この論文は、Transformerが特定のタスクに対して単に「苦手」なのではなく、それらに対して「構造的なバイアス」を持っていることを説明しています。彼らの学習の景観は、センシティブなタスクの頂上があまりに小さすぎてランダムな探索では見えない一方で、堅牢なタスクの頂上は広く登りやすい山脈のような形をしているのです。

技術的要約：ブール関数をエンコードするTransformerのパラメータ空間の幾何学に関する理解

問題提起
Transformerには、表現力（特定の関数を計算できるパラメータ設定が存在すること）と学習可能性（最適化アルゴルズムがそれらの設定を見つけ出す能力）の間に、文書化された明確なギャップが存在する。理論的な研究により、Transformerがある種のブール関数を表現できることは確立されているが、経験的な証拠によれば、これらは「敏感な（sensitive）」関数、すなわち入力ビットを1つ反転させると出力が変化する可能性が高い関数を、一貫して学習できないことが示されている。PARITY（パリティ）関数はその典型例である。先行研究では、この現象は「平均感度（average sensitivity）」が低い関数へのバイアスに起因するとされているが、感度とパラメータ空間の幾何学的構造を結びつける正確なメカニズムは依然として不明である。具体的には、敏感な関数の学習不可能性が、パラメータ空間においてそれらが消失的な体積しか占めていないために生じているのか、それともランダムな初期化や勾配ベースの最適化によって見つけ出すことが困難であるために生じているのかという点が未解明である。

手法
著者らは、バイナリ・アルファベット上のブール関数をエンコードするソフトアテンション・Transformerのパラメータ空間 $\Theta$ の幾何学を分析している。分析は、正規化項の分母にあるレイヤーノルムの安定化定数 $\epsilon$ に基づいて、以下の2つのケースに分けて行われる。

ケース $\epsilon > 0$ : $\epsilon$ がゼロから離れて一定である場合、Transformerはパラメータに対して一様にリプシッツ連続であることを著者らはまず確立する。この一様な安定性は、累積的な「増幅（blowup）」（入力変化の増幅）が入力長 $N$ に依存せず限定されることを意味する。その結果、十分大きな $N$ に対して、単一ビットの反転が出力に与える影響は消失する（ $O(1/N)$ ）。これにより、認識可能なブール関数の数は $N$ に依存しない定数によって抑えられるというパッキング論法が導かれ、非定数ブール関数は漸近的に認識不可能となる。
ケース $\epsilon = 0$ : これが本論文の主要な焦点である。ここでは、レイヤーノルムの分母がゼロに近づく可能性がある。著者らは、ランダムに初期化されたTransformerが特定の感度特性を持つ関数を計算する確率を分析するために、測度論的な枠組みを開発した。
- 感度プロファイル（Sensitivity Profile）: 平均感度のみに依存するのではなく、著者らはすべての入力文字列における感度値の分布として定義される「感度プロファイル」を導入する。
- 増幅分析（Blowup Analysis）: パラメータのランダムな摂動に対して、レイヤーノルムの入力の分散が極端に小さくならない限り、高確率で増幅が限定されることを証明する。
- 測度論的議論: パラメータ空間を小さな立方体で被覆し、各立方体内での増幅に関する確率的境界を適用することで、パラメータ空間全体へと結果を拡張する。そして、第1ボレル・カンテリ集合を用いて、これらの結果を十分に大きなすべての入力長 $N$ に対して集計する。

主要な貢献と結果

測度ゼロの学習不可能性: 中心的な理論的結果（定理4.5）は、十分に大きな入力長 $N$ に対して、ランダムに初期化されたTransformerが、感度ゼロの文字列を相当数持つ（具体的には少なくとも $N^{\frac{D-1}{2L} - 5}$ 個の文字列を持つ）関数を、ほとんど確実に計算することを証明している。
感度プロファイルの制約: したがって、感度ゼロの文字列を持たないブール関数（すなわち、すべての入力が非ゼロの感度を持つ関数）は、ルベーグ測度がゼロの部分集合を占めることになる。
特定の関数の学習不可能性: 上記に基づき、著者らは PARITY、m-SPARSE PARITY、および DICTATOR 関数（FIRST を含む）といった関数が、大きな $N$ においてランダムに初期化されたTransformerにとって証明可能なほど学習不可能であることを示している。これらの関数は最小感度が $\ge 1$ （またはスパース版では $m$ ）であり、感度ゼロの文字列を一切持たない。
平均感度との区別: 分析により、平均感度は学習可能性を予測するには不十分であることが明らかになった。例えば、FIRST 関数は低い平均感度（1に等しい）を持つが、感度ゼロの文字列を持たないため、大きな $N$ に対して学習不可能である。逆に、MAJORITY は低い平均感度を持つものの、指数関数的な数の感度ゼロの文字列を持つため、パラメータ空間の正の測度を持つ領域を占めている。
MAJORITYに関する予想: 著者らは、MAJORITY が大量の感度ゼロの文字列を持つことが、パラメータ空間の正の測量部分集合に対応しているため、学習可能であると予想している。
実証的検証: ランダムに初期化された、および訓練されたTransformerを用いた実験により、感度スペクトルがゼロに大きく偏っていることが確認された。PARITYのようなタスクで訓練した後でも、モデルは正しい感度プロファイルに到達できず、一方でMAJORITYやFIRST（中程度の長さにおいて）の学習に成功したモデルは、予測された感度のクラスタリングを示す。

意義
本論文は、低感度な関数に対するTransformerの観測された帰納バイアスに対する理論的な説明を提供している。平均感度からフル・感度プロファイルへと焦点を移し、パラメータ空間の測度論的性質を分析することで、PARITYのような関数の学習不可能性が単なる最適化の失敗ではなく、根本的な幾何学的制約であること、すなわち、そのような関数を表現するために必要なパラメータ設定が測度ゼロの集合を占めていることを著者らは示している。これは、ランダムな初期化はほぼ確実にこれらの設定を見逃し、また勾配ベースの最適化も初期化の事前分布に制約されているため、そこに到達することは困難であることを意味する。本研究は、表現力と学習可能性の境界を明確にし、入力が十分に長い場合、Transformerは感度ゼロの文字列を欠く言語を認識することが根本的に不可能であることを示している。