🤖 machine learning

Fixed Universal Transformers

本論文は、特定の入力埋め込みを通じて対象となるモデルの記述をエンコードすることにより、与えられたクラス内のあらゆるトランスフォーマーをシミュレート可能な固定パラメータモデルのクラスである「ユニバーサル・トランスフォーマー」を導入し、そのような普遍性が構成可能かつ生成的であることを実証するとともに、トランスフォーマーの表現力は学習された重みよりもむしろその入力表現に大きく依存していることを示唆している。

原著者： Jingwen Liu, Alexandr Andoni, Daniel Hsu

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingwen Liu, Alexandr Andoni, Daniel Hsu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で、信じられないほど複雑な機械の工場を想像してみてください。その中には、数千もの異なる機械があり、それぞれが非常に特定のタスクを行うように設計されています。あるものは靴下を仕分け、別のものはパンを焼き、また別のものは車を修理します。通常、新しい仕事をさせるためには、配線を変えたり、ギアを交換したり、脳（プログラム）を書き換えたりしなければなりません。これは、時間がかかり、コストもかかるプロセスです。

この論文は、「ユニバーサル・トランスフォーマー（Universal Transformer）」と呼ばれる新しいアイデアを紹介しています。これは、単一の、極めて柔軟な機械であり、異なる「USBドライブ（入力埋め込み/input embedding）」を差し込むだけで、あらゆる特定の機械へと姿を変えることができます。

以下に、簡単な比喩を用いて、これがどのように機能するかを解説します。

1. 核となるアイデア：「ユニバーサル・マシン」

コンピュータの世界には、「ユニバーサル・チューリング・マシン」という概念があります。これは、適切なコードを与えれば、他のあらゆるコンピュータ・プログラムを実行できる単一のコンピュータのことです。

著者らは、ユニバーサル・トランスフォーマーを提案しています。

マシン（本体）： これは固定されたAIモデルです。その内部の「配線」（重みとパラメータ）は固定されており、変わりません。それは、永久的な脳を持つロボットのようなものです。
USBドライブ（埋め込み）： 変わるのはこれだけです。著者らは、別のAIモデルの「記述全体」を、この入力データの中にエンコードできることを示しました。
結果： ユニバーサル・トランスフォーマーに特定の「USBドライブ」を入力すると、それは即座に、ターゲットとなるマシンと全く同じように振る舞い始めます。USBドライブを交換すれば、即座に別のマシンへと変わります。

比喩： ユニバーサル・リモコンを想像してください。リモコン自体（ハードウェア）は決して変わりません。しかし、異なるボタンを押すこと（入力埋め込み）によって、テレビのリモコン、ガレージのドアの開閉器、あるいはドローンのコントローラーとして機能させることができます。この論文は、トランスフォーマーが、他のトランスフォーマーを模倣できることを証明しています。

2. それはどうやって構築されるのか？

論文では、このユニバーサル・トランスフォーマーを構築する2つの方法を示しています。

「設計図」方式（疎な構成 / Sparse Construction）： 著者らは、非常に特定の、構造化されたマシンを設計しました。それは、膨大な数の空のスロットを備えた、整理されたライブラリを持つロボットを組み立てるようなものです。新しい「USBドライブ」を与えられると、ロボットは新しいタスクを模倣するために、どのスロットを埋めるべきかを正確に理解します。この手法は精密であり、多くの空きスペースを使用しますが（「疎」であるため）、仕事が確実に遂行されることを保証します。
「宝くじの切符」方式（ランダム初期化 / Random Initialization）： ここに驚くべき点があります。著者らは、もしトランスフォーマーを構築し、その内部の重みを完全にランダムな状態（ギアの設定をサイコロで決めるような状態）のままにしておいたとしても、それがほぼ確実にユニバーサル・トランスフォーマーになることを発見しました。内部の配線を注意深く設計する必要はありません。入力（USBドライブ）が十分に大きければ、ランダムなマシンであっても、その入力を調整するだけで、あらゆるマシンを模倣することができるのです。

3. 「なぜ」そして「どのくらいの大きさ」か

論文は問いかけています。USBドライブはどのくらいの大きさである必要があるのか？

サイズのルール： 模倣したいマシンが複雑であればあるほど（層やアテンション・ヘッドが多いほど）、USBドライブも大きくなる必要があります。著者らは、必要な正確なサイズを算出しました。それは、「単純な計算機をコピーするには小さなUSBメモリが必要だが、スーパーコンピュータをコピーするには巨大なハードドライブが必要である」と言うようなものです。
限界： 彼らはまた、USBドライブを小さくしすぎようとすると、複雑なマシンをコピーすることは数学的に不可能であることを証明しました。投入できる情報量には、明確な限界が存在します。

4. それは機能したのか？（実験）

著者らは単に数学的な議論をしただけでなく、実際にテストを行いました。彼らは、ユニバーサル・トランスフォーマーに2つのトリッキーな論理パズルを解かせました。

括弧のバランス判定（Parenthesis Balancing）： ((())) のような文字列が、バランスが取れているかどうかをチェックすること。
マルチホップ推論（Multi-hop Reasoning）： 「もしAがBであり、BがCならば、Aは何であるか？」といった、一連の手がかりに従って推論を進めるゲーム。

結果：

彼らは、固定され、変化しないユニバーサル・トランスフォーマーを使用しました。
彼らは「USBドライブ」（入力埋め込み）のみを学習させました。
成功： マシンはこれらのパズルを完璧に解くことを学習しました！
ボーナス： 内部のギアが単なるランダムなノイズである「ランダム・マシン」を使用した場合でも、いくつかの標準的な安定化手法（残差接続やレイヤー正規化など）を加えることで、十分に学習済みのマシンとほぼ同等の成果を得られました。

5. 大きな教訓

この論文の最も重要なメッセージは、AIの仕組みに対する視点の転換です。

通常、私たちはAIの「知能」は、学習された重み（内部の脳）から来るものだと考えています。しかし、この論文は、トランスフォーマーの力の大部分は、実際には情報をどのように入力するかという部分に存在していることを示唆しています。

もしあなたがユニバーサル・トランスフォーマーを持っていれば、新しいタスクごとに脳全体を再学習させる必要はありません。ただ、必要な特定の振る舞いを引き出すための正しい「鍵」（入力埋め込み）を見つけるだけでよいのです。これは、トランスフォーマーの「脳」が柔軟なテンプレートであり、「知識」とは、データをどのように提示するかという問題に過ぎないことを示唆しています。

要約すると： 仕事ごとに新しい脳を用意する必要はありません。ただ、ユニバーサルなマシンに差し込むための、正しい「取扱説明書（埋め込み）」があればよいのです。

技術要約：固定ユニバーサル・トランスフォーマー (Fixed Universal Transformers)

問題提起

本論文は、「適切な入力埋め込み（embedding）が施されるならば、単一の固定パラメータを持つトランスフォーマー・アーキテクチャは、規定されたクラス内のあらゆる他のトランスフォーマーをシミュレートできるか？」という問いに取り組んでいる。この概念は、計算理論におけるチューリング完全な万能計算機（Universal Turing Machine）や万能回路（Universal Circuits）の概念に類するものである。これは、モデルのパラメータを任意の関数に近似させる「万能近似（universal approximation）」や、特定のパラメータを用いてあらゆるチューリングマシンをシミュレートできるネットワーク族としての「チューリング完全性（Turing-completeness）」とは異なり、より厳密な意味での「普遍性（universality）」を調査している。すなわち、この「ユニバーサル」なトランスフォーマーの内部重み（アテンション行列およびバリュー行列）は固定されており（明示的に構築されるか、あるいはランダムに初期化されている）、ターゲットとなるトランスフォーマーのシミュレーションは、入力埋め込み行列 $E$ の変更のみによって達成される。

著者らは、ランダムに初期化されたトランスフォーマーであっても、訓練された埋め込み層とアンエンベディング（unembedding）層さえあれば、多くの能力を発揮できるという最近の経験的な知見（Zhong and Andreas, 2024）に着目している。本論文は、この現象を理論的に定式化し、このような普遍性が成立するための条件を明らかにすることを目的としている。

手法

1. 定義の定式化

著者らは、 $H$ 個のアテンションヘッド、 $L$ 個のレイヤー、および埋め込み次元 $m$ を持つ**ユニバーサル・トランスフォーマー（UT）**を定義する。これは固定された行列 $\{R^l_{Q}, R^l_{K}, R^l_{V}\}$ とアンエンベディング行列 $U$ によってパラメータ化される。パラメータ $\{W^l_{Q}, W^l_{K}, W^l_{V}, W^l_{O}\}$ と埋め込み次元 $d$ を持つターゲット・トランスフォーマー $T$ が与えられたとき、すべての入力シーケンス $X$ に対して以下を満たす場合、UTは $T$ をシミュレートすると定義される：
$\text{UT}(X, E) = T(X)$
ここで、埋め込み $E$ はターゲットのパラメータをエンコードする「プログラム」として機能する。

2. 理論的構成

本論文では、このようなユニバーサル・トランスフォーマーの存在に関する2つの主要な理論的結果を示している：

明示的な疎な構成（Explicit Sparse Construction）: 著者らは、 $\{0, 1\}$ 値のパラメータを持つ固定されたUTを構築する。単一ヘッド（ $H=1$ ）の場合は $m = O(Ld) $、マルチヘッド（$ H \ge 2 $）の場合は$ m = O(HLd) $であれば、埋め込み次元$ m $は十分であることが示されている。この構成は、ターゲット・トランスフォーマーの重みを埋め込み$ E$ にエンコードし、固定されたUTのパラメータを用いて、ツリー状のアテンション・パスを通じてこれらの重みをルーティングおよび読み取るものである。この構成は、パラメータがレイヤー間で共有される**ループ型（重み共有型）**トランスフォーマーにも拡張可能である。
ランダムな普遍性（Random Universality）: 著者らは、普遍性が**一般的な性質（generic property）**であることを証明している。もしトランスフォーマーのパラメータが絶対連続な分布（例：独立同一分布のガウス分布）から抽出されるならば、埋め込み次元が同じ境界条件（$m = O(HLd)$）を満たす限り、確率1で、得られるトランスサーマーはユニバーサルとなる。この証明は、シミュレーションに必要な代数的な条件が、特定の行列がランク不足になるような測度ゼロの集合においてのみ失敗することを示すことに依拠している。

3. 下界（Lower Bounds）

本論文は、「アテンション・マッチング」アプローチ（ユニバーサル・トランスフォーマーがターゲットの正確なアテンション行列を再現しなければならない場合）における埋め込み次元 $m$ の下界を確立している。定理4.1によれば、 $H \ge 2$ の場合、最も単純なケース（入力次元が1の場合）であっても、 $m$ は深さ $L$ に対して指数関数的に増大する必要がある（具体的には $m \ge HL/2$ ）。これは、マルチヘッド・アテンションによって誘発される指数関数的な数の計算パスを表現することの複雑さを浮き彫りにしている。

4. 実証的評価

著者らは、以下の2つのアルゴリズム的タスクを用いて理論を検証した：

括弧の整合性判定（Dyck-1）: シーケンス内の括弧がバランスしているかを判定する。
$k$ -hop インダクション・ヘッド: インダクション・ヘッド機構の一般化であり、トークンの再帰的な検索を必要とする。

以下の3つのモデルを比較した：

疎なユニバーサル・トランスフォーマー（Sparse Universal Transformer）: 定理3.1による明示的な構成を使用。
ランダムなユニバーサル・トランスフォーマー（Random Universal Transformer）: ランダムに初期化された固定パラメータを使用。
完全に訓練されたトランスフォーマー（Fully-trained Transformer）: 標準的なエンドツーエンドで訓練されたトランスフォーマー。

すべての実験において、埋め込み行列 $E$ とアンエンベディング行列 $U$ のみが訓練され、内部のアテンションおよびバリューのパラメータはすべて固定されている。

主要な結果

理論的知見

存在性: 明示的な疎なパラメータ、およびランダムに初期化されたパラメータを用いたユニバーサル・トランスフォーマーが存在する。
次元数: 必要な埋め込み次元は、レイヤー数およびヘッド数に対して線形にスケールする（$O(HLd)$）。
汎用性: ランダムに初期化されたトランスフォーマーは、適切な埋め込みがあればほぼ確実に（almost surely）ユニバーサルであり、これは「表現力」が特定の学習された重みではなく、その構造自体に備わっていることを示唆している。
下界: アテンション・マッチング戦略においては、埋め込み次元は深さに対して指数関数的にスケールしなければならず、これはアテンション・パターンを一致させることなく、低次元の埋め込みに全可能なトランスフォーマーの空間を圧縮することに対する根本的な限界を示している。

実験的知見

括弧の整合性判定: 疎なユニバーサル・トランスフォーマーは、アテンションのみの設定において100%の精度（疎な場合）を、ランダムなユニバーサル・トランスフォーマーは94.4%（ランダムな場合）を達成し、完全に訓練されたモデルと同等の性能を示した。
インダクション・ヘッド: アテンションのみの設定では、性能は不十分であった（例： $k$ $k$ -hop タスクにおいて、完全に訓練されたモデルの ~~99% に対し、~~30-40%）。しかし、標準的なコンポーネントを追加することで、性能が大幅に向上した：
- 残差接続（residual connections）とレイヤー正規化（layer normalization）を追加することで、疎なユニバーサル・トランスフォーマーはすべてのインダクション・タスクで100%の精度に達し、ランダムなユニバーサル・トランスフォーマーは**85.7%～96.1%**に達した。
- MLPレイヤー（凍結かつランダム初期化されたもの）を追加することで、ランダムなユニバーサル・トランスフォーマーの性能がさらに向上した。
最適化: これらの結果は、標準的な勾配ベースの最適化が、残差接続やレイヤー正規化のような安定化コンポーネントを含む限り、複雑なアルゴリズム的タスクを解決するために必要な埋め込みを学習する上で成功することを示している。

意義と主張

本論文は、トランスフォーマーの表現力の大部分は、学習された内部重みではなく、その**入力表現（埋め込み）**に存在するという主張をしている。ユニバーサル・トランスフォーマーという概念を定式化することで、著者らは以下のための理論的基礎を提供している：

モデル・リプログラミング（Model Reprogramming）: 埋め込み層のみを修正することによって、学習済み（あるいは固定された）モデルを新しいタスクに適応させる能力。
ランダム初期化: なぜランダムに初期化されたトランスフォーマーが驚くべき能力を示すことが多いのかという点の説明。これらは、適切な埋め込みさえあれば、タスク固有のトランスフォーマーをシミュレートできる能力を本来備えている。
効率性: 特定のクラスの問題に対しては、トランスフォーマーの全パラメータを学習する必要はなく、固定されたユニバーサルなバックボーンを「プログラミング」するコンパクトな埋め込みを学習するだけでよい可能性を示唆している。

著者らは、自らの理論的な下界は特に「アテンション・マッチング」戦略に適用されるものであること、また、MLPや正規化を含むより現実的なアーキテクチャへの拡張（実験的には有望であるが）は依然として開かれた理論的な方向性であることを述べ、謙虚な姿勢を保っている。また、彼らの研究はトランスフォーマーのアーキテクチャ自体を変更するものではなく、入力埋め込みの役割を再解釈するものであることも明確にしている。