技術的概要：トランスフォーマーを用いた正確な系列補間

1. 問題定義

本論文は、系列から系列へのマッピングという文脈におけるトランスフォーマーの正確な補間問題を取り扱います。具体的には、$N$ 個の入力 - 出力系列対 $\{(X_j, Y_j)\}_{j=1}^N$ のデータセットが与えられたとき、ここで $X_j \in (\mathbb{R}^d)^{n_j}$、$Y_j \in (\mathbb{R}^d)^{m_j}$ であり $m_j \le n_j$ であるとして、すべての $j$ に対して $T(X_j) = Y_j$ となるトランスフォーマーアーキテクチャ $T$ を構築することを目的とします。

問題定式化の重要な側面は、系列間の等しさの定義にあります。著者らは系列を順序のない集合（置換共変的）として扱い、出力系列のトークンの集合がターゲット系列 $Y_j$ のトークンの集合と一致する場合（ハウスドルフ距離を介して測定）、$T(X_j) = Y_j$ が成り立つとみなします。この定式化は、出力長が入力長より厳密に短いタスク（例えば、マスク言語モデルや画像のインペインティング）に対応するものであり、長さを保存する標準的な系列から系列へのモデルが直面する不一致を解決します。

本研究では以下の仮定を置きます：

1. 入力系列は互いに異なる。
2. 各入力系列内のトークンは互いに異なる。
3. 各出力系列内のトークンは互いに異なる。

解析は次元 $d \ge 2$（主要な構成証明については特に $d \ge 20$）に対して行われ、ハードマックス（温度 $\tau \to 0$ におけるソフトマックスの極限）とソフトマックスの両方の自己注意メカニズムを考慮します。

2. 手法

著者らは、特定のトランスフォーマーアーキテクチャがそのような任意のデータセットを正確に補間しうることを示す構成証明を提供します。この手法は、トークンの位置を幾何学的に操作するために、フィードフォワード（FF）層と自己注意（SA）層を交互に用いることに依存しています。

2.1 アーキテクチャ

トランスフォーマーは $L$ 個のブロックから構成され、各ブロックは FF 層と SA 層の合成です。

• フィードフォワード層: $FF(x) = \eta x + W\sigma(Ux + b)$ と定義されます。ここで $\sigma$ は ReLU 活性化関数です。著者らは、調整可能な残差パラメータ $\eta$ の重要性と、低幅ネットワーク（$d' \le 4$）を使用できる能力を強調しています。
• 自己注意層: $SA_i(X) = \rho x_i + V \sum_{\ell} \pi_{i\ell}(X, A) x_\ell$ と定義されます。
  • ハードマックス設定: 注意重み $\pi_{i\ell}$ は、内積 $\langle A x_i, x_\ell \rangle$ が最大となるトークンを選択します。著者らは、特定のクラスタリング挙動を誘発するために、行列 $A$ の特定の構造（ランク 1 行列または単位行列のスカラー倍）を利用します。
  • ソフトマックス設定: 標準的なソフトマックス注意が使用されます。著者らは、ハードマックスとは異なりソフトマックスは単一ステップで正確な「収束」を許容しないものの、特定の FF 層の構成とソフトマックス注意を組み合わせることで、正確な補間が達成可能であることを示します。

2.2 幾何学的戦略

この構成は、トークンの構成を操作するための特定の補題を利用した、4 つの明確な幾何学的フェーズを経て進行します：

1. 分離: $O(N)$ 個のブロックを用いて、初期構成で重なりうる異なる入力系列からのトークンをトランスフォーマーが分離します。これには、系列が互いに素な集合となるようにトークンを移動させることが含まれます。
2. リーダー選択: トランスフォーマーはすべてのトークンを特定の幾何学的領域（正の象限）へシフトさせます。その後、各系列 $X_j$ に対して $m_j$ 個の「リーダー」トークンを選択し、慎重に配置します：
   • 1 つのリーダーは、原点から遠い特定の領域 $P$ に配置されます。
   • 残りの $m_j - 1$ 個のリーダーは、負の象限内の超球面上に配置されます。
   • リーダー以外のトークンは、リーダーに引き寄せられるように配置されます。
3. 収束:
   • ハードマックス: 特定のパラメータを持つ単一の SA 層により、ハードマックス注意のクラスタリング効果の結果、すべての非リーダートークンがそれぞれのリーダー上に正確に収束します。
   • ソフトマックス: ソフトマックスは厳密な凸結合をもたらすため、単一ステップでの正確な収束は不可能です。著者らは、ReLU 活性化を持つ非残差 FF 層を用いた追加の $O(N)$ 個のブロックを導入し、トークンの小さな近傍をリーダー上に反復的に収束させます。
4. 補間: 系列が $m_j$ 個の一意のトークンに収束すると、標準的な FF 層（「帽子関数」として機能）がこれらのトークンを個別に $Y_j$ 内の最終的なターゲット位置へ移動させます。

3. 主要な貢献

3.1 実数値出力による正確な補間

本論文は、トランスフォーマーが任意の実数ベクトル値の系列から系列へのマップを正確に補間しうることを証明します。これは、離散出力に限定されていたか、あるいは近似補間しか提供していなかった既存の文献の限界を克服するものです。

3.2 入力長に依存しない複雑さ

中心的な発見は、必要なトランスフォーマーのサイズが総出力長（$\sum m_j$）と埋め込み次元 $d$ のみに依存し、入力系列長（$n_j$）には依存しないという点です。

• パラメータ数: $P = O(d \sum_{j=1}^N m_j)$。
• ブロック数: $L = O(\sum m_j + N)$。
  これは、複雑さが通常入力長 $n$ に比例する従来のアプローチ（ResNet など）とは対照的です。これは、$m_j \ll n_j$ である要約タスクなどにおいてトランスフォーマーが効率的である理由を説明します。

3.3 低ランク注意によるパラメータ効率

この構成は、自己注意メカニズムにおいて低ランクのパラメータ行列を利用します（具体的には、$A$ はランク 1 行列と単位行列の倍数の和です）。これは、実用的な効率的なトランスフォーマー設計と一致し、パラメータ数が $d$ に比例して増加することを保証します。

3.4 正則化された学習への示唆

正確な補間を行うトランスフォーマーの存在は、正則化された学習に対する理論的基準を提供します。著者らは、ティホノフ正則化された目的関数に対して大域的最適解が存在する場合、学習損失は $\varepsilon \to 0$ において正則化パラメータ $\varepsilon$ に比例して線形にスケーリングすることを示します。このスケーリングからの逸脱は、最適化が大域的最適解に収束したのか局所最適解に収束したのかを診断する指標として機能し得ます。

4. 主要な結果

定理 1.6（ハードマックス・トランスフォーマー）

一意性の仮定を満たすすべてのデータセットに対して、以下の条件を満たすハードマックス・トランスフォーマーが存在します：

• 幅 $d' \le 4$。
• ブロック数 $L = 2 \sum_{j=1}^N m_j + 2N + 1$。
• パラメータ数 $P = O(d \sum_{j=1}^N m_j)$。
  これにより、すべての $j$ に対して $T_0(X_j) = Y_j$ となります。

定理 1.8（ソフトマックス・トランスフォーマー）

同じデータセットに対して、ある温度 $\tau^* > 0$ が存在し、すべての $0 < \tau < \tau^*$ に対して、以下の条件を満たすソフトマックス・トランスフォーマーが存在します：

• 幅 $d' \le 4$。
• ブロック数 $L = 2 \sum_{j=1}^N m_j + 3N$。
• パラメータ数 $P = O(d \sum_{j=1}^N m_j)$。
  これにより、すべての $j$ に対して $T_\tau(X_j) = Y_j$ となります。
  注：ソフトマックスの証明は、注意層における正確な収束の欠如を処理するために、ハードマックスに比べて追加の $N-1$ 個のブロックを必要とします。

5. 意義と主張

本論文は、系列から系列へのタスクにおいて実数値出力を持つ深層ソフトマックス・トランスフォーマーに対する最初の正確な補間結果を提供すると主張しています。

• 理論的洞察: 結果は、自己注意の二重の役割を明確にします。すなわち、クラスタリング（トークンの収束）による次元削減メカニズムとして機能することと、異なる系列にまたがるトークンを分離するために非局所性を利用することです。
• ResNet との比較: 著者らは、出力系列が入力系列より短いタスク（$m_j < n_j$）において、トランスフォーマーは ResNet よりも厳密にパラメータ効率的であることを示します。ResNet は入力長 $n$ に比例するパラメータ（例：$O(d N n)$）を必要とするのに対し、トランスフォーマーは出力長に比例（$O(d \sum m_j)$）します。
• 実用的関連性: この構成は、FF 層と SA 層の交互配置や低ランク注意の使用など、実用的な特徴を反映しており、トランスフォーマーの理論的能力が理想化されたアーキテクチャの単なる人工物ではなく、その標準的な設計に内在するものであることを示唆しています。

著者らは、この構成が最悪ケースの境界であることを認め、実用的なモデルははるかに少ないブロック数で良好な性能を達成することを注記しています。また、自己注意の計算コスト（入力長の2乗に比例）は、パラメータ複雑性の分析では解決されていないトレードオフであると指摘しています。今後の研究の方向性としては、ブロック数の最適化、パラメータノルムの分析、マルチヘッド注意およびマスクされた因果設定への結果の拡張などが挙げられます。