技術要約：ラベルなしデータがインコンテキスト学習を理論的に改善する時期とその方法

問題提起

本論文は、Transformerが**半教師ありインコンテキスト学習（SS-ICL）**を実行する能力について調査している。具体的には、特徴量とラベルのペア $(x_i, y_i)$ を含むデータセットがプロンプトとして与えられるが、ラベルの一部が欠落している（0に設定されている）シナリオを扱う。目標は、提供されたコンテキストのみを使用して、クエリ特徴量 $x$ のラベルを予測することであり、モデルのパラメータ更新は行わない。

著者らは、デモンストレーションが**二値ガウス混合モデル（GMM）**から抽出される標準的な設定に焦点を当てている。この設定では、$x_i \sim \mathcal{N}(\mu y_i, \sigma^2 I)$ であり、タスクの平均 $\mu$ は事前分布からサンプリングされる。中心となる問いは、「いつ、どのようにしてTransformerはラベルなしデータからインコンテキストで学習できるのか？」である。

手法

本研究は、SS-ICL設定におけるアテンション・メカニズムの最適化ランドスケープと表現力を分析するために、厳密な理論的フレームワークを採用している。

1. データモデル: 入力プロンプトは、$m$ 個のラベルが観測され（$y_i \in \{-1, 1\}$）、$n-m$ 個が欠落している（$y_i = 0$）$n$ 個のデモンストレーションで構成される。クエリ $x$ とその真のラベル $y$ も同様に生成される。
2. モデルアーキテクチャ: 著者らは、メカニズム $att(Z; W) = (ZW_q W_k^\top Z^\top) M Z W_v$ によって定義される**線形アテンション（linear attention）**モデルを分析する。単層および多層（またはループ型）の両方のバリアントを検討する。
3. 理論的アプローチ:
   • 単層分析: 著者らは、二乗誤差を用いた単層線形アテンションモデルの損失ランドスケープにおけるグローバルな最小値を特徴付ける。
   • 多層分析: 深いネットワーク（またはループ型の単一ネットワーク）がいかに複雑なエスティメータ（推定器）を構築できるかを調査する。彼らは、エスティメータの形式を経験共分散行列 $X^\top X$ の多項式として導出する。
   • 古典的アルゴリズムとの関連性: 本論文は、学習されたアテンション・メカニズムと、古典的な半教師ありアルゴリズム、特に**期待値最大化法（EMアルゴリズム）およびブリーフ・プロパゲーション（信念伝播）**との関連性を描いている。

主な貢献

1. 単層線形アテンションの限界

本論文は、単層線形アテンションモデルは、データに特徴量の情報が含まれている場合でも、ラベルなしデータを活用できないことを証明している。

• 定理1: 等方的なタスク事前分布の下では、最適な単層線形アテンションモデルは**教師ありプラグイン（SPI）**エスティメータ $\hat{\mu}_s = \frac{1}{|I|} \sum_{i \in I} y_i x_i$ を復元する。
• 示唆: モデルはラベルなしのサンプル（$y_i=0$ のもの）を事実上無視している。理論的分析によれば、メタ学習の設定（ランダムなタスクにわたる平均化）において、ラベルなしデータのサンプル共分散は単位行列のスカラー倍に収束するため、単層モデルに対してタスク固有の信号を提供しない。

2. 深さが半教師あり学習を可能にする

単層モデルとは対照的に、多層（またはループ型の）線形アテンションはラベルなしデータを効果的に活用できる。

• 多項式の表現力: 著者らは、$L$ 層の線形アテンションモデルが以下の形式のエスティメータを実装できることを示している：
  $$\hat{\mu} = \sum_{i=0}^{K} a_i (X^\top X)^i X^\top y$$
  ここで $K = O(3^L)$ である。これにより、モデルは経験共分散行列の高次の多項式を構築することが可能になる。
• 対数的な深さの十分性: 表現可能な多項式の次数は深さとともに指数関数的に増加するため、高次のモノミアル（単項式）を表現するために必要な対数的な深さ（$O(\log K)$）があれば十分である。
• 定理3および4: サンプル数 $n \to \infty$ のとき、多層アテンションモデルは最適な半教師ありエスティメータ（具体的には、共分散行列のトップ固有ベクトルへの射影）を近似でき、ベイズ最適限界に近い分類誤差を達成できる。

3. メカニズム：EMとブリーフ・プロパゲーション

本論文は、これらのモデルがどのようにラベルなしデータを利用するかについての解釈を提供している。

• ラベル伝播: 多層ネットワークにおけるラベルの反復的な更新は、**期待値最大化法（EM）**アルゴリズムを模倣している。各層は「擬似ラベル付け」ステップ（期待値）と、それに続くタスク平均の再推定（最大化）を実行する。
• Softmax vs. Linear: 線形アテンションが線形なEMスタイルの更新を実装するのに対し、softmaxアテンションは、ブリーフ・プロパゲーションに類似した、非線形で類似度に基づいた重み付き更新を実装する。

4. 表形式基盤モデルへの応用

ループ構造が性能を向上させるという理論的知見に基づき、著者らは、既存の表形式基盤モデル（例：TabPFN）を反復的に適用して、ラベルなしデータに対するソフトな擬似ラベルを生成するアルゴリズムであるLoopTabFMを提案している。

• アルゴリズム: モデルをループ内で実行し、ラベルなしデータにソフトラベルを割り当て、それをプロンプトに追加し、モデルを再評価する。検証リスク指標を用いて、最適なイテレーションを選択する。
• 実証的検証: 実世界の表形式データセットを用いた実験により、このループ戦略が、特に少数のショット設定において、シングルパスの推論と比較してテスト精度を大幅に向上させることが示された。

結果

理論的結果

• 単層: パフォーマンスは教師ありのみのSPIエスティメータと同一である。ラベルなしサンプルを増やしても精度は向上しない（図1b, 1c）。
• 多層: パフォーマンスは深さとともに向上する。2層モデルは1層モデルを大幅に上回り、SSPI-1エスティメータ（共分散の第1乗を用いた半教師ありプラグイン）の性能に近づく。5層モデルはSSPI-$\infty$（トップ固有ベクトルを使用）に接近し、漸近的な領域でベイズ最適誤差に密接に一致する。
• アーキテクチャ比較: 実験（図2c）において、Transformer（MLP + Softmax）は線形アテンションを上回り、線形アテンションはsoftmaxのみのアテンションを上回る。しかし、すべてのアーキテクチャは、$n$ が増加するにつれてベイズ最適曲線へと収束していく。

実証的結果

• 合成データ: GMMを用いた実験により、2層および5層の線形アテンションモデルが、ラベルなしサンプルが増えるにつれて1層モデルよりも高い精度を達成することが確認された。
• 実世界のデータ: OpenMLデータセットを用いたTabPFN-v2による実験では、LoopTabFMアルゴリズム（反復的な擬似ラベル付け）は、特定のデータセット（例：OpenML ID 1464）において、ベースライン（シングルパス）に対して最大**19.38%の相対的な改善を達成した。平均して、この手法は6.35%**の相対的な改善を示した。ほとんどの利得は最初の2回のイテレーション内で発生した。

意義と主張

本論文は、Transformerにおける半教師ありインコンテキスト学習の最初の理論的特性化を提供したと主張している。その主な意義は以下の通りである：

1. ギャップの解消: 近年の「メニーショット」ICL（ラベルなしまたは弱ラベル付きデータを含むことが多い）の経験的な成功の理由を説明している。すなわち、深さによって、モデルはパラメータ更新なしにEMのような半教師あり学習アルゴリズムを暗黙的に実行できる。
2. リソースとしての深さ: 深さは単なる表現能力のためだけでなく、コンテキストウィンドウ内のラベルなしデータから信号を抽出するために極めて重要であることを確立した。
3. 実践的な戦略: 既存の基盤モデルの半教師あり能力を高めるための、パラメータフリーでシンプルな戦略（ループ）を提案し、「緩やかな程度の深さ/ループがあれば、理論的な恩恵の大部分を得るのに十分である」ことを示した。

著者らは、核心となる理論的結果が線形アテンションに特有であること、および非等方的な一般的なデータに対する最適な半教師ありエスティメータは未解決の問題であることを認め、限界についても言及している。また、ループ処理は有用であるが、ノイズやクラス不均衡によって特定の現実世界のデータセットで性能が低下する場合があることも観察しており、将来の研究におけるデータ依存のループアルゴリズムの必要性を示唆している。