技術的サマリー：新しいタスクへの外挿を学習する：タスク外挿への関係的アプローチ

1. 問題定義

大規模な基盤モデルを含む現代の学習システムは、訓練分布のサポート内での補間においては卓越した性能を発揮しますが、このサポート外（Out-of-Support、OOS）に位置するタスクへの汎化には苦慮します。この失敗は、訓練範囲を超えたパラメータを持つ関数の予測、構成の深さの増加、既知のプリミティブの未見の組み合わせによる再構成など、構造化された設定においても持続します。現在のモデルは、ドメインの生成メカニズムを内在化することではなく、訓練分布に紐付いたヒューリスティックに依存することが多く、その経験の境界において飽和状態に陥ります。

本論文は、タスク外挿を、タスクを定義する構造そのものが訓練サポートの外部にあるターゲットタスクへの汎化として定義します。標準的な分布外（OOD）や長さの汎化が、訓練入力の結合や拡張であるテスト入力に対して行われるのに対し、タスク外挿では、タスク構造そのものの変換について推論する必要があります。著者らは、任意の未見のタスクへの外挿は不適切な問題設定である一方で、多くの現実世界のタスクは、共有された未知の構造を通じて体系的に関連しているとの見解を示しています。

2. 手法：関係的タスク外挿器（RTE）

核心的な提案は、外挿を転導的（transductive）な問題として再定義する**関係的タスク外挿器（RTE）**というアルゴリズムです。中心的な洞察は、外挿が本質的に関係的であるという点です。すなわち、成功は、タスクが互いにどのように変換されるかを学習することに依存します。

2.1. 中核メカニズム

RTE は、未見のターゲットタスク $f_{\theta^*}$ を、訓練中に観測される 2 つの構成要素に分解します。

1. アンカータスク（$f_{anc}$）： 訓練分布内の既知のタスク。
2. 変換（$\phi$）： アンカーとターゲットを結びつける相対的な記述子（例：パラメータのシフト、再帰的拡張ステップ、または合成演算子）。

タスクパラメータから出力への直接マッピングを学習する代わりに、RTE はアンカー - 変換ペアをターゲットタスクの予測にマッピングする関係演算子 $\Psi$ を学習します。
$$\hat{y} = \Psi(x, f_{anc}, \phi)$$
これにより、困難なサポート外（OOS）の外挿問題が、より扱いやすい**組み合わせ外（OOC）**の問題へと還元されます。アンカーも変換も、特定の組み合わせが新規である場合でも、個別には訓練データで観測されています。

2.2. 3 つの外挿領域

著者らは RTE を 3 つの代表的な領域で具体化しました。

• パラメータ外挿（連続）： タスクは連続パラメータでインデックス付けされます。変換はパラメータ空間におけるシフト（$\phi = \Delta\theta$）です。演算子は、パラメータのシフト下で関数曲線がどのように変形するかを学習します。
• 長さ外挿（再帰的）： タスクは階層的な複雑さ（例：多項式の次数）によって組織化されます。変換は、複雑さ $L-1$ のタスクを $L$ に拡張する帰納的ステップ（例：新しい項の追加）です。
• 構成的外挿（組み合わせ的）： タスクはプリミティブの組み合わせ（例：$f \circ g$）によって形成されます。一方のコンポーネントがアンカーとして、他方が変換引数として機能します。

2.3. 推論と探索

タスク記述子が潜在変数である場合、アンカーと変換を選択するという実用的な課題が存在します。RTE は、フィッシャー情報行列から導出された Task2Vec 埋め込みを用いた**代理幾何学（proxy geometry）**と、2 段階のプロセスを通じてこの課題に対処します。

1. 訓練： 変換 $\phi_{ij}$ が既知または推定可能な訓練タスクのペア $(f_i, f_j)$ における予測誤差を最小化することで、モデルは $\Psi$ を学習します。
2. 推論：
   • 連続領域： 幾何学的ショートカットを使用します。ターゲットコンテキストを埋め込み、訓練ライブラリ内の最近傍をアンカーとして選択します。変換は、代理空間におけるベクトル差として推定されます。
   • 離散領域（長さ/構成）： 償却探索（amortized search）を採用します。分解ネットワークが候補となるアンカー - 変換ペアを提案し、それらが疎なターゲットコンテキストにおける尤度または再構成誤差を評価することで再ランク付けされます。

2.4. 系列モデル（LLM）への拡張

RTE は、タスク外挿を教師あり微調整（SFT）問題として枠組み付けることで、大規模言語モデル（LLM）に拡張されます。関係演算子は、微調整された指示追従モデルとして具体化されます。テスト時には、モデルにアンカータスク（デモンストレーション）、変換の説明（例：「ビットインデックス 3 をシフト」）、およびクエリがプロンプトとして与えられます。モデルは、アンカーに適用してターゲットを解決するために、変換ロジックを適用することを学習します。推論には、ターゲットコンテキストにおけるモデルの尤度に基づいて候補分解をスコアリングする離散探索が含まれます。

3. 主要な貢献

• 関係的タスク外挿（RTE）： タスク間の関係を活用し、OOS 外挿を OOC 問題に還元するアルゴリズム的枠組み。
• 外挿領域： パラメータ、長さ、および構成的外挿設定における RTE の形式的な具体化。
• 訓練および推論プロトコル： 代理幾何学のための Task2Vec 埋め込みを用いたプロトコルの開発と、外挿を最適化問題として定式化すること。LLM においては、外部信号なしで探索と検証のための代理報酬として、疎なコンテキストにおける尤度を使用すること。
• 実証的検証： 合成関数予測タスクおよび LLM ベンチマーク（Sparse Parity、CodeIO）における包括的な評価。

4. 実験結果

著者らは、RTE を標準的な帰納的ベースラインおよび真の分解（ground-truth decompositions）にアクセスできるオラクル変種と比較して評価しました。

• 合成関数予測：

  • パラメータ外挿： 帰納的モデルは、境界飽和により範囲外のパラメータに対して壊滅的な失敗（MSE $\approx 10^5$）を遂げます。RTE は誤差を大幅に低減（MSE $\approx 10^2$）し、オラクル性能へのギャップを埋めます。
  • 長さ外挿： RTE は、高次の多項式の予測において、ナイーブなベースラインを大幅に上回ります（MSE 0.37 対 0.58）。ただし、アンカーの検索が不完全なため、オラクルとの間にはギャップが残ります。
  • 構成的外挿： RTE は、未見の関数合成において、ベースライン（0.39）よりも低い集計 MSE（0.29）を達成し、潜在的なプリミティブを正常に推論します。

• LLM 実験：

  • Sparse Parity（長さ）： RTE は、訓練中に未見のサブセットサイズにおいて、精度を 52.86%（ベースライン）から 66.07% に向上させ、再帰的構造を回復しました。
  • CodeIO（構成）： RTE は、Few-Shot（19.8%）および Chain-of-Thought ベースライン（30.2%）と比較して精度をほぼ倍増（45.3%）させ、モデルを有効なアルゴリズム的ステップに効果的に制約しました。

5. 意義と限界

本論文は、タスク空間の関係的構造を利用することで、RTE が汎化に対する原理的なアプローチを提供すると主張しています。モデルが新しいタスクを既知のコンポーネントと変換に分解することを学習すれば、訓練サポートを超えて外挿できることを示しています。

限界と将来の方向性：

• 推論コスト： RTE は、単一パスの帰納的モデルとは異なり、最適な分解を特定するためのテスト時計算を必要とします。
• 多様体密度（到達可能性）： RTE は、ターゲットタスクが訓練分布内に存在する変換を通じて到達可能であると仮定しています。完全に異質なメカニズムは依然として到達不可能です。
• 識別可能性： 離散領域において、現在の手法は訓練中に真の関係的メタデータに依存しています。著者らはこれを緩和するために期待最大化（Expectation-Maximization）による自己ラベリングを提案していますが、ゼロから潜在関係構造を推論することは依然として未解決の課題です。
• 多段外挿： 反復的なシフトによる成功が初期結果として示されていますが、誤差の累積なしに複数の変換を連鎖させるには、さらなる調査が必要です。

著者らは、RTE が万能のブラックボックス解決策ではなく、基礎的な関係構造を持つドメインに特化して設計されており、モデルが表面レベルのヒューリスティックに依存するのではなく、生成メカニズムを内在化し再利用するための道筋を提供すると強調しています。