Latent Chain-of-Thought Improves Structured-Data Transformers

技術的サマリー：潜在連鎖思考（Latent Chain-of-Thought）は構造化データ用トランスフォーマーの性能を向上させる

問題定義
大規模言語モデル（LLM）の最近の進展は、特に連鎖思考（Chain-of-Thought: CoT）推論によるテスト時計算のスケールアップが推論能力を大幅に向上させ、単純なパラメータ数の増大を上回る場合があることを示している。「Coconut」（隠れ状態を埋め込みとしてフィードバックする仕組み）や再帰的深度（共有トランスフォーマーブロックを反復適用する仕組み）といったメカニズムは自然言語分野で探求されてきたが、これらの利点が構造化データ分野へも転移するかどうかは依然として不明である。表形式予測（TabPFN、TabICL など）や時系列予測（Chronos、TimesFM など）における最先端モデルは、現在、構造化された観測値に対する単一のフォワードパスを通じて動作している。本論文では、予測前に複数のラウンドの潜在計算を導入する「潜在連鎖思考（latent chain-of-thought）」が、これらの構造化データ設定における性能を向上させるかどうかを調査する。

手法
著者は、最終的な予測を生成する前に複数の計算ラウンドを可能にする、構造化データ用トランスフォーマーのための再帰的スキームを提案する。中核的なメカニズムは以下の通り動作する：

1. 初期パス: トランスフォーマー $f_\theta$ が入力（コンテキストトークンとクエリトークン）を処理して隠れ状態を生成する。
2. 圧縮: クエリ位置における隠れ状態（$H_q$）を、小さな多層パーセプトロン（MLP）$\phi_\theta$ を通じて「フィードバックトークン（$Z$）」に圧縮する。
3. 再帰: これらのフィードバックトークンを元の入力シーケンスに付加する。その後、この拡張されたシーケンスに対してトランスフォーマーを再度実行する。
4. 反復: このプロセスを $R$ 回の再帰まで繰り返す。最終的な予測は、$R$ 回目のパス後の元のクエリ位置における隠れ状態からデコードされる。

本研究は、このアプローチを 2 つの分野で評価する：

• 表形式予測: TabICL の 3 段階アーキテクチャ（列方向、行方向、およびコンテキスト内学習用トランスフォーマー）を利用する。再帰は、フィードバックトークンが行埋め込みシーケンスに付加されるコンテキスト内学習段階に特化して適用される。
• 時系列予測: パッチベースの予測トランスフォーマーを使用する。未来のクエリにおける隠れ状態を圧縮し、トランスフォーマースタックを再実行する前に入力シーケンスに付加する。

実験設計とベースライン
潜在 CoT の特定の貢献を分離するために、著者は個々のデータセット上でモデルをゼロから訓練し、3 つの明確なベースラインと比較する：

1. 同一深度ベースライン: 再帰を持たず（$R=0$）、層数が同じ標準的なトランスフォーマー。パラメータ数を制御する。
2. より深いベースライン: 再帰なしで訓練された、層数が 2 倍（$2L$）のトランスフォーマー。これは $R=1$ の CoT モデルの有効なフォワードパス深度と FLOPs と一致させるが、パラメータ数は 2 倍にし、深度/容量からの利益と再帰からの利益を分離する。
3. ループ型ベースライン: 複数パス間で重みを共有する（再帰的深度）が、フィードバックトークンを入力に付加しないモデル。これには、重み結合された単一ブロックのループと、マルチブロックスタックにわたるユニバーサルトランスフォーマースタイルのループが含まれる。これは、単なる重み結合された再帰に対する、明示的な CoT トークンの貢献を分離する。

主要な結果
このアプローチは、36 のデータセットで評価された：LTSF-9 時系列ベンチマークからの 9 データセットと、TabPFN 評価で使用された OpenML サブセットからの 27 データセット。

• 性能向上: 潜在 CoT は、9 時系列データセット中 8（分位損失で平均 +10.99% の向上）および27 表形式データセット中 22（精度で平均 +5.31% の向上）において、同一深度ベースラインを上回った。
• より深いベースラインとの比較: CoT モデルは、より深く再帰を持たないベースラインを、時系列で平均 21.01%、表形式で 4.75% 上回った。より深いベースラインは、時系列タスクにおいて元の同一深度ベースラインよりも性能が低下することが多く、これは小規模データセットでの過学習を示唆している。
• ループ型ベースラインとの比較: CoT モデルは、フィードバックトークンを欠く重み結合ループ型モデルを、時系列で 7.74%、表形式で 3.82% 上回った。
• 深度のスケーリング:
  • 時系列: 評価されたすべての深度（$R \in \{1, 2, 4, 8\}$）で性能が向上したが、明確な単調な傾向はなく、利益は頭打ちになった。注目すべきは、$R=4$ で訓練されたモデルが評価時に $R=8$ へ一般化したことである。
  • 表形式: 性能は非単調な傾向を示した。単一の再帰（$R=1$）は性能をわずかに低下させたが、追加の再帰（$R=2, 4$）はベースラインを回復させ、上回った。

意義と主張
本論文は、連鎖思考は、単にモデルの深度やパラメータ数を増やすこととは区別される、構造化データに対するテスト時計算のスケーリングに有用な軸であると主張する。結果は以下のことを示している：

1. 改善のメカニズム: 利益は計算量の増加や重み結合のみに起因するものではない。クエリ位置の隠れ状態をフィードバックトークンに圧縮し、再処理するという特定のメカニズムが決定的である。ループ型ベースラインの性能低下は、単なる隠れ状態の反復的洗練ではなく、後続のパスが注意を向けることができるシーケンスに中間計算を「書き込む」能力から利益が得られることを示唆している。
2. 転移性: 言語モデリングで以前に成功を収めた潜在 CoT パラダイムは、表形式および時系列予測タスクへも成功裏に転移する。
3. 限界: 著者は、その知見がゼロから訓練されたモデルに基づいていることを指摘している。大規模な事前学習済み基盤モデルにおける潜在 CoT の有効性は、依然として開かれた実証的な課題である。さらに、現在の実装は入力ごとの適応的メカニズムではなく、モデルごとの固定された再帰深度を使用しており、分布シフトとの相互作用は未調査である。