テクニカル・サマリー：潜在的推論におけるループの閉鎖：テスト時再構成によるアプローチ

1. 問題提起

大規模言語モデルにおける最近の進展は、中間的な推論を明示的な自然言語のトレースから、潜在的（latent）またはキャッシュレベルの表現へと移行させています。この移行は、トークン・オーバーヘッドを削減し、テキストベースの推論（例：Chain-of-Thought、マルチエージェント間のテキスト交換）に固有の離散的な通信ボトルネックを回避することを目的としています。しかし、この移行は決定的な欠陥をもたらします。それは、中間的な忠実度（fidelity）の喪失です。

従来のテキストベースの推論では、中間状態は検査可能です。もしモデルが元のクエリから制約を落としてしまった場合、そのエラーは可視化されます。対照的に、潜在的推論はオープンループで動作します。一度潜在状態が生成されると、検証されることなくダウンストリームの計算に消費されます。これらの状態は不透明であるため、意味的なドリフト（乖離）やタスクに関連する制約の喪失が、気づかれないまま発生する可能性があります。これにより、内部的には一貫しているように見えても、根本的には元の問題仕様とは整合しない推論エラーが生じる可能性があります。既存の手法には、不透明な潜在状態が、それを生成したクエリの制約を依然として保持しているかどうかを検証するメカニズムが欠けています。

2. 手法：ReLAT

これに対処するため、著者らは、クエリ自体を忠実度の参照点として用いることで推論ループを閉鎖する、自己教師ありテスト時学習フレームワークであるReLAT (Reconstruction-Guided Latent Reasoning At Test Time) を提案しています。

コア原理

中心となる観察事項は、「もし潜在状態がクエリを忠実に表現しているならば、その潜在状態からクエリを復元できるはずである」ということです。もしクエリが復元できないのであれば、その潜在状態はタスクに関連する情報を失っています。ReLATは、微分可能な Question $\rightarrow$ Latent Thought $\rightarrow$ Question のサイクルを構築することで、これを具現化します。

技術的実装

1. 微分可能な潜在表現: テスト時の勾配ベースの最適化を可能にするため、ReLATは離散的なトークン選択を連続的な緩和（continuous relaxation）に置き換えます。潜在的な思考（latent thoughts）は、モデルの語彙分布から導出された期待トークン埋め込み（温度 $\tau$ を用いたソフトマックスによる緩和）として表現されます。これにより、潜在ベクトルを埋め込み空間に結び付けたまま、バックプロパゲーションのための微分可能な経路を維持します。
2. 再構成ループ:
   • 生成: テストクエリ $Q$ が与えられると、モデルは一時的なLoRAパラメータ $\phi$ を使用して、連続的な潜在思考シーケンス $E_\phi(Q)$ を生成します。
   • 再構成: 同じモデルが、潜在シーケンス $E_\phi(Q)$ から元の質問 $Q$ を再構成しようと試みます。
   • 最適化: 再構成された質問と元の質問との間のマスク付きクロスエントロピーとして定義される再構成損失（$L_{ReLAT}$）が計算されます。
   • 更新: LoRAパラメータは、この再構成損失を最小化するように勾配降下法を通じて更新されます。バックボーンモデルは凍結されたままです。
3. 推論: $N$ 回の最適化ステップの後、適応されたパラメータを使用して最終的な回答が生成されます。その後、LoRAパラメータは次のインスタンスのためにリセットされ、サンプル間の汚染を防ぎつつ、インスタンスレベルの適応を実現します。

決定的なのは、再構成が問題を直接解くための代用ではなく、最終的な回答を生成する前に、潜在状態を問題仕様に固定するための適応信号として使用される点です。

3. 主な貢献

本論文は、主に以下の3つの貢献を述べています。

• 潜在的推論をクローズドループの問題として定義: 著者らは、推論を潜在空間へと移行させる際の核心的なコストが「中間的な忠実度の喪失」であることを特定しました。彼らはこれを、標準的なパイプラインが潜在状態を、それが元のクエリを依然として表しているかを検証せずに消費してしまうという、入力忠実度の問題として定式化しました。
• 自然な忠実度シグナルとしての再構成: 本論文は、元のクエリが潜在状態の忠実度をテストするための自然な参照点であると主張しています。ReLATは、これをテスト時に最適化される微分可能かつ自己教師ありのループとして実現し、潜在的な思考が元の制約を保持していることを確認する構造的なチェックを提供します。
• 体系的な評価: 本手法は、数学的推論、知識集約型QA、およびコード生成の3つのベンチマークにおいて、単一モデル推論、テキストベースのマルチエージェント協調、オープンループの潜在的協調、および代替的なテスト時学習目的関数と比較検証されています。

4. 実験結果

著者らは、Qwenファミリーのモデル（4B, 8B, 14B）およびDeepSeek-R1-Distill-Qwen-7Bを用いて、3つのベンチマーク（AIME 2024/2025 [数学]、MBPP+ [コード]、GPQA-Diamond/MedQA [知識]）でReLATを評価しました。

• 性能向上: ReLATは、単一モデル推論、テキストベースのマルチエージェントシステム（TextMAS）、およびオープンループの潜在的協調（LatentMAS）を一貫して上回りました。
  • AIME 2024 における Qwen3-8B では、ReLATは精度を 56.7%（LatentMAS）から 73.3% へと向上させ、最強のオープンループ・ベースラインに対して16.6ポイントの改善を示しました。
  • MBPP+（コード）において、ReLATは Qwen3-4B で 79.9%、Qwen3-14B で 83.3% を達成し、それぞれのLatentMASベースラインを上回りました。
  • GPQA-Diamond においても、ReLATはすべてのQwen3スケールにおいて最良の結果を達成しました。
• TTTベースラインとの比較: ReLATは、COME（エントロピー最小化）やQTTT（クエリレベルの更新）といった代替的なテスト時学習目的関数よりも優れた性能を示しました。これは、得られた利得が単なる汎用的な適応によるものではなく、特に再構成ガイドによる忠実度シグナルによるものであることを示唆しています。
• 効率性: テキストベースの反復的な洗練（Self-Refine）と比較して、ReLATはより高い精度（AIME 2025において63.33% vs 53.33%）を達成しつつ、84.0% のトークン使用量の削減（10,280トークン vs 64,381トークン）を実現しました。これは、中間ステップにおいて明示的なテキスト生成を回避することによる、大幅な効率性の向上を示しています。
• アブレーション研究: 学習率が $2 \times 10^{-5}$、潜在思考の長さが $K=16$ であるとき、適応と安定性の最適なバランスが得られることが判明しました。

5. 意義と主張

本論文は、ReLATが潜在的推論に対して必要な構造的アンカーを提供すると主張しています。潜在的なパイプラインを、元の入力に対して検証されたクローズドループのプロセスへと変えることで、ReLATは不透明な推論状態をより信頼でき、根拠のあるものにします。

著者らは、再構成は正解を保証するために十分ではないことも謙虚に述べています。理論的には、潜在状態が質問を再構成できたとしても、問題の解決には失敗する可能性があるからです。しかし、彼らはこれが、問題の制約から逸脱した無効な潜在状態をフィルタリングし修正するための、必要な構造的チェックであると主張しています。その意義は、正解（グラウンドトゥルース）や外部フィードバックを必要とせずに、潜在的推論のループを閉じるための自己教師ありで微分可能なメカニズムを提供し、潜在計算の効率性のメリットを維持しながら、多様なタスクにおけるパフォーマンスを向上させた点にあります。