Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning

inputs_embeds インターフェースを使用して、モデルの入力埋め込みを抽出します。
4. 最終的な回答を生成します。

このプロセスは、勾配更新、ファインチューニング、および入力埋め込みを抽出するための単一のフォワードパスを超えた追加の推論計算を必要としません。

主な貢献

1. 推論の幾何学的特性化: 本論文は、多様なモデルファミリー（Qwen, Phi, Gemma）およびベンチマークにおいて、入力埋め込みと「思考（thinking）」埋め込みが、非整列の軸を持つほぼ一次元の円錐を形成していることを確立しています。単一の直交回転によって、高い忠実度（コサイン類似度 > 0.96）で両者の間を写像できます。
2. Rotate2Think 手法: 正解された例に対して直交プロクラスティス回転を適合させ、推論トレースをプライミングするための合成思考ベクトルを注入する、トレーニングフリーの推論時テクニックです。
3. クロスドメイン汎化: 本手法は、ターゲットドメインのデータやベンチマークごとの再適合を行うことなく、数学、科学、コードのタスクにおける32のモデル・ベンチマーク構成のうち30において精度を向上させました。
4. ゼロショット・クロスモーダル転移: テキスト推論ベンチマークのみで適合させた回転が、マルチモーダルな MATH-Vision ベンチマークの性能を成功裏に向上させたことは、入力から思考への幾何学的な関係が入力モダリティではなく、モデルの特性であることを示唆しています。

実験結果

4つのモデルファミリー（Qwen3 4B, Phi-4 14B, Gemma-4 E4B, Gemma-4 31B）を用い、5つのベンチマーク（AIME 2025/2026, GPQA Diamond, BigCodeBench, MATH-Vision）で評価しました：

• ベースモデル: ベースモデルへの合成ベクトルの注入（Base+R2T）は、一貫して精度を向上させ、AIMEでは最大で+13パーセントポイントの利得がありました。一部のケース（例：GPQAにおけるGemma-4 E4B）では、Base+R2Tが同じモデルのフル推論モードを上回りました。
• 推論モデル: 推論モデルにプライマーを増強すること（Reasoning+R2T）は、すべてのタスクにおいて一貫した改善をもたらしました。これは多くの場合、トークン生成数が増加することなく実現されており、より長い推論ではなく、より効果的な推論が行われていることを示唆しています。
• マルチモーダル転移: MATH-Vision (testmini) において、テキストで適合させた回転は、ベースモデルの精度を30.9%から38.1%へと向上させ、モデル本来のフル推論モード（34.9%）を上回りました。

意義と主張

本論文は、推論能力は潜在的であり、幾何学的にアクセス可能であることを Rotate2Think が示していると主張しています。最小限の摂動（一つの回転させた埋め込み）を用いて単一点で介入することにより、本手法は、推論がより確実に表現される表現レジームへとモデルを誘導します。

著者らは、クロスモーダル転移の成功が プラトン的表現仮説（Platonic Representation Hypothesis） を支持していると論じています。これは、表現の幾何学がモデルのスケールとともに普遍的に収束すること、および「思考空間」が入力モダリティに依存しないモデルの構造的特性であることを示唆しています。本手法は、強化学習やファインチューニングのコストをかけることなく、ベースモデルおよび推論モデルの両方の推論を向上させるための、実用的で軽量な構成要素を提供します。

限界

著者らは以下の制約を認めています：

• 推論バリアントへの依存: 本手法は、適合のための初期の思考埋め込みを抽出するために、対象モデルの推論能力を持つバリアントへのアクセスを必要とします。
• タスクの特定性: 改善は数学および科学的推論において最も顕著であり、コード生成における利得は緩やかでした。
• シングルトークン注入: 現在の実装では、一つの合成トークンのみを注入しています。回転させた埋め込みのシーケンスを注入することによる潜在的な利益については、未探索のままです。
• ホワイトボックスの要件: 本手法はモデルの内部隠れ状態（特に最終層）へのアクセスを必要とするため、トークン出力のみが利用可能なクローズドソースモデルへの適用は不可能です。