技術要約：動的モデル補間によるシステム1と2のシナジー

問題提起

大規模言語モデル（LLM）は、「システム1」（直感的、高速、簡潔）と「システム2」（熟考型、低速、推論重視）という、機能的な二分性を有している。システム2モデル（例：o1、DeepSeek-R1）は、拡張された思考の連鎖（Chain-of-Thought; CoT）を通じて複雑なタスクにおいて優れた精度を実現するが、高い計算コストと冗長な出力を伴う。対照的に、システム1モデルは効率的であるが、深い推論能力に欠けている。

現在の研究は、これらのモードを統合するか、あるいは出力制御を通じてシステム2の効率を最適化しようと試みている。これらの手法は、トークン予算の制限、早期終了メカニズム、またはCoTの圧縮などによって、モデルが「何を」生成するかを制約するものである。著者らは、このパラダイムは目的と手段が乖離していると主張する。出力の長さは認知構成の結果としての症状であり、非効率性の根本原因ではないからである。さらに、これら両モードの間をシームレスに切り替えられる単一の統合モデルを訓練することは、システム2の冗長なスタイルとシステム1の簡潔さが、共同最適化において相互干渉を引き起こすという「ゼロサム的な性質」のため、依然として困難である。

手法：DAMI（動的モデル補間）

本論文は、モデルが「何を」生成するかではなく、モデルが「どのように」考えるかを調整する「出力制御」から「能力制御」へのパラダイムシフトを提案する。これは、追加のベースモデルの学習を行うことなく、既存のシステム1（Instruct）およびシステム2（Thinking）のチェックポイントを活用した**動的モデル補間（Dynamic Model Interpolation）**を通じて実現される。

1. 理論的基礎

著者らは、Instructモデル（$\Theta^{(I)}$）とThinkingモデル（$\Theta^{(T)}$）の間の線形パラメータ補間が、以下の3つの経験的および理論的な知見に基づき、予測可能な挙動を生むことを確立している。

• 性能の単調性： 補間係数 $\lambda$（$\lambda=0$ はInstruct、$\lambda=1$ はThinking）を増加させると、精度と効率の間に滑らかで凸なパレート境界が生成される。中間的なモデルは、両方のエンドポイントを凌駕することが多く、Instructよりも高い精度を達成しつつ、Thinkingよりも少ないトークン数で済む。
• 表現の連続性： 主成分分析（PCA）により、補間されたモデルは表現空間において連続的な軌跡を形成し、第1主成分が $\lambda$ と強く相関している（$r=0.974$）ことが示されている。
• 構造的連結性： InstructモデルとThinkingモデルは、すべてのTransformerレイヤーにおいて高いコサイン類似度（>0.99）を示し、**線形モード連結性（Linear Mode Connectivity; LMC）**を満たしている。これは、両モデルが同一の最適化領域内に存在することを示しており、補間経路が高損失領域を回避することを保証する。

2. DAMIフレームワーク

核心となる革新は、クエリごとに固有の推論強度 $\lambda(q) \in [0, 1]$ を動的に推定し、各入力に対してモデルの認知の深さを構成するDAMIである。
$$\Theta^{(M)}(q) = \lambda(q)\Theta^{(T)} + (1 - \lambda(q))\Theta^{(I)}$$

$\lambda(q)$ を推定するために、2つの補完的な手法が提案されている。

• DAMI-Pref（学習ベース）： ドメイン内の学習データが存在するシナリオ向け。$\lambda$ の推定を回帰問題ではなく、**選好学習（preference learning）**の問題として捉える。軽量な報酬モデルを訓練し、階層的な基準に基づいて補間係数のペアをスコアリングする。基準としては、まず精度を優先し、次にタイブレークとして効率性（トークン数）を用いる。このアプローチはラベルノイズに強く、回帰ベースの手法よりも少ないデータを必要とする。
• DAMI-Conf（学習フリー）： ゼロショット展開向け。ベースモデルからの固有の信頼度信号を用いて $\lambda(q)$ を推定する。これは2つの信号を融合させる：
  1. 全体的な曖昧さ（Holistic Ambiguity）： システム全体の不確実性を測定する（両モデルの信頼度が低い場合は難易度が高いことを示す）。
  2. 認知的乖離（Cognitive Discrepancy）： InstructモデルとThinkingモデルの信頼度の不一致を測定する（乖離が大きいことは、クエリが異なる戦略を必要としていることを示す）。
     これらの信号を融合し、較正されたシグモイド関数に通すことで $\lambda(q)$ を決定する。

主な貢献

1. パラダイムシフト： 生成を制限する「出力制御」から、パラメータ補間を通じて認知構成を調整する「能力制御」への移行を提唱している。
2. DAMIフレームワーク： 既存のチェックポイントを活用し、ゼロから統合モデルを訓練することなく、クエリ適応型の推論強度を実現する新しいフレームワーク。
3. 二重の推定戦略： データ可用性とゼロショットのニーズという異なるデプロイメント制約に対処するため、DAMI-Pref（選好ベース）とDAMI-Conf（信頼度ベース）を導入した。
4. 理論的検証： 同一の起源を持つモデル間の線形補間がLMCを満たし、有効で単調かつ連続的な性能および表現の遷移を保証することを、形式的な証明と経験的証拠によって示した。

実験結果

著者らは、2つのモデルファミリー（Qwen3-4B および DeepSeek-R1/Qwen2.5-7B）を用い、5つの数学的推論ベンチマーク（GSM8K, MATH-500, AMC, AIME 2024/25）でDAMIを評価した。

• 性能 vs 効率： DAMIは、静的なマージ、早期終了（DEER）、およびルーティングのベースラインと比較して、一貫して優れたパレート境界を確立している。
  • Qwen3-4Bにおいて、DAMI-Prefは91.6%の精度（Thinkingモデルに対し絶対値で+3.4%）を達成しつつ、トークン消費量を29%削減した。
  • DAMI-Confは、90.7%の精度（Thinkingに対し+2.5%）を維持しながら、トークン消費量を40%削減した。
• 適応的挙動： 「思考比率（Thinking Ratio）」（深い推論を誘発するクエリの割合）は、難易度に応じて適応する。単純なタスク（GSM8K）では、DAMIは全クエリの約25-41%に対してのみ深い思考を起動するが、複雑なタスク（AIME）ではこれが79-95%に上昇する。
• マルチモーダル汎用性： Qwen3-VL-8Bを用い、マルチモーダルタスク（ビデオおよび画像・テキスト推論）についてもテストを行った。DAMI-Confはベースラインを上回り、ビデオ理解で2.5%、画像・テキスト推論で1.6%の絶対的な改善を達成した。
• ケーススタディ： ある幾何学の問題において、Thinkingモデルは冗長な検証を含めて2,846トークンを生成した。一方、DAMIは問題を直接定式化して計算を行うことで、351トークンで正しい解を生成した。これは、能力制御が、単なる「出力を切り詰めたもの」ではなく、本質的に効率的な推論を生み出すことを示している。

意義と主張

本論文は、速い思考と遅い思考の二分性は、学習時に解決されるべき二者択一の選択肢ではないと主張している。推論の深さが、パラメータ空間における単純な線形演算を通じてアクセス可能な滑らかなスペクトラム上に存在することを確立することで、DAMIは柔軟な認知アーキテクチャを提供する。

著者らは、本アプローチが、統一されたシステム1/2モデルの訓練に伴う困難を回避し、また、推論の連鎖を切り詰めてしまうリスクのある出力制約型の手法に伴う性能低下を回避できることを強調している。代わりに、DAMIは、クエリごとにモデルの認知の深さを動的に構成することにより、システム1の効率性とシステム2の推論の深さを効果的に組み合わせる「スイートスポット」を実現する。本研究は、推論リソースの割り当てが、最適な $\lambda(q)$ を推定することでモデルの振る舞いを直接決定できる、適切に定義された予測問題として扱えることを示唆している。