技術概要：ダーウィンファミリー – MRI 信頼重み付け進化的マージ

1. 問題定義

本論文は、従来のポストトレーニングパイプライン（指示チューニング、強化学習、蒸留など）を通じて大規模言語モデル（LLM）の推論能力を向上させる際に伴う、高い計算コストと再現性の課題に取り組む。これらの手法はタスク精度を向上させるが、推論の忠実性、頑健性、転移性を低下させる可能性がある。

最近の診断研究は、中核的な推論メカニズムは事前学習中にほぼ確立され、モデル層間で不均等に分布しており、推論に不可欠な計算は特定の層のサブセットに局在していることを示唆している。この観察は、根本的な問いを提起する：既存のチェックポイントに既に符号化された潜在能力を再編成することで、追加のトレーニングなしに推論性能を向上させることは可能か？

本論文は、モデルマージがトレーニングフリーの代替手段を提供すると仮定する。しかし、既存のマージ手法には限界がある：

• 静的ヒューリスティック: 重み平均や固定線形結合などの手法は、異質な専門家モデルをマージする際、タスク干渉により失敗することが多い。
• 診断的盲目性: 現在の進化的マージアプローチは診断的ガイダンスを欠いており、すべてのパラメータを均一にマージ可能とみなし、推論回路の構造的制約を考慮していない。

2. 手法：ダーウィンフレームワーク

ダーウィンフレームワークは、重み空間上で完全に動作するトレーニングフリーかつ勾配フリーの進化的マージプロセスを導入する。これは、診断ガイダンスを進化的探索から分離し、明示的な融合メカニズムを通じて両者を調和させる。

コアコンポーネント

1. モデル層応答重要度 (MRI):

   • 個々のパラメータテンソルが推論行動に対して機能的にどの程度関連するかを推定する診断的事前分布。
   • 静的テンソル統計量（正規化エントロピー、分散、キャップ付き $\ell_2$ ノルム）とプローブに基づく機能的応答（推論条件付きアクティベーションと汎用アクティベーション間のコサイン距離）を組み合わせる。
   • MRI は、特定テンソルに対する親モデルのパラメータの相対的重要度を示すソフト事前分布比率 ($r_{MRI}$) を生成する。

2. 14 次元適応的マージゲノム:

   • ダーウィンはマージ戦略を 14 次元ベクトル ($g$) として符号化し、以下を制御する：
     • グローバルマージバランス ($\gamma$)。
     • アテンション ($\alpha_{attn}$)、フィードフォワードネットワーク ($\alpha_{ffn}$)、埋め込み ($\alpha_{emb}$) に対するコンポーネントレベルの混合比率。
     • 親デルタのスパシフィケーション密度 ($\rho_A, \rho_B$)。
     • ブロックレベルの専門化係数 ($r_0 \dots r_5$)。
     • MRI 信頼パラメータ ($\tau$) とマージカーネル補間挙動 ($\lambda$)。
   • これにより、均一な平均化ではなく、微細なコンポーネントレベルおよびブロックレベルの再結合が可能となる。

3. MRI 信頼融合:

   • 診断信号と進化的探索を適応的にバランスさせる主要な革新。
   • 最終マージ比率 ($r_{final}$) は以下のように定義される：
     $$r_{final}(T) = \tau \cdot r_{MRI}(T) + (1 - \tau) \cdot r_{genome}(T)$$
   • 信頼パラメータ $\tau \in [0, 1]$ は進化を通じて学習され、システムが構造的な事前分布を保持しつつ診断ノイズを修正することを可能にする。

4. アーキテクチャマッパー:

   • 異質なモデルファミリー間（例：Transformer と Mamba）でのクロスアーキテクチャ交配を可能にする。
   • 数値的再結合前にテンソルレベルの対応関係を確立するために、機能的役割、次元の整合性、パラメータ形状の類似性に基づいて互換性スコアを計算する。

5. 進化的最適化（2 フェーズ）:

   • フェーズ 1: 軽量なプロキシ適応度スコアを使用した構造的スクリーニングにより、非現実的なゲノムをフィルタリング。
   • フェーズ 2: 最終モデルを選択するために、推論ベンチマーク上で高品質な候補を経験的に評価。
   • フレームワークは、破壊的干渉を軽減し、線形補間や SLERP を上回るDARE-TIES（タスク間隔除去によるドロップアンドリスケール）を主要なマージカーネルとして利用する。

3. 主要な貢献

• 診断ガイダンス付き進化的マージ: 機能的重要度診断 (MRI) をモデルマージの進化的探索に直接統合する初のフレームワーク。「盲目的」な最適化を超えて前進。
• MRI 信頼融合: 診断的事前分布への依存と進化的探索とのバランスを動的に調整する学習可能なメカニズム。潜在的にノイズの多い信号への過度な依存を防ぐ。
• クロスアーキテクチャ交配: 異種コンポーネント（例：Transformer アテンションと Mamba 状態空間フィードフォワード層）の再結合をトレーニングなしで可能にするアーキテクチャマッパー。
• スケーリング不変の原理: 進化されたゲノムにおける安定した構造的パターンの発見。具体的には、ベースモデルからのアテンション層の非対称な保持と、専門化モデルからのフィードフォワード層の積極的な再結合。

4. 実験結果

本フレームワークは、4B から 35B パラメータにわたるモデルで検証された。

• フラッグシップ性能 (Darwin-27B-Opus):

  • GPQA Diamond ベンチマークで**86.9%**を達成。
  • 2026 年 4 月時点で、評価された 1,252 モデルの中で第 6 位。
  • 勾配ベースのトレーニングなしで、完全にトレーニングされた基盤モデル (Qwen3.5-27B) およびその推論蒸留親モデルを上回った。
  • 静的ベースライン（Simple Avg, SLERP）および診断ガイダンスなしの進化的ベースラインに対して一貫した改善を示した。

• 汎化性:

  • スケーリング: 4B から 35B のモデルは、親モデルに対して一貫して改善した。
  • 世代: フレームワークは再帰的多世代進化をサポート（例：Darwin-4B-Opus から進化した Darwin-4B-David）。
  • アーキテクチャ: Darwin-4B-Genesis は Transformer と Mamba のコンポーネントを成功裏にマージし、対象ベンチマークで両方の親を上回った。

• アブレーション研究:

  • MRI ガイダンスを除去 ($\tau=0$) すると、性能が大幅に低下（GPQA で 86.9% から 84.4%）。
  • 静的 MRI のみに依存 ($\tau=1$) しても、適応的変種より性能が劣り、診断と進化的探索のバランスの必要性を確認。
  • DARE-TIES は、線形補間や SLERP と比較して優れたマージカーネルであることが特定された。

5. 意義と主張

本論文は、診断ガイダンス付き進化的マージが、推論中心の言語モデルに対する高コストなポストトレーニングパイプラインの実用的かつ再現可能な代替手段であることをダーウィンファミリーが実証すると主張する。

• コスト効率性: このアプローチは、従来の事前学習や微調整に比べて計算コストを 3 から 6 桁削減しながら、最先端レベルの推論性能を達成する。
• 再編成対創出: フレームワークは ex nihilo（無から）新しい能力を創出するのではなく、事前学習済みチェックポイントに既に符号化された潜在能力を再編成する。親が補完的な推論構造を持つ場合に最も効果的である。
• オープンサイエンス: 独立した検証を可能にし、原理的かつ診断ガイダンス付きの重み空間最適化に関する研究を促進するため、すべてのモデル、V6 コードベース、および MRI ツールは Apache 2.0 ライセンスで公開される。

著者は、親の能力への依存（欠落したスキルを回復できない）、アーキテクチャの整合性制約（最適な性能には共通のベースが必要）、および進化的探索のゼロではないコストを含む限界を認めている。しかし、彼らはダーウィンを、推論能力の効率的かつトレーニングフリーなスケーリングに向けた重要な一歩として位置づけている。