Résumé Technique : Famille Darwin – Fusion Évolutive Pondérée par la Confiance MRI

1. Énoncé du Problème

L'article aborde le coût computationnel élevé et les défis de reproductibilité associés à l'amélioration des capacités de raisonnement des grands modèles de langage (LLM) via des pipelines de post-entraînement traditionnels (par exemple, l'ajustement par instructions, l'apprentissage par renforcement et la distillation). Bien que ces méthodes améliorent la précision des tâches, elles peuvent dégrader la fidélité du raisonnement, la robustesse et la transférabilité.

Des études diagnostiques récentes suggèrent que les mécanismes centraux de raisonnement sont largement établis lors du pré-entraînement et sont inégalement répartis à travers les couches du modèle, le calcul critique pour le raisonnement étant localisé dans des sous-ensembles spécifiques de couches. Cette observation soulève une question fondamentale : Peut-on améliorer les performances de raisonnement sans entraînement supplémentaire en réorganisant les capacités latentes déjà encodées dans les points de contrôle existants ?

L'article postule que la fusion de modèles offre une alternative sans entraînement. Cependant, les méthodes de fusion existantes souffrent de limitations :

• Heuristiques Statiques : Des méthodes comme la moyenne des poids ou les combinaisons linéaires fixes échouent souvent en raison d'interférences de tâches lors de la fusion de spécialistes hétérogènes.
• Aveuglement Diagnostique : Les approches actuelles de fusion évolutive manquent de guidance diagnostique, traitant tous les paramètres comme uniformément fusionnables et ne tenant pas compte des contraintes structurelles des circuits de raisonnement.

2. Méthodologie : Le Cadre Darwin

Le cadre Darwin introduit un processus de fusion évolutive sans entraînement et sans gradient opérant entièrement dans l'espace des poids. Il découple la guidance diagnostique de l'exploration évolutive, les réconciliant par un mécanisme de fusion explicite.

Composants Principaux

1. Importance de la Réponse par Couche de Modèle (MRI) :

   • Un prior diagnostique qui estime la pertinence fonctionnelle des tenseurs de paramètres individuels pour le comportement de raisonnement.
   • Il combine des statistiques de tenseurs statiques (entropie normalisée, variance, norme $\ell_2$ plafonnée) et des réponses fonctionnelles basées sur des sondes (distance cosinus entre les activations conditionnées au raisonnement et les activations génériques).
   • La MRI produit un ratio de prior souple ($r_{MRI}$) indiquant l'importance relative des paramètres des modèles parents pour des tenseurs spécifiques.

2. Génome de Fusion Adaptatif à 14 Dimensions :

   • Darwin encode les stratégies de fusion comme un vecteur à 14 dimensions ($g$) qui contrôle :
     • L'équilibre global de fusion ($\gamma$).
     • Les ratios de mélange au niveau des composants pour l'attention ($\alpha_{attn}$), les réseaux feed-forward ($\alpha_{ffn}$) et les embeddings ($\alpha_{emb}$).
     • Les densités de sparsification pour les deltas des parents ($\rho_A, \rho_B$).
     • Les coefficients de spécialisation au niveau des blocs ($r_0 \dots r_5$).
     • Le paramètre de confiance MRI ($\tau$) et le comportement d'interpolation du noyau de fusion ($\lambda$).
   • Cela permet une recombinaison fine, au niveau des composants et des blocs, plutôt qu'une moyenne uniforme.

3. Fusion de Confiance MRI :

   • Une innovation clé qui équilibre de manière adaptative les signaux diagnostiques avec la recherche évolutive.
   • Le ratio de fusion final ($r_{final}$) est défini comme suit :
     $$r_{final}(T) = \tau \cdot r_{MRI}(T) + (1 - \tau) \cdot r_{genome}(T)$$
   • Le paramètre de confiance $\tau \in [0, 1]$ est appris par évolution, permettant au système de corriger le bruit diagnostique tout en conservant les priors structurés.

4. Cartographe d'Architecture :

   • Permet la reproduction croisée entre des familles de modèles hétérogènes (par exemple, Transformer et Mamba).
   • Calcule un score de compatibilité basé sur le rôle fonctionnel, la cohérence dimensionnelle et la similarité de forme des paramètres pour établir des correspondances au niveau des tenseurs avant la recombinaison numérique.

5. Optimisation Évolutive (Deux Phases) :

   • Phase 1 : Dépistage structurel utilisant un score de fitness proxy léger pour filtrer les génomes improbables.
   • Phase 2 : Évaluation empirique des candidats de haute qualité sur des benchmarks de raisonnement pour sélectionner le modèle final.
   • Le cadre utilise DARE-TIES (Drop-And-Rescale with Task-Interval Elimination) comme noyau de fusion principal pour atténuer les interférences destructrices, surpassant l'interpolation linéaire et le SLERP.

3. Contributions Clés

• Fusion Évolutive Guidée par le Diagnostic : Le premier cadre intégrant des diagnostics d'importance fonctionnelle (MRI) directement dans une recherche évolutive pour la fusion de modèles, dépassant l'optimisation « aveugle ».
• Fusion de Confiance MRI : Un mécanisme apprenable qui équilibre dynamiquement la dépendance aux priors diagnostiques par rapport à l'exploration évolutive, empêchant une sur-reliance sur des signaux potentiellement bruyants.
• Reproduction Croisée d'Architectures : Un Cartographe d'Architecture permettant la recombinaison de composants hétérogènes (par exemple, l'attention Transformer avec des couches feed-forward à espace d'état Mamba) sans réentraînement.
• Principes Invariants d'Échelle : Découverte de motifs structurels stables dans les génomes évolués, spécifiquement la préservation asymétrique des couches d'attention du modèle de base et la recombinaison agressive des couches feed-forward des modèles spécialisés.

4. Résultats Expérimentaux

Le cadre a été validé sur des modèles allant de 4B à 35B paramètres.

• Performance Phare (Darwin-27B-Opus) :

  • A atteint 86,9 % sur le benchmark GPQA Diamond.
  • S'est classé #6 parmi 1 252 modèles évalués (en avril 2026).
  • A surpassé son modèle de base entièrement entraîné (Qwen3.5-27B) et son parent distillé en raisonnement sans aucun entraînement basé sur le gradient.
  • A démontré des améliorations constantes par rapport aux bases statiques (Simple Avg, SLERP) et aux bases évolutives sans guidance diagnostique.

• Généralisation :

  • Échelle : Les modèles de 4B à 35B ont constamment amélioré leurs parents.
  • Générations : Le cadre prend en charge l'évolution récursive multi-générations (par exemple, Darwin-4B-David évolué à partir de Darwin-4B-Opus).
  • Architecture : Darwin-4B-Genesis a fusionné avec succès des composants Transformer et Mamba, surpassant les deux parents sur des benchmarks ciblés.

• Études d'Ablation :

  • La suppression de la guidance MRI ($\tau=0$) a entraîné une baisse significative des performances (84,4 % contre 86,9 % sur GPQA).
  • Le recours exclusif à la MRI statique ($\tau=1$) a également sous-performé la variante adaptative, confirmant la nécessité d'équilibrer les diagnostics avec la recherche évolutive.
  • DARE-TIES a été identifié comme le noyau de fusion supérieur par rapport à l'interpolation linéaire et au SLERP.

5. Signification et Revendications

L'article revendique que la Famille Darwin démontre que la fusion évolutive guidée par le diagnostic est une alternative pratique et reproductible aux pipelines de post-entraînement coûteux pour les modèles de langage centrés sur le raisonnement.

• Efficacité des Coûts : L'approche atteint des performances de raisonnement de pointe à un coût de calcul trois à six ordres de grandeur inférieur au pré-entraînement ou au fine-tuning conventionnels.
• Réorganisation vs Création : Le cadre ne crée pas de nouvelles capacités ex nihilo ; il réorganise plutôt des capacités latentes déjà encodées dans les points de contrôle pré-entraînés. Il est plus efficace lorsque les parents possèdent des structures de raisonnement complémentaires.
• Science Ouverte : Tous les modèles, la base de code V6 et les outils MRI sont publiés sous licence Apache 2.0 pour permettre une vérification indépendante et catalyser la recherche sur l'optimisation dans l'espace des poids guidée par des diagnostics et des principes.

Les auteurs reconnaissent des limitations, notamment la dépendance aux capacités des parents (incapacité à récupérer des compétences manquantes), les contraintes d'alignement architectural (nécessite une base commune pour des performances optimales) et le coût non nul de la recherche évolutive. Cependant, ils positionnent Darwin comme une étape significative vers une mise à l'échelle efficace et sans entraînement des capacités de raisonnement.