Résumé Technique : Synergie Système 1 & 2 via l'Interpolation Dynamique de Modèles

Problématique

Les grands modèles de langage (LLM) présentent une dichotomie fonctionnelle entre les modes cognitifs « Système 1 » (intuitif, rapide, concis) et « Système 2 » (délibératif, lent, axé sur le raisonnement). Bien que les modèles de Système 2 (ex. o1, DeepSeek-R1) atteignent une précision supérieure sur des tâches complexes grâce à une Chaîne de Pensée (CoT) étendue, ils souffrent de coûts computationnels élevés et de sorties verbeuses. À l'inverse, les modèles de Système 1 sont efficaces mais manquent de capacités de raisonnement profond.

La recherche actuelle tente d'unifier ces modes ou d'optimiser l'efficacité du Système 2 principalement par le contrôle de la sortie. Ces méthodes contraignent ce que les modèles produisent en limitant les budgets de jetons (tokens), en appliant des mécanismes de sortie anticipée (early-exit), ou en compressant la CoT. Les auteurs soutiennent que ce paradigme est mal aligné : la longueur de la sortie est un symptôme de la configuration cognitive, et non la cause racine de l'inefficacité. De plus, l'entraînement d'un modèle unique unifié capable de basculer de manière fluide entre ces modes reste difficile en raison de la « nature à somme nulle » des données d'entraînement, où le style verbeux du Système 2 entre en conflit avec la concision du Système 1, entraînant une interférence mutuelle lors de l'optimisation conjointe.

Méthodologie : DAMI (DynAmic Model Interpolation)

Le papier propose un changement de paradigme passant du contrôle de la sortie au contrôle de la capacité, en modulant la manière dont les modèles pensent plutôt que ce qu'ils produisent. Ceci est réalisé via l'Interpolation Dynamique de Modèles, en exploitant les points de contrôle (checkpoints) existants de Système 1 (Instruct) et de Système 2 (Thinking) sans entraînement supplémentaire des modèles de base.

1. Fondement Théorique

Les auteurs établissent que l'interpolation linéaire des paramètres entre les modèles Instruct ($\Theta^{(I)}$) et Thinking ($\Theta^{(T)}$) produit un comportement prévisible, fondé sur trois découvertes empiriques et théoriques :

• Monotonie de la Performance : L'augmentation du coefficient d'interpolation $\lambda$ (où $\lambda=0$ est Instruct et $\lambda=1$ est Thinking) produit une frontière de Pareto convexe et lisse entre précision et efficacité. Les modèles intermédiaires surpassent souvent les deux extrémités, atteignant une précision supérieure à l'Instruct avec moins de jetons que le Thinking.
• Continuité de la Représentation : L'Analyse en Composantes Principales (PCA) révèle que les modèles interpolés forment une trajectoire continue dans l'espace de représentation, la première composante principale étant fortement corrélée à $\lambda$ ($r=0,974$).
• Connectivité Structurelle : Les modèles Instruct et Thinking présentent une haute similitude cosinus (>0,99) à travers toutes les couches du transformer, satisfaisant la Connectivité de Mode Linéaire (LMC). Cela indique que les deux modèles résident dans le même bassin d'optimisation, garantissant que le chemin d'interpolation évite les régions de perte élevée.

2. Le Cadre DAMI

L'innovation centrale est DAMI, qui estime dynamiquement une Intensité de Raisonnement spécifique à la requête $\lambda(q) \in [0, 1]$ pour configurer la profondeur cognitive du modèle pour chaque entrée :
$$\Theta^{(M)}(q) = \lambda(q)\Theta^{(T)} + (1 - \lambda(q))\Theta^{(I)}$$

Deux méthodes complémentaires sont proposées pour estimer $\lambda(q)$ :

• DAMI-Pref (Basé sur l'Entraînement) : Conçu pour les scénarios disposant de données d'entraînement dans le domaine. Il cadre l'estimation de $\lambda$ comme un problème d'apprentissage de préférence plutôt que de régression. Un modèle de récompense léger est entraîné pour noter des paires de coefficients d'interpolation selon un critère hiérarchique : prioriser la précision, puis utiliser l'efficacité (nombre de jetons) comme critère de départage. Cette approche est robuste au bruit d'étiquetage et nécessite moins de données que les méthodes basées sur la régression.
• DAMI-Conf (Sans Entraînement) : Conçu pour le déploiement zero-shot. Il estime $\lambda(q)$ en utilisant des signaux de confiance intrinsèques provenant des modèles de base. Il fusionne deux signaux :
  1. Ambiguïté Holistique : Mesure l'incertitude globale du système (une faible confiance dans les deux modèles implique une difficulté élevée).
  2. Discrépance Cognitive : Mesure le désaccord de confiance entre les modèles Instruct et Thinking (une forte discrépance implique que la requête nécessite des stratégies distinctes).
     Ces signaux sont fusionnés et passés à travers une fonction sigmoïde calibrée pour déterminer $\lambda(q)$.

Contributions Clés

1. Changement de Paradigme : Le papier préconise de passer du contrôle de la sortie (limitation de la génération) au contrôle de la capacité (modulation de la configuration cognitive via l'interpolation de paramètres).
2. Cadre DAMI : Un nouveau cadre qui permet une intensité de raisonnement adaptative à la requête sans entraîner un modèle unifié à partir de zéro, en exploitant les points de contrôle existants.
3. Stratégies d'Estimation Doubles : L'introduction de DAMI-Pref (basé sur la préférence) et DAMI-Conf (basé sur la confiance) pour répondre aux différentes contraintes de déploiement (disponibilité des données vs besoins zero-shot).
4. Validation Théorique : Preuves formelles et empiriques démontrant que l'interpolation linéaire entre des modèles co-origines satisfait la LMC, garantissant des transitions de performance et de représentation valides, monotones et continues.

Résultats Expérimentaux

Les auteurs ont évalué DAMI sur cinq benchmarks de raisonnement mathématique (GSM8K, MATH-500, AMC, AIME 2024/25) en utilisant deux familles de modèles (Qwen3-4B et DeepSeek-R1/Qwen2.5-7B).

• Performance vs Efficacité : DAMI établit systématiquement des frontières de Pareto supérieures par rapport au fusionnement statique, à l'arrêt précoce (DEER) et aux bases de routage.
  • Sur Qwen3-4B, DAMI-Pref a atteint 91,6 % de précision (un gain absolu de +3,4 % par rapport au modèle Thinking) tout en réduisant la consommation de jetons de 29 %.
  • DAMI-Conf a réduit la consommation de jetons de 40 % tout en maintenant une précision de 90,7 % (+2,5 % par rapport au Thinking).
• Comportement Adaptatif : Le « Ratio de Réflexion » (pourcentage de requêtes déclenchant un raisonnement profond) s'adapte à la difficulté. Pour les tâches simples (GSM8K), DAMI n'active la réflexion profonde que pour environ 25-41 % des requêtes, tandis que pour les tâches complexes (AIME), cela monte à 79-95 %.
• Généralisation Multimodale : Le cadre a été testé sur des tâches multimodales (raisonnement vidéo et image-texte) avec Qwen3-VL-8B. DAMI-Conf a surpassé les bases, atteignant une amélioration absolue de 2,5 % dans la compréhension vidéo et de 1,6 % dans le raisonnement image-texte.
• Étude de Cas : Dans un problème de géométrie, le modèle Thinking a généré 2 846 jetons avec une vérification redondante. DAMI a généré une solution correcte en 351 jetons en formulant directement le problème et en calculant, démontrant que le contrôle de la capacité produit un raisonnement intrinsèquement efficace plutôt qu'une sortie tronquée.

Signification et Revendications

Le papier affirme que la dichotomie entre pensée rapide et lente ne doit pas être un choix binaire résolu au moment de l'entraînement. En établissant que la profondeur du raisonnement existe sur un spectre lisse accessible via de simples opérations linéaires dans l'espace des paramètres, DAMI offre une architecture cognitive flexible.

Les auteurs soulignent que leur approche contourne la difficulté d'entraîner des modèles unifiés Système 1/2 et évite la dégradation de performance associée aux méthodes de contrainte de sortie (qui risquent de tronquer les chaînes de raisonnement). Au lieu de cela, DAMI atteint un « point idéal » en configurant dynamiquement la profondeur cognitive du modèle, combinant efficacement l'efficacité du Système 1 avec la profondeur de raisonnement du Système 2. Le travail suggère que l'allocation des ressources de raisonnement peut être traitée comme un problème de prédiction bien posé, où l'estimation du $\lambda(q)$ optimal détermine directement le comportement du modèle.