Résumé Technique : Généralisation Compositionnelle dans les Modèles Autoregressifs via la Composition de Logits

Énoncé du Problème

La composition de modèles génératifs spécialisés pour créer des systèmes modulaires, réutilisables et contrôlables demeure un défi central dans la recherche sur les grands modèles de langage (LLM). Les approches existantes pour les modèles autoregressifs opèrent généralement dans l'espace des paramètres (par exemple, interpolation des poids, arithmétique des tâches, fusion basée sur la parcimonie) ou dans l'espace de l'architecture (par exemple, mélange d'experts avec routage dynamique). Bien que ces méthodes combinent des points de contrôle affinés, elles manquent souvent de garanties explicites et statiques concernant la distribution de sortie résultante, ou échouent à fournir une règle fondamentale sur la manière dont les composants interagissent sans interférence.

À l'inverse, les modèles de diffusion ont démontré leur succès dans la génération compositionnelle en combinant linéairement des fonctions de score, une perspective récemment formalisée par Bradley et al. [2025] à travers le concept de composition projective. Cependant, ce cadre n'a pas été étendu aux modèles autoregressifs, où la génération est intrinsèquement séquentielle et conditionnée par un préfixe évolutif, rendant l'applicabilité de compétences spécifiques dépendante de l'état actuel de la séquence générée.

Méthodologie

Les auteurs proposent une stratégie de composition sélective pour les systèmes autoregressifs (tels que les Transformers) qui opère directement dans l'espace des probabilités plutôt que dans l'espace des paramètres. Étant donné un modèle de fond $p_b$ et un ensemble de modèles spécialisés $\{p_1, \dots, p_k\}$, le modèle composé $\hat{p}$ est défini par une règle arithmétique explicite appliquée aux distributions conditionnelles du prochain token :

$$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$$

où $Z_t$ est une constante de normalisation. Cette formulation ajoute efficacement les log-probabilités des experts et soustrait les log-probabilités du modèle de fond.

Cadre Théorique

L'article établit les conditions sous lesquelles cette composition est prouvée correcte et préserve les comportements distincts des modèles composants :

1. Conditionnels Factorisés (Espace des Tokens) : Les auteurs définissent une propriété où l'espace de génération est partitionné en ensembles disjoints d'indices de tokens (masques). Si chaque modèle spécialisé $p_i$ agit indépendamment sur son masque désigné $M_i$ et coïncide avec le modèle de fond $p_b$ ailleurs, la composition est projective. Cela signifie que la distribution marginale du modèle composé sur n'importe quel masque $M_i$ est identique à celle du modèle spécialisé $p_i$.
2. Factorisabilité des Compétences (Contexte Séquentiel) : Reconnaissant que les tâches autoregressives (comme les preuves trigonométriques) dépendent de l'historique des tokens générés, les auteurs introduisent la factorisabilité des compétences. Un modèle est factorisable en compétences si son comportement peut être décomposé en une phase de fond, une phase de compétence spécifique (définie par des temps d'arrêt $\tau_1, \tau_2$), et un retour à la phase de fond.
3. Factorisabilité Jointe : Pour qu'une collection de modèles se compose correctement, leurs intervalles actifs (où ils dévient du fond) doivent être disjoints deux à deux. Sous cette condition, le modèle composé applique chaque compétence exactement durant son intervalle désigné et revient au modèle de fond sinon.
4. Extension à l'Espace des Caractéristiques : Le cadre est étendu aux espaces de caractéristiques abstraits via une application inversible $D$. Si les distributions poussées satisfont la propriété de conditionnels factorisés dans l'espace des caractéristiques, la composition reste valide, permettant la combinaison de modèles qui peuvent ne pas avoir de domaines de tokens disjoints mais des domaines « conceptuels » disjoints.
5. Généralisation de la Longueur : L'article soutient que si les hypothèses de factorisation et les garanties des composants tiennent uniformément à une longueur cible, le modèle composé hérite du comportement de généralisation en longueur de ses composants.

Lien avec la Fusion de Modèles

Les auteurs établissent un lien théorique entre leur composition dans l'espace des probabilités et l'Arithmétique des Tâches (Ilharco et al. [2023]). Ils démontrent que dans un cadre linéaire, l'ajout de vecteurs de tâches dans l'espace des paramètres est mathématiquement équivalent à la composition multiplicative des distributions de sortie. Cela suggère que le succès empirique des techniques de fusion de modèles peut s'expliquer par un principe de composition additive sous-jacent où les mises à jour de tâches affectent des régions disjointes de l'espace de sortie.

Contributions Clés

• Cadre Fondé sur des Principes : Introduction d'un cadre dans l'espace des probabilités pour composer des modèles autoregressifs, étendant le concept de composition projective des modèles de diffusion à la génération séquentielle.
• Garanties de Correction : Identification de conditions spécifiques (conditionnels factorisés et factorisabilité jointe) sous lesquelles la composition est prouvée correcte, assurant que les composants conservent le contrôle sur leurs sous-espaces désignés sans interférence.
• Généralisation de la Longueur : Démonstration que la composition préserve le comportement de généralisation en longueur lorsque les hypothèses de factorisation tiennent uniformément à la longueur cible.
• Pont Théorique : Mise en relation du cadre proposé avec les méthodes existantes de fusion de modèles (spécifiquement l'Arithmétique des Tâches), fournissant une explication théorique du succès de certaines heuristiques de fusion.
• Validation Empirique : Vérification de l'approche sur des tâches synthétiques et des benchmarks de grands modèles de langage.

Résultats

Les auteurs valident leur approche à travers deux configurations expérimentales principales :

1. Tâche Jouet Contrôlée : Dans une tâche de remplacement de lettres où les modèles étaient entraînés à remplacer des caractères spécifiques (par exemple, 'A' $\to$ 'B', 'C' $\to$ 'D'), le modèle composé a atteint un taux de réussite de 100 % pour effectuer simultanément les deux transformations. Cela a confirmé que l'opérateur de composition intègre correctement des compétences disjointes.
2. Benchmarks LLM : En utilisant un modèle de base Gemma 2 2B ($p_{base}$) et deux experts affinés ($p_{math}$ et $p_{coding}$), les auteurs ont composé un modèle $\hat{p}$ et l'ont évalué sur quatre benchmarks :
   • Codage : Sur HumanEval+ et MBPP+, le modèle composé a surpassé l'expert en codage seul (30,5 contre 24,4 et 39,4 contre 38,1, respectivement).
   • Mathématiques : Sur GSM8K et MATH, le modèle composé a conservé des performances significatives de l'expert en mathématiques (41,2 contre 50,2 et 24,2 contre 25,5), démontrant que la compétence en codage n'a pas interféré de manière catastrophique avec le raisonnement mathématique.
   • Limitation : Les auteurs notent que la composition de plus de deux experts a conduit à une dégradation nette de la qualité de génération, probablement due à une instabilité dans la prédiction du token de fin de séquence et au comportement de terminaison.

Importance et Revendications

L'article revendique fournir une compréhension fondée sur des principes du moment et de la raison pour lesquels la composition et la fusion de modèles réussissent dans les systèmes autoregressifs. En déplaçant l'attention de l'espace des paramètres vers l'espace des probabilités, les auteurs identifient les conditions sous lesquelles les interactions entre modèles restent stables et non interférentes.

L'importance réside dans l'offre d'une règle de composition statique et explicite dotée de garanties théoriques, en contraste avec les méthodes de routage dynamique ou la moyenne heuristique des paramètres. Ce travail suggère que la composition de modèles autoregressifs peut être comprise comme une opération probabiliste structurée, permettant potentiellement la construction de LLM plus modulaires et contrôlables. Cependant, les auteurs restent modestes, reconnaissant que leurs hypothèses de factorisation peuvent ne pas pleinement tenir en pratique pour tous les modèles pré-entraînés et que l'évaluation empirique est actuellement limitée dans son ampleur.