Résumé technique : Régularisation du Flux Sémantique (SFR)

Problème : Effondrement Inter-Styles

L'article identifie un mode de défaillance critique dans les modèles de langage de grande taille (LLM) affinés, qualifié d'Effondrement Inter-Styles. Lorsque les LLMs sont affinés par supervision (SFT) pour générer des réponses conditionnées à des personnalités ou des tons spécifiques, l'objectif standard de l'entropie croisée (CE) au niveau des tokens, combiné à des représentations partagées, tend à supprimer la diversité des sorties. Au lieu de générer des réponses distinctes pour différentes personnalités, le modèle s'effondre vers une sortie « moyennée par mode » où le corps de la réponse reste presque identique à travers les personnalités, avec uniquement des changements superficiels (par exemple, un token de salutation) reflétant le style. Ce phénomène fait écho à la dégénérescence du texte et à l'homogénéisation des personnalités observées dans des travaux antérieurs. Les auteurs soutiennent que les objectifs de régression déterministes (comme la CE standard ou les MSE) effondrent intrinsèquement les distributions multi-modales vers leur moyenne conditionnelle, échouant à capturer la riche variété de continuations valides requises pour une génération stylisée.

Méthodologie : Régularisation du Flux Sémantique (SFR)

Pour remédier à cela, les auteurs proposent la Régularisation du Flux Sémantique (SFR), un objectif auxiliaire léger ajouté durant la phase d'affinage. Le SFR n'altère pas l'architecture du modèle au moment de l'inférence.

Mécanisme Central

1. Architecture : Le SFR attache une tête de champ vectoriel conditionnel légère, $v_\phi$, au LM de base. Cette tête fonctionne en parallèle avec la tête standard de modélisation du langage (LM) durant l'entraînement mais est entièrement supprimée avant le déploiement.
2. Objectif : À chaque position de réponse $t$, la tête FM apprend à transporter un échantillon stochastique gaussien $z_0 \sim \mathcal{N}(0, I)$ vers l'embedding continu de l'encodeur de phrases $z_1 = \mathcal{E}(y_{t+1:t+k})$ du suffixe de $k$-tokens à venir. Cela est supervisé via l'Appariement de Flux Conditionnel (CFM).
3. Fonction de Perte : L'entraînement minimise une perte totale $L_{total} = L_{AR} + \lambda \cdot L_{SFR}$, où $L_{AR}$ est l'entropie croisée standard du token suivant et $L_{SFR}$ est la perte d'appariement de flux :
   $$L_{SFR}^{(t)} = \mathbb{E}_{\tau, z_0} \| v_\phi(z_\tau, \tau; h_t) - (z_1 - z_0) \|_2^2$$
   Ici, $z_\tau$ est une interpolation linéaire entre $z_0$ et $z_1$, et $h_t$ est l'état caché du modèle de base.
4. Stochasticité comme Caractéristique : Crucialement, la source $z_0$ est stochastique. Les auteurs prouvent théoriquement qu'une source stochastique permet au champ vectoriel appris de préserver la distribution conditionnelle multi-modale complète $P(z_1 | h_t)$, tandis qu'une source déterministe (ou une régression standard) s'effondrerait vers la moyenne conditionnelle.
5. Inférence : Au déploiement, $v_\phi$ et l'encodeur figé $\mathcal{E}$ sont retirés. Le modèle résultant est bit-identique à un LLM autorégressif standard, engendrant zéro latence supplémentaire, mémoire ou surcharge de logique de décodage.

Stabilisation de l'Entraînement

Pour empêcher la tête auxiliaire de « court-circuiter » le modèle de base (apprendre la cartographie plus rapidement que le modèle de base ne s'adapte) ou de provoquer un choc aux étapes précoces, le SFR emploie trois mécanismes :

• Initialisation à zéro : La projection de sortie de $v_\phi$ est initialisée à zéro.
• Réchauffement en deux phases : Le modèle de base est figé pour la perte FM durant une phase initiale, suivi d'une augmentation linéaire du poids de la perte $\lambda$.
• Moyenne Mobile Exponentielle (EMA) : Une EMA est maintenue sur les paramètres de la tête FM pour assurer que la cible se déplace lentement, permettant au modèle de base de la suivre sans instabilité.

Contributions Clés

1. Cadre SFR : Introduction d'un auxiliaire d'entraînement qui injecte une supervision future continue et au niveau des segments dans les modèles AR à coût d'inférence nul, ciblant spécifiquement le moyennage par mode dans l'affinage multi-style.
2. Garantie Théorique : Une preuve que la supervision par appariement de flux stochastique préserve la multi-modalité conditionnelle, une propriété que les alternatives de régression déterministes prouvent manquer.
3. Validation Empirique :
   • Dialogue Stylisé : Sur un jeu de données industriel propriétaire (Qwen3-32B, 9 personnalités), le SFR améliore significativement les scores Cross-Style Self-BLEU (CS-SB) (réduisant la similarité jusqu'à 41,1 % par rapport à la Base) tout en maintenant ou améliorant la fidélité au style, la pertinence et la fluidité.
   • Génération de Code : Sur le benchmark public LiveCodeBench-v5 (Qwen2.5-Coder-7B), le SFR améliore constamment les scores pass@k à tous les niveaux de difficulté et budgets d'entraînement, démontrant sa généralité au-delà du dialogue.
   • Comparaison MBPP : Une comparaison contrôlée montre que le SFR surpasse à la fois le SFT standard et la Prédiction Multi-Token (MTP) sur les métriques pass@k. L'article établit théoriquement que la MTP est un cas dégénéré spécial du SFR.
4. Capacité Diagnostique : La tête FM supprimée peut être réattachée hors ligne pour fournir un diagnostic « Verrouillage/Embranchement », identifiant les positions de tokens avec une forte incertitude sémantique (Embranchements) versus des continuations déterministes (Verrouillages), un signal non exposé par l'entropie softmax standard.

Résultats

• Diversité vs Qualité : Le SFR atteint une frontière de Pareto supérieure par rapport au SFT, augmentant simultanément la diversité des sorties (CS-SB plus faible) et maintenant des scores élevés en cohérence contextuelle, pertinence, force du style et fluidité.
• Performance en Code : Dans la génération de code, le SFR produit des gains constants en pass@1 et pass@5, avec les améliorations les plus significatives sur les problèmes de difficulté moyenne et élevée où plusieurs solutions valides existent.
• Efficacité : La méthode n'ajoute ni paramètres ni latence à l'inférence. La surcharge d'entraînement est gérable (environ 10 % d'augmentation du temps réel avec un encodage épars), et la méthode est compatible avec les piles de service standard (vLLM, SGLang) et les techniques de quantification.

Importance et Revendications

L'article revendique que le SFR offre une solution pratique au problème de l'« Effondrement Inter-Styles » sans les coûts de stockage des modèles par personnalité ou la latence d'inférence de la génération basée sur la diffusion. En remodelant les états cachés du modèle de base pour encoder des informations futures et discriminantes de la condition, le SFR permet à un modèle unique de générer des réponses véritablement diverses à travers des styles variés. Les auteurs positionnent le SFR comme une technique généralisable qui englobe la Prédiction Multi-Token comme un cas spécial et étend la capacité des modèles AR à gérer des tâches de génération multi-modales (à la fois stylistiques et fonctionnelles) plus efficacement que l'affinage supervisé standard. L'ouvrage souligne que les bénéfices sont les plus prononcés dans les régimes à basse température préférés par les systèmes de production, où les méthodes d'échantillonnage standard échouent souvent à explorer des modes divers.