Résumé Technique : DiHAL – Remplacement d'État Caché Guidé par la Géométrie

Énoncé du Problème

Les modèles de langage à diffusion continue ont historiquement pris du retard par rapport aux transformateurs autoregressifs. Bien que les modèles de diffusion excellent dans la génération d'images grâce à un débruitage itératif, leur application au texte est difficile en raison de la nature discrète des tokens. Les approches antérieures tentant d'adapter la diffusion au langage — telles que la corruption de tokens discrets, la diffusion masquée, ou la diffusion continue sur les embeddings de tokens et les latents appris — peinent souvent avec le goulot d'étranglement de la récupération « continu vers discret ». De petites erreurs dans l'espace de représentation continue peuvent entraîner une récupération incorrecte des tokens, dégradant la qualité de la génération.

Les auteurs émettent l'hypothèse que l'écart de performance ne découle pas uniquement de la discrétion, mais provient de l'application de la diffusion dans des espaces continus possédant une géométrie inadaptée. Alors que les modèles de langage Transformer opèrent sur des états cachés continus, ces états varient dans leurs propriétés géométriques à travers les couches. La question centrale posée est : Où, à l'intérieur d'un Transformer préentraîné, l'espace de représentation possède-t-il la géométrie requise pour un débruitage et une récupération efficaces basés sur la diffusion ?

Méthodologie : DiHAL

L'article propose DiHAL (Architecture Hybride Diffusion-Transformer pour la Génération de Langage), un cadre « Localiser-et-Remplacer » qui intègre un pont de diffusion dans un Transformer préentraîné plutôt que d'entraîner un modèle de diffusion autonome.

1. Motivation Théorique

Les auteurs fondent leur approche sur la dynamique de Langevin et la théorie de la concentration. Ils soutiennent qu'un espace de représentation « compatible avec la diffusion » doit satisfaire trois propriétés géométriques :

• Contraction Rapide : L'espace doit permettre aux échantillons bruités de se contracter rapidement vers la distribution cible (gouverné par une forte log-concavité/curvature).
• Stabilité : Le processus de débruitage doit être robuste aux erreurs d'estimation du score (également gouverné par la courbure).
• Faible Complexité Effective : La variation de la représentation doit être concentrée sur une variété de faible dimension, facilitant l'apprentissage par le modèle de diffusion.

2. Localiser : Sélection de Couche Guidée par la Géométrie

Puisque la densité réelle et le Hessien des états cachés sont indisponibles, DiHAL utilise des proxies géométriques empiriques pour noter chaque couche du Transformer :

• Courbure Locale ($\hat{m}_{curv}$) : Estimée via l'inverse de la valeur propre maximale des covariances du voisinage local. Des valeurs plus élevées indiquent des voisinages compacts.
• Monotonie Globale ($\hat{m}_{mono}$) : Estimée via le quotient de Rayleigh de la matrice de précision régularisée. Des valeurs plus élevées indiquent une rigidité directionnelle globale.
• Rang Effectif ($\hat{k}$) : Estimé comme la trace de la covariance divisée par sa norme spectrale ($\text{tr}(\Sigma)/\|\Sigma\|$). Des valeurs plus faibles indiquent une concentration sur une variété de faible dimension.

Un score de sélection est calculé en combinant ces proxies (récompensant la courbure et pénalisant le rang effectif) pour identifier la couche d'insertion optimale $\ell^*$.

3. Remplacer : Pont de Diffusion d'État Caché

Une fois la couche optimale $\ell^*$ identifiée :

• Le préfixe inférieur du Transformer (couches $1$à$\ell^*$) est remplacé par un pont de diffusion conditionnel.
• Le pont est entraîné pour reconstruire l'état caché $h_{\ell^*}$ étant donné une condition basée sur l'embedding dérivée de l'entrée du modèle source.
• Les couches supérieures du Transformer ($\ell^*+1$ à $N$) et la tête originale du Modèle de Langage (LM) sont conservées et figées (ou finement ajustées de manière minimale).
• Lors de l'inférence, le pont débruite la condition pour produire $\hat{h}_{\ell^*}$, qui est ensuite transmis aux couches supérieures conservées pour la prédiction de tokens. Cela évite la récupération directe de tokens, reformulant le problème comme une reconstruction d'état caché.

Contributions Clés

1. Formulation de l'Insertion de Diffusion : L'article formule l'insertion de la diffusion dans les Transformers préentraînés comme un problème de sélection d'interface guidée par la géométrie, proposant des proxies pratiques au niveau des couches (compacité locale, rigidité globale, rang effectif) pour identifier des espaces compatibles avec la diffusion.
2. Score de Géométrie Fixe : Les auteurs introduisent un score de géométrie fixe qui corrèle fortement avec la « pontabilité » (qualité de reconstruction) sur des architectures de base de l'ordre de 8 milliards de paramètres. Cela permet d'identifier des couches d'insertion efficaces sans entraînement exhaustif de ponts pour chaque couche candidate.
3. Architecture DiHAL : Une architecture hybride qui remplace les couches inférieures du Transformer par un pont de diffusion conditionnel tout en réutilisant les couches supérieures et la tête du LM. Dans un cadre de diagnostic à budget égal, DiHAL démontre que la récupération d'état caché surpasse les modèles de référence de diffusion continue basés sur les embeddings et les latents.

Résultats Expérimentaux

Les auteurs ont évalué DiHAL sur les architectures de base Llama-3.1-8B-Instruct et Qwen3-8B en utilisant le corpus Dolma v1.7.

• Sélection de Couche : Le score de géométrie a prédit avec succès les couches d'insertion efficaces. Pour Llama-3.1-8B, le score a sélectionné la Couche 3 ; pour Qwen3-8B, la Couche 2. Ces couches se situent près de l'interface d'embedding, suggérant que les états cachés précoces conservent une structure géométrique de type embedding adaptée à la diffusion.
• Corrélation avec la Pontabilité : Le score de géométrie fixe a montré une forte corrélation de Spearman ($\rho \approx 0,91$–$0,93$) avec la perte de validation du pont, confirmant que les proxies géométriques peuvent identifier à moindre coût les couches où les ponts de diffusion peuvent être entraînés avec succès.
• Comparaison Diagnostique : Dans une comparaison à budget égal par rapport aux modèles de référence (Diffusion-LM, SED, LD4LG, CoDAR), DiHAL a obtenu la perplexité générative (Gen.PPL) la plus faible et la diversité la plus élevée. Spécifiquement, sur Qwen3-8B, DiHAL a amélioré la Gen.PPL de 144,83 (CoDAR) à 136,02 et la diversité de 0,4777 à 0,5913.
• Entraînement Complet : Lorsqu'entraîné complètement, les couches sélectionnées par géométrie sont restées compétitives par rapport aux oracles de perte de validation (couches sélectionnées en entraînant explicitement tous les ponts) et ont significativement surpassé les contrôles « couche pire » et le modèle de référence CoDAR.

Importance et Revendications

L'article revendique que la géométrie de l'état caché est un facteur critique pour déterminer où la diffusion peut opérer efficacement au sein d'un modèle de langage. Les résultats suggèrent que l'échec de la diffusion continue en langage n'est pas simplement une conséquence de la discrétion, mais aussi un décalage entre les exigences de débruitage et la géométrie de l'espace de représentation.

Les points clés à retenir incluent :

• Reformulation du Problème : La diffusion continue pour le langage n'a pas besoin de générer du texte en récupérant directement des tokens ; elle peut reconstruire une représentation interne que le Transformer préentraîné sait déjà décoder.
• Faisabilité des Modèles Hybrides : Il est possible de remplacer des parties d'un Transformer préentraîné par un pont de diffusion si le point d'insertion est choisi sur la base de critères géométriques.
• Limites : Les auteurs notent modestement que DiHAL n'est pas encore un modèle de langage à diffusion autonome ; il dépend du suffixe Transformer conservé pour la prédiction de tokens. De plus, la latence d'inférence est actuellement plus élevée que celle de l'architecture de base originale en raison des étapes de débruitage. Ce travail est présenté comme une étape vers la compréhension de où la diffusion peut pénétrer les modèles existants, plutôt que comme un remplacement complet de la génération autoregressive à cette échelle.