Résumé Technique : Diffusion Structurée Approximative pour l'Étiquetage de Séquences

Énoncé du Problème

L'étiquetage de séquences est une tâche fondamentale du Traitement du Langage Naturel (NLP) consistant à assigner une étiquette à chaque jeton d'une phrase d'entrée (par exemple, l'étiquetage morphosyntaxique ou la reconnaissance d'entités nommées). Bien que les approches modernes utilisent souvent des Champss Aléatoires Conditionnels (CRF) à chaîne linéaire paramétrés par des réseaux de neurones, ces modèles font face à des limitations intrinsèques. Les CRF standards restreignent généralement les interactions aux étiquettes adjacentes (bigrammes) pour garantir la tractabilité, ce qui limite leur expressivité lorsqu'il s'agit de modéliser des dépendances à longue portée. Inversement, bien que les modèles de diffusion aient montré des promesses pour la modélisation de langage en conditionnant la génération sur des contextes non bornés, l'application de ces modèles à des tâches de prédiction structurée comme l'étiquetage de séquences présente des défis. Spécifiquement, l'inférence exacte dans les CRF (par exemple, via les algorithmes de Viterbi ou Forward-Backward) est coûteuse en termes de calcul et difficile à paralléliser, ce qui rend l'échantillonnage itératif requis par les modèles de diffusion prohibitifement lent.

Méthodologie

Les auteurs proposent un nouveau cadre qui fait le pont entre la prédiction structurée et la diffusion discrète pour entraîner un CRF conditionné sur une séquence d'étiquettes entière, spécifiquement une version bruitée de cette séquence.

1. Cadre de Diffusion Discrète

Le modèle traite l'étiquetage de séquences comme une tâche de génération où une séquence d'étiquettes propre $y_0$ est corrompue par un processus de diffusion directe $q$ sur $T$ étapes pour atteindre une séquence aléatoire $y_T$. L'objectif est d'apprendre un débruiteur $p_\theta$ qui inverse ce processus, prédisant la séquence propre à partir des entrées bruitées.

• Processus Direct : À chaque étape $t$, du bruit est ajouté aux étiquettes selon un ratio de corruption $\beta_t$, aboutissant finalement à une distribution uniforme sur toutes les séquences d'étiquettes possibles.
• Processus de Débruitage : Le modèle apprend à prédire la séquence propre $y_0$ (ou sa valeur attendue $\hat{y}_0$) étant donné une séquence bruitée $y_t$ et la phrase d'entrée $s$.

2. Débruitage Structuré avec des CRF

Contrairement aux modèles de diffusion standards qui prédisent les jetons indépendamment, cette approche implémente le débruiteur $p_\theta$ en utilisant un CRF.

• Conditionnement : Le CRF est conditionné non seulement sur la phrase d'entrée, mais aussi sur la séquence d'étiquettes bruitée. Cela permet au modèle de considérer des interactions d'étiquettes non bornées tout en maintenant la capacité d'imposer des préférences sur les étiquettes adjacentes.
• Inférence Approximative : Puisque l'échantillonnage exact à partir d'une distribution CRF est coûteux (complexité $O(n)$ par étape) et entrave la parallélisation, les auteurs approximent la distribution du CRF en utilisant l'inférence de Champ Moyen (Mean-Field). Cela permet un calcul indépendant par position, récupérant l'efficacité des modèles unigrammes tout en conservant les avantages structurels.
• Objectif d'Entraînement : Le modèle est entraîné en maximisant une borne inférieure variationnelle de la log-vraisemblance. La fonction de perte implique la minimisation de la divergence de Kullback-Leibler (KL) entre la distribution postérieure réelle (conditionnée sur la séquence d'or) et la distribution postérieure du modèle (conditionnée sur la séquence débruité). Une perte de débruitage (log-vraisemblance négative) est également ajoutée pour améliorer la stabilité.

3. Architecture Neurale

L'architecture emploie un Transformer de Diffusion (Peebles et Xie, 2022) pour l'étape de débruitage :

• Entrée : Plongements d'étiquettes bruitées (provenant d'une table de recherche entraînable) et plongements de mots contextuels (provenant d'un encodeur Transformer ou d'un CharLSTM).
• Contexte : Le pas de temps $t$ est plongé et concaténé avec les plongements de mots pour guider la normalisation.
• Sortie : Les blocs Transformer produisent des vecteurs qui sont convertis via des MLP en scores unigrammes et, pour les modèles structurés, en scores de transition par paires (bigrammes).
• Décodage : Le processus de décodage utilise une stratégie de division par deux, passant de l'étape $t$ à $\lfloor t/2 \rfloor$ de manière itérative jusqu'à atteindre l'étape 0, réduisant ainsi le nombre d'appels au débruiteur de manière logarithmique par rapport à $T$.

Contributions Clés

1. Intégration de la Diffusion et des CRF : L'article introduit une méthode pour entraîner un CRF conditionné sur une séquence d'étiquettes bruitée, combinant efficacement les capacités de contexte global de la diffusion avec les contraintes structurelles des CRF.
2. Inférence Structurée Approximative : Pour résoudre le goulot d'étranglement computationnel de l'échantillonnage CRF dans les boucles de diffusion, les auteurs utilisent l'approximation de Champ Moyen. Cela permet un entraînement et un décodage efficaces et parallélisables tout en préservant la capacité à modéliser des dépendances à longue portée.
3. Scalabilité : La méthode proposée démontre des propriétés de mise à l'échelle supérieures par rapport aux CRF de référence. Alors que les CRF traditionnels plafonnent souvent ou font du surapprentissage à mesure que le nombre de paramètres augmente, les modèles basés sur la diffusion continuent de s'améliorer avec des architectures plus larges.

Résultats Expérimentaux

Les auteurs ont évalué leur approche sur quatre jeux de données de Universal Dependencies v2.15 (anglais, allemand, français et néerlandais) pour l'étiquetage morphosyntaxique (POS tagging).

• Performance : Le modèle de diffusion structurée avec approximation de Champ Moyen (Diffusion-MF) a obtenu les meilleurs résultats sur tous les jeux de données. Comparé au meilleur modèle de référence non-diffusion (CRF standard), la méthode proposée a atteint une réduction moyenne de l'erreur de 16,54 %.
• Comparaison :
  • Diffusion-MF a surpassé Diffusion-Uni (diffusion non structurée), indiquant que la structure CRF ajoutée améliore la performance par rapport à une simple diffusion.
  • Les deux variantes de diffusion ont surpassé les trois modèles de référence : Unigram, Mean-Field et le CRF standard.
• Mise à l'échelle (Scaling) : Les expériences variant la taille des modèles (de XS à XL) ont montré que les modèles de diffusion passent à l'échelle efficacement avec l'augmentation des paramètres, tandis que les modèles de référence montrent des rendements décroissants ou une dégradation des performances après un certain point.
• Efficacité : Bien que l'approche structurée (Diffusion-MF) soit plus lente lors de l'évaluation que la diffusion non structurée en raison du processus de débruitage itératif, elle reste comparable en vitesse d'entraînement aux CRF standards. Les auteurs notent que la diffusion structurée exacte (Diff-CRF sans approximation) est prohibitivement lente, validant la nécessité de l'approximation de Champ Moyen.

Signification et Revendications

L'article affirme que cette approche offre un nouveau paradigme pour l'étiquetage de séquences qui réconcilie le besoin de preuves à longue portée avec les contraintes locales. En plaçant un CRF à l'intérieur d'une boucle de débruiteur de diffusion, le modèle atteint :

1. Normalisation Garantie : Assurant des distributions de probabilité valides.
2. Contexte Global : Tirant parti de l'évolution de la séquence bruitée pour informer les prédictions.
3. Parallélisabilité : Atteignant l'efficacité grâce aux mises à jour de Champ Moyen.

Les auteurs concluent que, bien que la méthode entraîne des coûts computationnels plus élevés (mémoire et énergie) par rapport à des modèles plus simples, elle fournit une solution robuste pour les tâches nécessitant des interactions complexes entre étiquettes. Ils suggèrent que l'approche est applicable à d'autres tâches de marquage NLP telles que la reconnaissance d'entités nommées (NER) et la segmentation de mots. Le papier reconnaît modestement que l'amélioration des performances se fait au détriment de la consommation d'énergie et du temps de calcul, et note que la convergence de l'approximation parallèle de Champ Moyen n'est pas théoriquement garantie, bien qu'elle ait performé de manière satisfaisante empiriquement.