Résumé Technique : Embeddings de Ratio de Progression pour un Contrôle Robuste de la Longueur

1. Énoncé du Problème

Bien que les modèles de langage neuronaux modernes (LM) atteignent une haute précision dans la génération de texte, le contrôle précis de la longueur de génération reste sous-développé. Les actuels grands modèles de langage (LLM) reposent sur des critères d'arrêt stochastiques (échantillonnage du token <EOS>), ce qui offre une transparence et un contrôle explicite limités. Bien que les LLM suivant des instructions puissent exprimer des préférences de longueur via l'incitation (prompting), cette approche est restreinte aux très grands modèles entraînés sur d'énormes ensembles de données à usage général.

Pour les petits modèles de langage (SML) entraînés sur des ensembles de données restreints et spécifiques à un domaine, le contrôle de la longueur doit être réalisé par la conception architecturale. Des méthodes récentes, telles que les Embeddings Positionnels Inversés (RPE), tentent de résoudre ce problème en alimentant le décodeur avec des signaux de compte à rebours discrets représentant le nombre de tokens restants. Cependant, les auteurs démontrent que le RPE souffre d'une limitation critique : il repose sur des comptes discrets liés au nombre absolu de tokens restants, entraînant une instabilité et une mauvaise généralisation lorsque les longueurs cibles demandées tombent en dehors de la distribution d'entraînement (longueurs hors distribution).

2. Méthodologie : Embeddings de Ratio de Progression (PRE)

Pour surmonter les limitations des signaux discrets, les auteurs introduisent les Embeddings de Ratio de Progression (PRE), une stratégie d'embedding continue liée à un signal trigonométrique d'"impatience".

Concept Central

Contrairement au RPE, qui utilise un index discret pour les tokens restants, le PRE définit un ratio de progression continu $r \in [0, 1]$, où $r = t/l$ ($t$ est l'étape actuelle, $l$ est la longueur cible). Ce ratio quantifie l'avancement du processus de décodage.

Signal d'Impatience Trigonométrique

Les auteurs modélisent l'avancement de la génération comme un signal d'"impatience" analogue à un auditeur attendant la fin d'un message. S'inspirant du traitement numérique du signal et du théorème de Nyquist–Shannon, ils conçoivent une fonction d'embedding $\xi(r)$ qui encode la progression en utilisant des composantes sinusoïdales dont la fréquence augmente à mesure que le ratio approche 1.

L'embedding est construit comme suit :
$$\xi(r)_j = \begin{cases} \sin(\omega_r \cdot x_j) & \text{si } j \text{ est pair} \\ \cos(\omega_r \cdot x_j) & \text{si } j \text{ est impair} \end{cases}$$
Où :

• $\omega_r = r \times M$ est la pulsation (fréquence), qui évolue linéairement avec le ratio de progression $r$.
• $M$ est un hyperparamètre (fixé à $d_{model}/2$ en pratique) qui module l'augmentation de la fréquence.
• $x_j$ est une variable indépendante dérivée de l'index de la dimension.

Cette conception garantit que l'espace d'embedding est continu et lisse, permettant au modèle d'interpoler entre les ratios observés pendant l'entraînement et ceux rencontrés lors de l'inférence.

Intégration et Entraînement

• Architecture : Le PRE est injecté dans les entrées standard du décodeur Transformer, aux côtés des embeddings de tokens et de position : $X_t = E_t + P_t + \xi(r_t)$.
• Objectif d'Entraînement : Le modèle est affiné en utilisant l'estimation du maximum de vraisemblance (MLE) avec une perte d'entropie croisée standard.
• Régularisation : Pour améliorer la généralisation, un bruit gaussien est injecté dans le ratio de progression $r$ pendant l'entraînement ($r = \text{Clip}(r + \delta; 0, 1)$), exposant le modèle à un spectre continu de valeurs plutôt qu'à des cibles discrètes.
• Saturation : Une fois que la séquence générée atteint ou dépasse la longueur cible, le ratio est limité à 1, ce qui provoque la saturation du signal d'impatience et décourage toute génération supplémentaire.

3. Contributions Clés

L'article présente trois contributions principales :

1. Stratégie Nouvelle : La proposition des Embeddings de Ratio de Progression (PRE), un mécanisme de contrôle de la longueur basé sur des signaux continus d'"impatience" qui modulent le décodage selon l'avancement de la complétion.
2. Analyse du RPE : Une reproduction et une adaptation de la méthode des Embeddings Positionnels Inversés (RPE) sur une architecture classique encodeur-décodeur, fournissant une analyse détaillée de ses forces (efficacité au sein de la distribution d'entraînement) et de ses faiblesses (échec à généraliser vers des longueurs hors distribution).
3. Validation Empirique : Démonstration que le PRE généralise le contrôle de la longueur à des longueurs cibles invisibles sans dégrader la qualité du texte, validé sur des tâches de résumé et de génération de questions.

4. Résultats Expérimentaux

Les auteurs ont évalué le PRE sur le modèle encodeur-décodeur BART-L (400 millions de paramètres) à travers trois ensembles de données : CNN/DailyMail, XSum (résumé de nouvelles) et SQuAD (génération de questions).

Performance de Contrôle de la Longueur

• Erreur Absolue Moyenne (MAE) : Le PRE surpasse nettement à la fois la ligne de base (sans contrôle) et la méthode RPE.
  • Sur CNN/DailyMail, le PRE a atteint une MAE de 0,5 ± 0,3, contre 1,6 pour le RPE et 19,2 pour la ligne de base.
  • Sur XSum, le PRE a atteint une MAE de 0,1 ± 0,2, contre 0,7 pour le RPE.
  • Sur SQuAD, le PRE a atteint une MAE de 0,0 ± 0,1, contre 0,8 pour le RPE.
• Généralisation Hors Distribution : Alors que les performances du RPE se dégradent nettement lorsque les longueurs cibles dépassent 300 tokens (avec des taux de valeurs aberrantes montant à >50 % pour les longueurs 550-600), le PRE maintient un contrôle robuste. Par exemple, dans le groupe de 550 à 600 tokens sur CNN/DailyMail, le RPE présentait un taux de valeurs aberrantes de 50,1 %, tandis que le PRE n'en avait que 5,4 %.

Qualité du Texte

• ROUGE et BERTScore : Le PRE maintient ou améliore légèrement les métriques de qualité du texte par rapport aux lignes de base.
  • Sur CNN/DailyMail, le PRE a obtenu un ROUGE-1 de 45,3 et un BERTScore de 69,8, surpassant le RPE (44,5 ; 69,4) et la ligne de base (44,2 ; 69,7).
  • Sur SQuAD, le PRE a obtenu un score BLEU de 18,6, surpassant le RPE (16,4) et la ligne de base (16,7).

5. Signification et Revendications

L'article affirme que le PRE offre un mécanisme robuste et invariant à la longueur pour contrôler la génération dans la génération de texte neuronale. Sa signification principale réside dans sa capacité à :

• Généraliser au-delà de l'Entraînement : Contrairement au RPE, qui est lié à la distribution discrète des longueurs d'entraînement, la représentation continue du PRE lui permet de gérer efficacement des longueurs cibles arbitraires et invisibles.
• Maintenir la Qualité : Il réalise un contrôle précis de la longueur sans sacrifier la pertinence, l'informativité ou la fluidité du texte généré.
• Applicabilité : La méthode est démontrée comme fonctionnant efficacement à la fois sur des tâches de résumé abstrait et de génération de questions utilisant des architectures encodeur-décodeur standard.

Les auteurs concluent que le PRE ouvre de nouvelles directions pour un contrôle fin du processus de génération, permettant un résumé plus progressif et améliorant potentiellement l'explicabilité, tout en notant que des travaux futurs pourraient explorer son application dans des modèles uniquement décodeurs et dans le raisonnement par chaîne de pensée.