Résumé Technique : La prévoyance ne suffit pas

Énoncé du problème

Les modèles de langage (LM) autorégressifs optimisent la vraisemblance du prochain jeton (token) local, ce qui entraîne souvent des échecs de génération qui ne sont pas locaux au jeton, tels que la répétition sémantique, la dérive de l'invite (prompt drift) ou un échec de l'avancement du discours. Bien que des travaux antérieurs suggèrent que les modèles peuvent apprendre des représentations anticipant le texte futur (par exemple, via des vecteurs skip-thought ou le codage prédictif contrastif), une lacune critique subsiste : une représentation orientée vers le futur apprise entraîne-t-elle réellement des améliorations comportementales dans la génération ?

Le papier étudie ce « fossé entre représentation et comportement » en utilisant ForesightLM-v2, un modèle autorégressif d'environ 82 millions de paramètres. L'hypothèse centrale est que même si un modèle parvient à apprendre un signal distinguant les phrases futures réelles des continuations de faible qualité, ce signal peut ne pas être le principal moteur de la qualité de génération par rapport à des mécanismes plus simples comme l'échantillonnage multi-candidats et le reclassement (reranking) générique.

Méthodologie

Architecture et objectif du modèle

ForesightLM-v2 est basé sur un modèle causal de l'échelle de DistilGPT-2. Il augmente la modélisation du langage standard par le prochain jeton avec deux composants auxiliaires :

1. Tête de prédiction de futur au niveau de la phrase : Une tête de projection entraînable ($P_\theta$) qui mappe la représentation de la frontière du contexte ($h_c$) vers un vecteur futur ($\hat{z}$). Ce vecteur est aligné avec une cible sémantique gelée ($z^+$) dérivée de la phrase future observée ($s^+$) à l'aide d'un encodeur de phrase gelé ($E$).
2. Négatifs difficiles en boucle auto-référencée (Self-Loop Hard Negatives) : Pour fournir une supervision aux sorties de faible qualité, le modèle extrait des continuations de type « boucle » générées par lui-même. Une perte basée sur une marge ($L_{hn}$) force le modèle à séparer la représentation du futur réel ($s^+$) de ces négatifs difficiles auto-générés ($s^-$).

La fonction de perte totale est :
$$L = L_{LM} + \lambda_f L_{future} + \lambda_h L_{hn}$$
où $L_{LM}$ est la perte de modélisation du langage standard, et $\lambda_f, \lambda_h$ sont des coefficients de pondération.

Conception expérimentale et contrôles

L'étude emploie un protocole d'évaluation à pool fixe rigoureux pour isoler l'effet du signal futur appris des bénéfices de l'échantillonnage de plus de candidats.

• Jeu de données : WikiText-103 (trois graines/seeds : 7, 42, 123) et WritingPrompts (graine 42 comme test de cohérence/sanity check).
• Pool de candidats : Pour chaque invite, un pool fixe de cinq continuations candidates est généré.
• Stratégies de sélection : Le papier compare plusieurs sélecteurs sur ce même pool fixe :
  • Reclassement par futur appris (Learned-Future Reranking) : Utilise le score de similarité future ($f(y)$) dans la formule de sélection.
  • Reclassement générique : Utilise un score basé sur la similarité avec l'invite, la répétition sémantique, la progression et la longueur, mais sans le terme de futur.
  • Ablations : Scores futurs aléatoires, contrôles permutés (shuffled) et une variante « sans futur ».
  • Baseline sans entraînement : Un reclasseur de modèle de base sans entraînement de la tête de futur.
• Métriques : Diagnostics automatiques incluant la Similarité de l'Invite (PSim), la Dérive de Sujet (Topic Drift), le score de bande de progression (Prog), le taux de Boucle Lexicale (LexLoop) et les taux de Boucle Sémantique.

Résultats Clés

1. Le signal du côté de l'entraînement est stable

Le modèle apprend avec succès un signal futur mesurable. Sur les trois graines de WikiText-103, la marge des négatifs difficiles en réserve est systématiquement positive ($0,0599 \pm 0,0015$). Le signal émerge progressivement durant l'entraînement, passant d'un écart de 0,0262 à 250 étapes à 0,0614 à 1000 étapes.

2. Les gains de génération sont pilotés par la sélection de candidats, non par le signal futur

Lors de l'évaluation sur le pool fixe de cinq candidats :

• Performance indiscernable : Le reclasseur « Learned-Future » performe de manière presque identique au reclassement générique, aux contrôles de scores futurs aléatoires et aux contrôles permutés.
• Impact de l'ablation : Supprimer le terme de futur appris de la formule de score de sélection ne change que 2 continuations sur 120 sélectionnées.
• Facteur de confusion fort : Un reclasseur de modèle de base sans entraînement (utilisant uniquement les logits du modèle de base et des heuristiques génériques) surpasse ForesightLM-v2 sur plusieurs diagnostics sémantiques.
• Conclusion : Les améliorations globales de la qualité de génération sont expliquées par la diversité du pool de candidats et le reclassement sémantique générique, et non par le signal futur spécifique appris.

3. Le fossé de calibration

Bien que le score futur ne soit pas aléatoire (il est corrélé à l'ancrage de l'invite et à la progression au niveau de la population), il est faiblement calibré pour la prise de décision au sein d'une même invite.

• Le sélecteur basé uniquement sur le futur performe mal sur l'ancrage de l'invite et la progression.
• Le sélecteur de futur ne choisit le candidat « oracle-best » (le meilleur parmi les cinq) comme premier choix que pour 18,3 % des invites.
• Le rang moyen du candidat oracle-best au sein du classement par score futur se situe entre 2,87 et 3,31 sur cinq.

4. La répétition lexicale est séparable

L'ajout d'une pénalité lexicale légère au score de sélection réduit significativement la répétition de surface (LexLoop) et les taux de boucle sémantique sans affecter les scores de progression. Cela suggère que le contrôle de la dégénérescence lexicale est un problème distinct de la sélection de candidats sémantiques.

Signification et Revendications

La principale contribution du papier est méthodologique plutôt qu'une affirmation de résolution de la cohérence à long terme. Les auteurs soutiennent que la prévoyance ne suffit pas ; apprendre une représentation orientée vers le futur ne garantit pas une utilité comportementale.

• Représentation vs Comportement : L'étude démontre qu'un modèle peut apprendre un signal stable et mesurable distinguant le texte futur des négatifs de boucle auto-référencée, tout en échouant à utiliser ce signal comme moteur principal de la qualité de génération.
• Le fossé de calibration : Il existe un fossé distinct entre l'existence d'un signal sémantique et sa calibration pour la prise de décision. L'interface comportementale actuelle (fonction de score) ne fait pas du signal futur le facteur décisif.
• Importance des contrôles : Le papier souligne que sans contrôles à pool fixe et baselines de négatifs fortes (comme des scores aléatoires ou des reclasseurs sans entraînement), la recherche risque d'attribuer des gains à des signaux appris alors qu'ils sont causés par la diversité des candidats ou le reclassement générique.
• Portée : ForesightLM-v2 est présenté non pas comme une solution autonome, mais comme une étude de cas contrôlée soulignant la nécessité de bases comportementales calibrées et d'un traitement séparé de la dégénérescence lexicale dans les petits modèles de langage.

Les auteurs concluent que pour les méthodes de génération basées sur la représentation, l'interface comportementale doit être traitée comme un « objet d'étude de premier rang », et que la preuve de l'existence d'un signal est plus faible que la preuve qu'il modifie le comportement au-delà d'alternatives crédibles.