💬 NLP

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

L'article présente LenVM, un cadre évolutif et sans annotation qui modélise la longueur de génération restante comme un signal de valeur au niveau du token, améliorant considérablement la correspondance exacte des longueurs et permettant un contrôle continu du compromis performance-efficacité dans les modèles autoregressifs.

Auteurs originaux : Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez un conteur raconter une histoire. Parfois, il s'arrête après quelques phrases ; d'autres fois, il s'étend pendant des heures. Dans le monde de l'Intelligence Artificielle (IA), ce « conte » est le processus de génération de texte, token par token.

Le problème est que les modèles d'IA actuels sont comme des conteurs qui ne savent pas quand s'arrêter. Ils peuvent s'arrêter trop tôt (laissant l'histoire inachevée) ou continuer trop longtemps (gaspillant du temps et de l'argent). Les méthodes existantes pour contrôler cela consistent à donner au conteur une instruction brutale dès le début : « Raconte une histoire de 5 minutes. » Le conteur doit deviner toute la longueur avant de prononcer un seul mot, ce qui conduit souvent à des erreurs.

Ce papier présente un nouvel outil appelé LenVM (Length Value Model). Imaginez LenVM comme une boussole interne intelligente que l'IA porte avec elle pendant qu'elle parle.

L'idée centrale : La boussole « Distance jusqu'à la fin »

Au lieu d'essayer de deviner la longueur totale de l'histoire, LenVM répond à une question simple à chaque étape : « Combien me reste-t-il à parcourir ? »

Voici comment cela fonctionne, en utilisant quelques analogies :

1. L'analogie de la « Route à péage »
Imaginez que l'IA conduit sur une autoroute. Chaque fois qu'elle génère un mot (un « token »), elle doit payer un petit péage.

L'objectif : L'IA veut atteindre sa destination (la fin de la phrase) aussi efficacement que possible.
Le calcul : LenVM calcule le « péage total » que l'IA s'attend à payer à partir de cet instant précis jusqu'à la fin du trajet.
Le résultat : Si l'IA vient juste de commencer une longue explication, le « péage total » est élevé (un grand nombre négatif). Si l'IA est sur le point de finir, le « péage total » est très faible (proche de zéro).

2. L'analogie du « Thermostat »
Habituellement, la génération par IA ressemble à un chauffage qui souffle de l'air chaud jusqu'à ce que vous l'éteigniez manuellement. LenVM agit comme un thermostat intelligent. Il détecte constamment à quel point la pièce est proche de la température cible (la longueur cible).

Si l'IA doit bientôt s'arrêter, LenVM signale : « Nous sommes proches ! Choisissez des mots qui mènent à une fin rapide. »
Si l'IA doit continuer, LenVM signale : « Nous sommes loin ! Choisissez des mots qui permettent plus de détails. »

Ce que LenVM fait réellement (Les affirmations du papier)

Les chercheurs ont entraîné cette « boussole » en utilisant une astuce ingénieuse : ils n'avaient pas besoin d'humains pour étiqueter les données. Ils ont simplement laissé l'IA raconter des histoires, compté les mots, et appris à LenVM à prédire le « coût restant » pour terminer ces histoires. Comme cela se produit à chaque mot, les données d'entraînement sont massives et automatiques.

Voici ce que le papier prouve que LenVM peut faire :

1. Contrôle précis de la longueur (Le tailleur « ajustement parfait »)
Si vous demandez à une IA d'écrire exactement 500 mots, les modèles standards manquent souvent le coup de beaucoup. LenVM agit comme un tailleur avec un mètre ruban.

Le résultat : Sur un test appelé LIFEBench, un modèle standard de 7 milliards de paramètres utilisant LenVM a amélioré sa capacité à atteindre des comptes de mots exacts, passant d'un score de 30,9 à 64,8.
La comparaison : Ce modèle open-source avec LenVM a en réalité mieux réussi à atteindre des longueurs exactes que certains des modèles « boîte noire » les plus avancés et propriétaires (comme GPT-4o ou Claude) qui reposent sur des invites simples.

2. Le « Cadran d'efficacité » (Le compromis Performance vs Vitesse)
Parfois, vous voulez une réponse parfaite et longue. Parfois, vous voulez une réponse rapide et « assez bonne ».

Le résultat : LenVM vous permet de faire glisser un cadran. Vous pouvez dire à l'IA : « Donne-moi la meilleure réponse que tu peux trouver, mais essaie de la garder sous 200 mots. »
La magie : Sans LenVM, si vous forcez une IA à s'arrêter à 200 mots, sa précision sur des problèmes mathématiques chute à 6 %. Avec LenVM guidant le choix des mots, la précision reste élevée à 63 %. Il trouve les « raccourcis » que l'IA connaît déjà mais ignore généralement.

3. La « Boule de cristal » (Prédire l'avenir)
LenVM peut regarder la toute première invite (avant que l'IA ne dise un seul mot) et prédire combien de temps sera la réponse.

Le résultat : Il peut deviner la longueur de la solution d'un problème mathématique ou d'un extrait de code avec une grande précision. Cela aide les ordinateurs à planifier leur mémoire et leur budget avant même de commencer à travailler.

4. La « Vision aux rayons X » (Comprendre l'esprit de l'IA)
Puisque LenVM vérifie la « distance jusqu'à la fin » à chaque étape, il révèle où l'IA décide de s'arrêter ou de continuer.

La découverte : Le papier a trouvé que des mots comme « Ah », « Attends » ou « Réfléchissons » signalent souvent que l'IA est sur le point de partir pour un voyage plus long (un « token de longueur positive »). Des mots comme « Par conséquent », « Parfait » ou des émojis comme une coche (✓) signalent que l'IA est en train de conclure (un « token de longueur négative »). Cela nous donne une fenêtre sur le processus de raisonnement de l'IA.

Résumé

LenVM est une nouvelle façon d'enseigner à l'IA à comprendre sa propre « distance jusqu'à la ligne d'arrivée ». Il transforme le concept vague de « longueur » en un signal mathématique précis que l'IA peut utiliser en temps réel.

Sans annotation : Il apprend automatiquement à partir de la propre production de l'IA.
Évolutif : Il fonctionne mieux à mesure que l'IA devient plus grande.
Pratique : Il nous permet de contrôler la durée des discours de l'IA sans modifier le cerveau de l'IA, simplement en guidant ses choix mot par mot.

Le papier conclut que ce « signal de valeur au niveau du token » est un nouvel outil puissant pour rendre l'IA plus efficace, prévisible et contrôlable.

1. Énoncé du problème

Dans les modèles autorégressifs modernes (LLM et VLM), la longueur de génération est une unité fondamentale de calcul qui impacte directement le coût d'inférence (calcul, mémoire, latence) et les performances de raisonnement. Bien que les méthodes existantes tentent de contrôler ou de prédire la longueur de génération, elles souffrent de limitations significatives :

Contrôle à grain grossier : La plupart des approches opèrent au niveau de la séquence (par exemple, pénalités au niveau de la séquence pendant l'entraînement ou instructions basées sur l'invite lors de l'inférence) plutôt que de modéliser la dynamique de génération au niveau du token.
Absence de signaux à grain fin : Il manque un mécanisme pour estimer l'horizon de génération restant à chaque étape de décodage.
Goulot d'étranglement de l'annotation : La modélisation traditionnelle de la récompense pour la longueur nécessite souvent un étiquetage humain ou des modèles de récompense complexes, qui ne se mettent pas à l'échelle efficacement.
Rigidité des compromis : Les contraintes strictes (par exemple, "arrêter à 200 tokens") dégradent souvent les performances, tandis que les méthodes actuelles manquent d'un mécanisme fluide pour arbitrer entre la qualité du raisonnement et le budget de tokens.

2. Méthodologie : Le modèle de valeur de longueur (LenVM)

Les auteurs proposent LenVM, un cadre au niveau du token qui modélise la longueur de génération restante comme un problème d'estimation de valeur dans le cadre standard d'une fonction de valeur d'apprentissage par renforcement (RL).

Formulation de base

Au lieu de prédire directement des comptes de tokens bruts, LenVM formule la modélisation de la longueur comme un problème de retour actualisé :

Structure de récompense : Une récompense négative constante est attribuée à chaque token généré : $r_t = -(1 - \gamma)$ , où $\gamma \in (0, 1)$ est un facteur d'actualisation. L'état terminal (EOS) a une récompense de 0.
Retour actualisé : La valeur cible $G_t$ à l'étape $t$ pour une trajectoire de longueur totale $L$ est définie comme la somme des récompenses futures actualisées :
$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$
Propriétés :
- Bornée : $G_t \in (-1, 0)$ , évitant la plage dynamique non bornée des longueurs brutes.
- Monotone : Des horizons restants plus courts produisent des valeurs plus proches de 0 ; des horizons plus longs produisent des valeurs plus proches de -1.
- Consistante avec Bellman : Satisfait la récursion $G_t = r_t + \gamma G_{t+1}$ .

Architecture et entraînement

Tête (Head) : LenVM attache une tête de valeur scalaire (un MLP à 2 couches avec activation SiLU) à l'état caché de la dernière couche d'un LLM ou VLM de base.
Sortie : La tête produit une valeur $V_\theta(s_t) = -\sigma(z_t)$ , garantissant que la sortie reste dans l'intervalle $(-1, 0)$ .
Objectif d'entraînement : Le modèle est entraîné par régression dense au niveau du token, sans annotation.
- Génération de données : Pour une invite donnée, plusieurs complétions sont échantillonnées à partir d'une politique de déploiement fixe.
- Supervision : Le retour réalisé $G_t$ est calculé de manière déterministe à partir de la longueur de la complétion échantillonnée.
- Perte : Erreur quadratique moyenne (MSE) moyennée sur les tokens entre la valeur prédite et le retour réalisé.
- Mise à l'échelle : Le signal de supervision est dense (chaque token est une cible), non biaisé (échantillon Monte Carlo sous politique fixe) et s'adapte naturellement à la taille du modèle, au nombre d'invites et au nombre de complétions échantillonnées.

3. Contributions clés

Modélisation de la longueur au niveau du token : LenVM est le premier cadre à modéliser la longueur de génération restante comme un signal de valeur continu au niveau du token, permettant un contrôle et une prédiction à grain fin.
Mise à l'échelle sans annotation : Le signal d'entraînement est dérivé entièrement des complétions échantillonnées sans étiquetage humain ni modèles de récompense externes, le rendant hautement évolutif à travers les tailles de modèles et les jeux de données.
Contrôle au moment de l'inférence : LenVM fournit un mécanisme pour contrôler la longueur de génération sans modifier les poids du modèle de base, prenant en charge à la fois les contraintes strictes et les compromis continus.
Interprétabilité : Les valeurs au niveau du token révèlent des "tokens de longueur" qui signalent des changements dans les régimes de raisonnement (par exemple, des tokens comme "wait" ou "ah" indiquant un passage à un raisonnement plus long, par opposition à "therefore" indiquant une conclusion).

4. Résultats expérimentaux

Les auteurs ont évalué LenVM sur des LLM (Qwen2.5, Qwen3) et des VLM dans les domaines des mathématiques, du code et du suivi d'instructions.

Génération contrôlée par la longueur (LIFEBench) :
- LenVM surpasse nettement les modèles fermés de pointe (GPT-4o, Claude, Gemini) en correspondance exacte de longueur.
- Sur un modèle de 7B, le Score de Longueur est passé de 30,9 à 64,8 sur la contrainte "Égal à", tout en réduisant l'écart de longueur de 71 % à 44 %.
Compromis Performance-Efficacité :
- En utilisant un tilting exponentiel basé sur les valeurs prédites par LenVM, le modèle peut équilibrer continuellement la précision et le budget de tokens.
- Sur GSM8K avec un budget de 200 tokens, LenVM a maintenu une précision de 63 %, tandis qu'une base de budget de tokens stricte n'atteignait que 6 %. Cela démontre que le modèle de base contient des chemins de raisonnement réussis plus courts que LenVM peut révéler.
Prédiction de la longueur de génération :
- LenVM peut prédire l'horizon de génération attendu à partir de la limite de l'invite (avant la génération de tout token).
- À l'échelle de 32B, il atteint une Erreur Relative Moyenne (MRE) de 9,8 % pour les mathématiques, 14,9 % pour le code et 17,1 % pour le suivi d'instructions.
Mise à l'échelle :
- La perte de validation diminue de manière constante à mesure que la taille du modèle, le nombre d'invites d'entraînement et le nombre de complétions échantillonnées par invite augmentent.
Étude de cas (Tokens de longueur) :
- L'analyse des résidus de différence temporelle révèle des tokens spécifiques qui agissent comme des marqueurs de changements de longueur (par exemple, "ah", "but" pour étendre le raisonnement ; "therefore", "perfect" pour terminer).

5. Importance et implications futures

Cadre général : LenVM établit que la longueur de génération peut être efficacement modélisée comme un signal de valeur au niveau du token, offrant une alternative fondée sur des principes aux pénalités à grain grossier.
Fondement RL : Le papier met en évidence que LenVM sert de baseline de valeur naturelle et spécifique à la longueur pour le RL de type PPO. Il peut être utilisé soit comme composant d'objectif direct (pour optimiser l'efficacité), soit comme signal de façonnage de récompense basé sur un potentiel (pour améliorer l'attribution de crédit sans changer l'objectif de la tâche).
Utilité pratique : La capacité à prédire la longueur et à contrôler la génération dynamiquement offre des avantages immédiats pour la planification d'inférence, la gestion de la mémoire et la réduction des coûts dans les systèmes de production de LLM.
Interprétabilité : En visualisant comment des tokens spécifiques modifient l'horizon prédit, LenVM offre une nouvelle perspective sur la dynamique interne des modèles de raisonnement.

En résumé, LenVM transforme le problème du contrôle de la longueur d'une contrainte au niveau de la séquence en une tâche d'estimation de valeur dense, évolutive et au niveau du token, permettant un contrôle précis, une inférence efficace et une interprétabilité plus profonde de la génération autorégressive.