Résumé technique : Le fine-tuning améliore la transmission de l'information dans les modèles de langage

Problématique

La littérature existante postule que le fine-tuning (incluant l'ajustement par instructions et l'alignement) réduit la diversité et l'incertitude des grands modèles de langage (LLM), les rendant plus déterministes. Cependant, l'article identifie une limitation critique de ces analyses antérieures : elles échouent largement à contrôler la longueur de sortie. La longueur est un facteur de confusion majeur dans la mesure de la diversité ; des métriques comme le ratio type-token ou la diversité des n-grammes sont biaisées par la longueur du texte, ce qui peut faire apparaître des réponses plus courtes comme artificiellement diverses. De plus, les travaux antérieurs traitent la diversité comme une propriété statique, omettant d'analyser comment l'incertitude évolue le long des trajectoires de génération ou comment elle est allouée à travers différentes longueurs de sortie. Par conséquent, il reste incertain si le fine-tuning réduit simplement la diversité ou s'il la réorganise pour produire des générations plus informatives et sémantiquement significatives.

Méthodologie

Entropie de Canopée ($CE^\star$)

Pour combler ces lacunes, les auteurs proposent l'Entropie de Canopée ($CE^\star$), une mesure de l'information-théorique qui envisage la génération de langage sous une perspective d'arbre.

• Concept : La « canopée » représente l'ensemble de tous les déroulements terminés possibles (feuilles) disponibles pour le modèle. $CE^\star$ quantifie le volume effectif de cet espace de génération en tenant compte conjointement de la largeur de branchement locale (incertitude au niveau du token) et de la profondeur de la trajectoire (variabilité du temps d'arrêt).
• Définition formelle : $CE^\star$ est définie comme l'espérance de la somme des entropies locales le long des trajectoires de génération :
  $$CE^\star := \mathbb{E}\left[\sum_{t=1}^{N(x)} \tilde{H}(g_t | x)\right]$$
  où $N(x)$ est le temps d'arrêt aléatoire (longueur), $g_t$ est l'historique de génération, et $\tilde{H}$ est l'entropie locale du prochain token (incluant le token EOS).
• Équivalence théorique : Les auteurs prouvent que $CE^\star$ est exactement équivalente à l'entropie de Shannon totale du processus de génération :
  $$CE^\star = H(N, Y_{1:N} | X)$$
  Ceci décompose l'incertitude totale en incertitude de longueur $H(N|X)$ (prédictibilité du temps d'arrêt) et incertitude de contenu $H(Y_{1:N}|N, X)$ (diversité des séquences pour une longueur donnée).

Métriques dérivées

Pour rendre $CE^\star$ interprétable, deux variantes normalisées sont introduites :

1. Perplexité de Génération (GenPPL) : Une normalisation au niveau du token de $CE^\star$, reflétant la diversité d'un token typique.
2. Facteur de Branchement (BF) : Une normalisation au niveau de la trajectoire (espérance du taux d'entropie), reflétant la diversité d'une trajectoire typique.

Corrélation Longueur–Entropie ($\rho(N, r_N)$)

L'article introduit une nouvelle métrique pour étudier comment l'incertitude évolue avec la longueur de la génération : la corrélation entre la longueur de sortie $N$ et le taux d'entropie $r_N$ (incertitude de contenu par token).

• Définition : $\rho(N, r_N)$ mesure si les générations plus longues restent informatives (corrélation positive) ou deviennent de plus en plus redondantes/prévisibles (corrélation négative).
• Signification : Cette métrique traite l'effet de confusion de la longueur, distinguant le gain d'information réel des artefacts statistiques dans les textes longs.

Estimation

Puisque le calcul de $CE^\star$ sur l'espace exponentiel de tous les déroulements est intraitable, les auteurs développent des estimateurs de Monte Carlo. Ils établissent la cohérence de ces estimateurs sous des conditions de biais de troncature décroissant (à mesure que $T_{max} \to \infty$) et de longueur de troncature modeste. Les bornes d'erreur se décomposent en erreur d'échantillonnage de Monte Carlo et en biais de troncature.

Résultats Clés

Les auteurs ont évalué trois familles de modèles (LLaMA-3.1-8B, Qwen3-8B, Gemma-3-12B) à travers quatre tâches (Mathématiques, Codage, Complétion de phrases, Génération d'histoires), comparant les modèles de base aux variantes ajustées par instructions.

1. Réduction de l'incertitude normalisée :
   Le fine-tuning réduit systématiquement l'incertitude normalisée, tant au niveau du token (GenPPL) qu'au niveau de la trajectoire (BF), pour presque tous les modèles et tâches. L'ampleur de la réduction varie considérablement selon la tâche (par exemple, ~5 % en Mathématiques pour Qwen contre ~80 % en Complétion de phrases), suggérant que l'alignement comprime l'espace de génération, mais de manière hétérogène selon la structure de la tâche.

2. Effets de la tâche sur l'incertitude totale ($CE^\star$) :

   • Dans les tâches structurées (Mathématiques, Codage, Complétion de phrases), $CE^\star$ diminue significativement après le fine-tuning, car l'espace de génération valide est élagué vers un petit ensemble de trajectoires correctes.
   • Dans les tâches ouvertes (Génération d'histoires), $CE^\star$ peut augmenter. Les modèles affinés génèrent des séquences plus longues et plus élaborées. Bien que la diversité de branchement locale diminue, l'augmentation de la profondeur de la trajectoire (incertitude du temps d'arrêt) peut mathématiquement l'emporter sur la réduction de l'entropie locale, conduisant à un volume d'espace de génération total plus important.

3. Décalage de la corrélation Longueur–Entropie :
   Une découverte pivotale est que le fine-tuning déplace systématiquement la corrélation $\rho(N, r_N)$ d'une valeur négative vers une valeur positive.

   • Modèles de base : Présentent une corrélation négative ; les sorties plus longues ont tendance à avoir des taux d'entropie plus faibles, impliquant que les tokens ultérieurs sont redondants.
   • Modèles affinés : Présentent une corrélation positive ; les générations plus longues maintiennent des taux d'entropie plus élevés, indiquant que les tokens supplémentaires restent informatifs plutôt que de s'effondrer dans la répétition.

4. Efficacité de la diversité sémantique :
   En utilisant un cadre de régression à effets mixtes Beta, les auteurs ont constaté que si le fine-tuning réduit la diversité sémantique de base à un taux d'entropie fixe, il triple presque la sensibilité de la diversité sémantique au taux d'entropie. Cela implique que les modèles alignés utilisent l'incertitude au niveau du token de manière plus efficace, la convertissant en une variation sémantique significative plus efficacement que les modèles de base.

Signification et Revendications

L'article soutient que la vision prédominante — selon laquelle le fine-tuning ne fait que réduire la diversité — est incomplète. Au lieu de cela, les résultats démontrent que le fine-tuning réorganise fondamentalement l'incertitude.

• Réorganisation, pas seulement réduction : Le fine-tuning ne se contente pas de rétrécir l'espace de génération ; il restructure la façon dont l'incertitude est allouée à travers les trajectoires de génération.
• Efficacité de l'information : Les modèles alignés produisent des sorties qui sont plus organisées et sémantiquement significatives. Ils maintiennent une densité d'information sur des trajectoires plus longues, évitant les « pièges de complétion » et la redondance souvent observés dans les modèles de base.
• Contribution méthodologique : En introduisant $CE^\star$ et la corrélation longueur-entropie, l'article fournit un cadre rigoureux, sensible à la longueur, pour évaluer la diversité de génération qui surmonte les effets de confusion de la longueur de sortie inhérents aux métriques précédentes.

Les auteurs concluent que le fine-tuning améliore la transmission de l'information des modèles de langage, les rendant plus efficaces pour traduire l'incertitude en générations sémantiquement diverses et appropriées aux tâches.