💬 NLP

Where does output diversity collapse in post-training?

Cette étude démontre que l'effondrement de la diversité des sorties dans les modèles de langage post-entraînés est principalement déterminé par la composition des données d'entraînement plutôt que par la méthode d'entraînement ou le format de génération, ce qui rend impossible la correction de ce phénomène uniquement au moment de l'inférence.

Auteurs originaux : Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

Publié 2026-04-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les grands modèles de langage (comme ceux qui écrivent des emails, codent ou racontent des histoires) sont comme des chefs cuisiniers extrêmement talentueux. Au début, avant d'être "formés" pour être utiles, ces chefs sont des artistes libres. Ils peuvent cuisiner n'importe quoi, avec des saveurs variées, des ingrédients inattendus et des styles très différents. C'est ce qu'on appelle la diversité.

Mais pour les rendre plus utiles et sûrs, on les fait passer par une "école de cuisine" (le post-entraînement). Le problème, c'est que cette école les transforme souvent en robots de cuisine qui ne produisent plus qu'un seul type de plat, toujours identique, même si c'est bon. C'est ce que l'article appelle l'effondrement de la diversité.

Voici ce que les chercheurs ont découvert, expliqué simplement :

1. Le mystère de l'école de cuisine

Les chercheurs ont suivi trois groupes de chefs (des modèles) qui suivaient le même programme d'entraînement, mais avec des ingrédients différents :

Le groupe "Pensée" (Think) : Ils apprenaient en copiant deux maîtres cuisiniers très précis qui écrivaient chaque étape de leur recette (le "raisonnement").
Le groupe "Instruction" (Instruct) : Ils apprenaient en lisant des millions de recettes variées venant de sources différentes.
Le groupe "Zéro" (RL-Zero) : Ils apprenaient directement par essais et erreurs, sans copier personne.

La découverte clé : Ce n'est pas la méthode d'entraînement (l'école) qui tue la créativité, mais les ingrédients (les données) qu'on leur donne.

Le groupe "Pensée" a perdu toute sa créativité dès le début, parce qu'il n'avait que deux maîtres à copier. C'est comme si un élève n'apprenait que les recettes de deux tantes : il finira par ne cuisiner que ce qu'elles font.
Le groupe "Instruction" a gardé un peu plus de variété au début, mais l'a perdue plus tard, quand on lui a demandé de choisir "la meilleure" recette parmi des milliers.

2. Le mythe du "brouillon" (Chain-of-Thought)

On pensait que le manque de diversité venait du fait que les modèles écrivaient d'abord un long brouillon (leurs pensées) avant de donner la réponse finale. C'est comme si on disait : "Le chef écrit trop de notes, c'est pour ça qu'il ne fait que des plats ennuyeux."

Les chercheurs ont fait une expérience : ils ont forcé les chefs à sauter l'étape du brouillon et à donner directement la réponse.
Résultat : La créativité n'est pas revenue ! Les plats étaient toujours identiques.
Conclusion : Le problème n'est pas dans la façon dont ils écrivent la réponse, mais dans leur cerveau (les poids du modèle). Ils ont "oublié" comment être créatifs pendant leur apprentissage. Le brouillon n'est pas la cause, c'est juste un symptôme.

3. La qualité contre la quantité

Parfois, perdre de la diversité est une bonne chose.

En mathématiques ou en code : Si un chef vous donne 16 recettes différentes pour faire un gâteau, mais que 15 sont ratées, c'est mieux qu'il vous en donne 16 qui sont toutes parfaites. Ici, l'école a bien fait son travail : elle a éliminé les erreurs.
En écriture créative ou sur des sujets sensibles : Si un chef vous donne 16 versions de la même histoire, ou 16 opinions identiques sur un sujet controversé, c'est un désastre. On perd la richesse des points de vue. C'est là que l'effondrement est dangereux.

4. La leçon pour l'avenir

Si vous voulez un chef créatif, ne lui donnez pas seulement deux maîtres à copier. Donnez-lui accès à une bibliothèque mondiale de recettes variées. Et si vous voulez qu'il garde sa créativité, ne lui demandez pas de choisir "la seule meilleure réponse" à chaque fois.

En résumé :
L'article nous dit que pour éviter que nos intelligences artificielles ne deviennent des clones ennuyeux, il faut changer ce qu'elles mangent pendant leur apprentissage (plus de diversité dans les données), et non pas essayer de changer la façon dont elles parlent à la fin. La créativité se perd dans la cuisine, pas dans l'assiette.

Titre : Où s'effondre la diversité des sorties dans le post-entraînement ?

Auteurs : Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras (Université de Sheffield, UK).

1. Problématique

Les modèles de langage (LLM) subissent un phénomène d'effondrement de la diversité des sorties (output diversity collapse) après leur phase de post-entraînement (SFT, DPO, RLHF). Bien que ces méthodes améliorent l'utilité, la sécurité et le respect des instructions, elles entraînent une homogénéisation des réponses, réduisant la variété sémantique et logique.
Ce phénomène pose plusieurs problèmes critiques :

Il compromet les méthodes d'inférence à l'échelle (inference-time scaling) qui reposent sur l'échantillonnage multiple (ex: self-consistency, pass@k).
Il risque d'homogénéiser les contenus dans les tâches créatives et celles impliquant des valeurs, limitant la pluralité des perspectives.
La littérature précédente attribue cet effondrement à des algorithmes spécifiques (DPO, SFT) sans isoler clairement l'impact de la composition des données d'entraînement par rapport à la méthode d'entraînement elle-même, ni distinguer l'effet du format de génération (ex: Chain-of-Thought) de celui des poids du modèle.

2. Méthodologie

Les auteurs ont conçu une étude expérimentale rigoureuse en utilisant la famille de modèles Olmo 3 (échelle 7B), en suivant trois lignées de post-entraînement parallèles partant du même modèle de base :

Lignée "Think" : Entraînée via une distillation de Chain-of-Thought (CoT) à partir de deux enseignants (QwQ-32B, DeepSeek-R1). Elle suit le pipeline SFT $\rightarrow$ DPO $\rightarrow$ RL.
Lignée "Instruct" : Utilise le même pipeline (SFT $\rightarrow$ DPO $\rightarrow$ RL) mais avec des données d'entraînement SFT beaucoup plus larges et multi-sources (GPT-3.5/4, etc.), et désactive le mode "réflexion" (CoT) lors du DPO.
Lignée "RL-Zero" : Applique directement l'apprentissage par renforcement (RL) sur le modèle de base, contournant totalement les étapes SFT et DPO.

Expériences clés :

Évaluation sur 15 tâches : Couvrant le résumé, le code, le raisonnement mathématique, le suivi d'instructions, l'écriture créative et la pluralité des valeurs.
4 Métriques de diversité :
- EAD (Lexicale), SBERT (Sémantique), NLI (Logique), et Vendi Score (Nombre effectif de modes distincts).
Expérience de suppression du CoT : Pour les modèles "Think", les auteurs ont supprimé le format de raisonnement (CoT) lors de l'inférence (en forçant une réponse directe) pour vérifier si l'effondrement provenait du format de sortie ou des poids appris.
Décomposition de la diversité : Séparation de la perte de diversité en deux composantes :
1. Contrôle qualité : Élimination des réponses incorrectes.
2. Composante résiduelle : Resserrement réel parmi les réponses correctes.

3. Contributions Principales

L'impact de la composition des données : L'étude démontre que l'emplacement de l'effondrement de la diversité dépend de la composition des données d'entraînement, et non uniquement de l'algorithme.
- La lignée "Think" (données étroites, 2 enseignants) perd la majeure partie de sa diversité dès l'étape SFT.
- La lignée "Instruct" (données larges) conserve la diversité au SFT mais subit un effondrement majeur à l'étape DPO.
Les poids vs. le format : La suppression du CoT à l'inférence réduit la précision (surtout sur les tâches difficiles) mais ne restaure pas la diversité. Cela prouve que l'effondrement est ancré dans les poids du modèle (acquis lors de l'entraînement) et non imposé par le format de génération.
Trade-off dépendant de la tâche : La perte de diversité n'est pas uniforme. Sur certaines tâches (code, math), une grande partie de la réduction correspond à l'élimination d'erreurs (bénéfique). Sur d'autres (écriture créative, valeurs), c'est un véritable appauvrissement sémantique parmi les réponses correctes (négatif).

4. Résultats Clés

Trajectoires d'effondrement divergentes :
- Think : Effondrement brutal à 62% de la diversité de base dès le SFT. Le DPO a peu d'effet supplémentaire car la diversité est déjà épuisée.
- Instruct : SFT conserve mieux la diversité (perte de 38%), mais le DPO provoque une chute supplémentaire de 23%.
- RL-Zero : En contournant SFT et DPO, ce modèle conserve >90% de la diversité du modèle de base, confirmant que les étapes supervisées sont les principaux coupables.
Nature de l'effondrement : L'effondrement est principalement sémantique (mesuré par SBERT et Vendi Score), tandis que la diversité lexicale (EAD) reste stable ou augmente. Les modèles alignés utilisent un vocabulaire varié pour exprimer le même contenu sémantique.
Rôle du CoT : Bien que le CoT améliore la précision sur les tâches complexes, sa suppression ne rétablit pas la diversité. Les modèles "Think" sans CoT ont la même diversité effondrée que ceux avec CoT, mais avec une précision nettement inférieure.
Analyse Qualité-Diversité :
- Sur les tâches de raisonnement (GSM8K), la majorité de la perte de diversité provient de l'élimination des mauvaises réponses.
- Sur les tâches créatives et de valeurs (PRISM, WritingPrompts), la perte est majoritairement due à un homogénéisation des réponses correctes, ce qui est préjudiciable.
- Les modèles "Think" conservent paradoxalement plus de diversité parmi les réponses correctes que les modèles "Instruct" sur certaines tâches, malgré un effondrement global plus fort.

5. Signification et Implications

Pour la pratique (Practitioners) :
- Il est impossible de récupérer la diversité perdue en modifiant simplement le format de sortie (ex: désactiver le CoT) ou en ajustant les paramètres d'inférence (température). La solution doit intervenir au niveau de l'entraînement.
- Composition des données SFT : Pour préserver la diversité, il faut éviter la distillation à partir d'un ou deux enseignants. L'utilisation de sources de données multiples et variées est cruciale pour retarder l'effondrement.
- Optimisation des préférences : L'ajout de contraintes d'entropie ou l'utilisation de RL sans pénalité KL (comme dans RL-Zero) peut aider à préserver la diversité, bien que cela puisse se faire au détriment de la qualité globale.
Pour la recherche :
- L'étude remet en question l'idée que les algorithmes (DPO vs SFT) sont les seuls responsables de l'homogénéisation. C'est l'interaction entre l'algorithme et la distribution des données d'entraînement qui détermine le moment et l'ampleur de l'effondrement.
- Elle souligne la nécessité de distinguer la diversité distributionnelle (statistique) de la diversité représentationnelle (pluralité des perspectives), particulièrement pour les tâches sensibles aux valeurs.

En conclusion, l'article établit que l'effondrement de la diversité est un phénomène déterminé lors de l'entraînement par la composition des données, et non une conséquence inévitable ou réversible des méthodes de post-entraînement ou des formats de génération.