💬 NLP

Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models

L'article présente Diverse-NS, une stratégie de sélection de données contrôlée par la longueur qui atténue le biais systématique en faveur des sorties plus courtes dans les modèles de langage, améliorant ainsi considérablement la diversité et l'expressivité des réponses à travers diverses tâches créatives tout en maintenant la qualité.

Auteurs originaux : Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Publié 2026-02-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le piège du « Court et Ennuyeux »

Imaginez que vous avez un écrivain très talentueux (un grand modèle de langage ou LLM) qui a été entraîné pour être utile, sûr et poli. Vous lui demandez d'écrire une histoire.

Le problème est qu'en essayant d'être « parfait » et prudent, l'écrivain a commencé à se comporter comme un élève nerveux passant un examen. Il a peur d'écrire trop de choses car il pense que les réponses courtes sont de meilleures réponses.

Pourquoi ? Parce que les outils utilisés pour noter son travail (les mesures de diversité) sont défaillants. Ces outils sont comme un juge qui pense qu'une phrase de 3 mots est plus « créative » qu'un paragraphe de 30 mots simplement parce qu'elle est plus courte. L'écrivain remarque cela et commence à vous donner des réponses courtes, sûres et répétitives pour obtenir une bonne note.

Les auteurs appellent cela le « Biais de Brièveté » (Brevity Bias). C'est comme un chef qui arrête d'ajouter des épices parce que le goûteur n'aime que la nourriture nature. Le résultat est que l'IA devient moins créative, moins expressive, et finit par produire des résultats qui se ressemblent tous (un phénomène appelé « effondrement du modèle » ou model collapse).

La Solution : « Diversifié, pas Court » (Diverse-NS)

Les auteurs ont créé une nouvelle stratégie appelée Diverse, not Short (Diverse-NS). Voyez cela comme un nouveau programme d'entraînement pour l'écrivain qui corrige le système de notation défectueux.

Voici comment cela fonctionne, étape par étape :

Le jeu des « Deux Brouillons » :
Les chercheurs demandent à l'IA d'écrire une histoire deux fois.
- Brouillon A : L'IA écrit naturellement (son style par défaut, souvent ennuyeux).
- Brouillon B : On demande à l'IA de réécrire l'histoire avec une règle spécifique : « Rends-la plus intéressante et variée, mais garde exactement la même longueur que le Brouillon A ».
Le filtre du « Juge Équitable » :
Habituellement, si vous demandez plus de créativité, le texte devient plus long. Mais les chercheurs ont imposé une règle stricte : Si le Brouillon B est plus long que le Brouillon A, on le jette.
Ils ne conservent que les paires où la version « plus créative » a à peu près la même longueur que la version « ennuyeuse ». Cela apprend à l'IA : « Tu peux être créatif sans être verbeux. »
L'astuce du « Petit Professeur » :
Les chercheurs ont découvert quelque chose de surprenant. Un modèle d'IA plus petit et moins cher (comme un modèle de 7 milliards de paramètres) peut agir comme un « professeur de diversité » pour un modèle beaucoup plus grand et coûteux (comme un modèle de 13 milliards de paramètres).
- Analogie : Imaginez un petit artiste local et combatif enseignant à un grand studio de production célèbre comment peindre de manière plus unique. Le petit artiste sait comment briser les règles de façon créative, et le grand studio apprend de lui. Cela permet d'économiser beaucoup d'argent et de puissance de calcul.

Les Résultats : Plus de Saveur, Même Taille

Les chercheurs ont testé cela sur quatre tâches créatives différentes :

Associations Divergentes : Lister des mots qui sont très différents les uns des autres.
Génération de Personas : Créer des profils de personnages uniques (noms, métiers, villes).
Usages Alternatifs : Penser à des manières étranges d'utiliser un objet commun (comme une brique).
Écriture Créative : Écrire des histoires courtes en utilisant trois mots aléatoires.

Qu'est-ce qui s'est passé ?

Plus de Variété : Les modèles entraînés avec « Diverse, not Short » ont produit des résultats beaucoup plus variés et intéressants. Ils utilisent des mots et des idées plus uniques.
Pas de Perte de Qualité : Habituellement, quand on rend les choses plus diverses, elles perdent en qualité (comme une histoire désordonnée et chaotique). Mais ici, la qualité est restée élevée. Dans certains cas, elle s'est même améliorée.
Efficacité : Ils n'ont eu besoin que de 3 000 exemples pour enseigner cette nouvelle compétence au modèle. C'est comme enseigner à un étudiant pendant quelques heures au lieu de plusieurs années.

Le Nouvel Outil : Le « Décile de Diversité »

Les auteurs ont également réalisé que les anciens outils de mesure de la créativité étaient injustes envers les réponses longues. Ils ont donc inventé une nouvelle règle appelée Décile de Diversité (Diversity Decile).

L'Analogie : Imaginez une course. L'ancienne règle mesurait simplement votre vitesse, mais elle ignorait le fait que certains coureurs avaient des sacs à dos lourds (texte long) et d'autres non (texte court).
La Nouvelle Règle : Le « Décile de Diversité » regarde à quelle vitesse vous avez couru par rapport aux autres coureurs ayant le même sac à dos. Il demande : « Est-ce que cette longue histoire est plus créative que les autres histoires longues ? » Cela garantit que les réponses longues et expressives reçoivent le crédit qu'elles méritent.

Résumé

L'article soutient que les modèles d'IA sont devenus trop courts et répétitifs parce que la façon dont nous mesurons la « créativité » récompense accidentellement la brièveté.

En utilisant une stratégie appelée Diverse, not Short, les auteurs ont appris aux modèles à être créatifs sans allonger leurs réponses. Ils y sont parvenus en :

Comparant un brouillon ennuyeux à un brouillon créatif de même longueur.
Utilisant une IA plus petite et moins chère pour enseigner à une IA plus grande comment être diversifiée.
Créant une nouvelle règle plus juste pour mesurer la créativité qui ne pénalise pas les réponses longues.

Le résultat est une IA plus expressive, plus créative et toujours de haute qualité, tout en étant moins coûteuse et plus rapide à entraîner.

Résumé Technique : Diverse, not Short (Diverse-NS)

Problématique

Bien que les techniques d'alignement (ajustement des instructions et optimisation des préférences) aient rendu les grands modèles de langage (LLM) plus sûrs et plus utiles, elles réduisent souvent par inadvertance la diversité des sorties du modèle. Cette réduction de la diversité entrave l'idéation créative, augmente l'homogénéité des résultats et peut conduire à un « effondrement du modèle » (model collapse) lorsque les modèles sont entraînés de manière répétée sur leurs propres sorties alignées.

Un facteur de confusion critique, et souvent négligé, dans ce problème est la longueur du texte. L'article soutient que les métriques de diversité standard (par exemple, l'entropie, le ratio type-token) et même les modèles de récompense utilisés pour l'optimisation des préférences (comme ArmoRM) présentent un biais systématique en faveur des sorties courtes. Comme ces métriques attribuent souvent des scores plus élevés aux passages courts, l'optimisation pour celles-ci encourage les modèles à être concis plutôt qu'expressifs. Ce « biais de brièveté » mine la créativité même que ces modèles sont censés cultiver, particulièrement dans les tâches ouvertes où la profondeur et la nuance sont requises.

Méthodologie : Diverse, not Short (Diverse-NS)

Les auteurs proposent Diverse, not Short (Diverse-NS), une stratégie de sélection de données contrôlée par la longueur, conçue pour améliorer la diversité des réponses tout en maintenant la parité de longueur entre les réponses préférées et rejetées. Le cadre fonctionne au sein d'une boucle d'auto-apprentissage comprenant trois étapes principales :

1. Génération de données

Les auteurs utilisent une tâche d'écriture créative (générer des histoires de 5 phrases contenant trois mots spécifiques) pour susciter des réponses diverses.

Prompting séquentiel : Au lieu d'une inférence unique, le processus utilise deux étapes. D'abord, le modèle génère une réponse naturelle ( $r_1$ ). Ensuite, le modèle est incité à rédiger à nouveau l'histoire avec des contraintes supplémentaires visant à réduire la répétition et à augmenter la diversité, générant une seconde réponse ( $r_2$ ).
Échelle : Ce processus génère 200 000 tuples de (prompt, $r_1$ , $r_2$ ) pour LLaMA-3.1-8B et Olmo-2-7B.

2. Filtrage des données (L'innovation centrale)

Pour créer des paires de préférences de haute qualité pour la DPO (Direct Preference Optimization), les auteurs filtrent les données générées selon quatre critères stricts appliqués dans l'ordre :

Seuil de qualité : La qualité de $r_2$ doit être supérieure ou égale au 50e percentile de tous les scores de qualité de $r_1$ .
Amélioration de la qualité : La qualité de $r_2$ doit être strictement supérieure à celle de $r_1$ .
Amélioration de la diversité : La diversité de $r_2$ doit être strictement supérieure à celle de $r_1$ .
Parité de longueur : La différence absolue de nombre de mots entre $r_1$ et $r_2$ doit être au plus de cinq mots.

Cette contrainte de longueur est cruciale pour empêcher la sélection de réponses diverses plus courtes et plus « faciles ».

Métriques : La méthode principale utilise l'Entropie pour la diversité et les scores ArmoRM pour la qualité.
Diverse-NS-Lite : Pour réduire le coût computationnel (car le calcul de l'entropie et d'ArmoRM nécessite plusieurs passages d'inférence), les auteurs introduisent une variante plus légère. Celle-ci remplace l'Entropie par le Ratio Type-Token (TTR) et ArmoRM par l'indice MAAS, qui a montré la plus forte corrélation avec les métriques originales dans leur analyse.

3. Ajustement de préférence (Preference Tuning)

Le jeu de données filtré est limité à 3 000 paires de préférences (sélectionnées par tri sur le gain d'entropie) pour affiner le modèle de base via la DPO. Les auteurs exploreent également le transfert « petit-vers-grand », utilisant des données générées par un modèle plus petit (Olmo-7B) pour entraîner un modèle plus grand (Olmo-13B).

4. Évaluation ajustée à la longueur

Pour traiter le biais d'évaluation, les auteurs introduisent le $\Delta$ Diversity Decile ( $\Delta$ DD).

Ils construisent une carte de déciles basée sur 800 000 histoires, regroupant les réponses par nombre de mots et calculant les seuils de diversité pour chaque longueur.
Lors de l'évaluation, une nouvelle réponse se voit attribuer un rang de décile basé sur sa longueur et son score de diversité par rapport à la carte.
Le $\Delta$ DD est calculé comme la différence entre le score de décile du modèle ajusté et celui du modèle de base, garantissant que les gains de diversité ne sont pas simplement des artefacts d'une augmentation de la longueur.

Contributions clés

Stratégie Diverse-NS : Une méthode de sélection de données qui améliore significativement la diversité des réponses pour LLaMA-3.1-8B et Olmo-2-7B en utilisant seulement 3 000 paires de préférences, en contrôlant explicitement le biais de longueur.
Diverse-NS-Lite : Une variante efficace en termes de calcul utilisant des métriques de substitution (TTR et MAAS) qui atteint des performances comparables à la méthode complète tout en réduisant drastiquement les coûts de filtrage.
Transfert Petit-vers-Grand : La preuve que des modèles plus petits (ex. Olmo-2-7B) peuvent servir de « professeurs de diversité » efficaces pour des modèles plus grands (ex. Olmo-2-13B), permettant un alignement de la diversité à faible coût.
Métrique contrôlée par la longueur : L'introduction du Diversity Decile, une métrique qui ajuste les scores de diversité en fonction de la longueur du texte pour prévenir le biais de brièveté lors de l'évaluation.
Publication de jeu de données : Un jeu de données de haute qualité de 6 000 paires de préférences générées à partir de LLaMA-3.1-8B et Olmo-2-7B.

Résultats

Les auteurs ont évalué la méthode sur quatre tâches de génération créative : Associations Divergentes (DAT), Génération de Personas (PGT), Usages Alternatifs (AUT) et Écriture Créative (CWT).

Gains de diversité : Diverse-NS et Diverse-NS-Lite ont systématiquement surpassé les modèles de base et la ligne de base DivPO (une méthode récente qui ne contrôle pas la longueur) à travers toutes les tâches et toutes les tailles de modèles.
- Dans les tâches DAT et PGT, les méthodes ont produit nettement plus de mots uniques, de noms, de villes et de professions.
- Dans CWT, Diverse-NS a obtenu les scores de Divergence de l'Intégration Sémantique (DSI) et de diversité des 4-grammes les plus élevés.
Signification statistique : Des tests t indépendants ont confirmé que D-NS et D-NS-Lite produisent des réponses nettement plus diverses que le modèle de base et DivPO (p < 0,001 pour D-NS vs Base). La différence entre D-NS et D-NS-Lite n'était pas statistiquement significative, validant l'efficacité de la version Lite.
Préservation de la qualité : Bien que la diversité et la qualité fassent souvent l'objet d'un arbitrage, Diverse-NS a maintenu ou légèrement amélioré la qualité (mesurée par ArmoRM) dans plusieurs cas (ex. Olmo-7B et Olmo-13B). Dans les cas où la qualité a légèrement chuté, les valeurs absolues de diversité dépassaient toujours celles du modèle de base, et l'évaluation humaine a confirmé que les gains de diversité étaient perceptibles et préférés.
Évaluation humaine : Dans les comparaisons par paires sur CWT, les annotateurs humains ont préféré D-NS au modèle de base et à DivPO dans la majorité des cas (taux de victoire allant jusqu'à 72,73 % contre DivPO).

Signification et Revendications

L'article affirme qu'en traitant explicitement le biais de longueur inhérent tant à la sélection des données d'entraînement qu'aux métriques de diversité, Diverse-NS offre une solution pratique et évolutive pour booster la diversité des LLM alignés sans sacrifier la qualité.

Efficacité : La méthode réalise des améliorations substantielles avec un très petit jeu de données (3k paires) et un temps d'entraînement minimal (moins de deux heures sur un seul GPU).
Accessibilité : En démontrant que des modèles plus petits peuvent agir comme des professeurs de diversité et en proposant une variante de filtrage légère, ce travail abaisse la barrière des ressources pour l'alignement axé sur la diversité.
Changement Fondamental : Les auteurs soutiennent que les échecs précédents à améliorer la diversité peuvent provenir du biais de brièveté non traité des métriques. Leur travail pose les bases d'une génération de langage plus expressive en découplant la diversité de la brièveté.

Les auteurs notent modestement les limites, notamment le recours à une seule métrique de diversité pour le filtrage, la focalisation sur une seule tâche (écriture d'histoires) et l'étude d'un seul cycle d'auto-apprentissage. Ils suggèrent que les travaux futurs devraient explorer l'optimisation multi-métrique et l'auto-apprentissage multi-cycles.