🤖 machine learning

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization

Cet article introduit l'entraînement multi-réponses (Multi-Response Training, MRT) comme une alternative statistiquement fondée au réglage fin standard à réponse unique, démontrant que la conservation de plusieurs complétions valides par invite améliore la généralisation des modèles de langage en capturant mieux les distributions de sortie conditionnelles et en évitant la « loterie du mode » grâce à un compromis de budget de variance et des stratégies de sélection de réponses optimales fondés sur des principes.

Auteurs originaux : Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

Publié 2026-06-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant comment écrire une histoire. Dans l'ancienne méthode (ce que le papier appelle l'Entraînement à Réponse Unique ou Single-Response Training), vous donnez à l'étudiant une consigne comme « Écris une histoire sur un chat » et vous lui montrez un seul exemple d'une bonne histoire. Vous lui dites : « Voici la réponse. »

Le problème est qu'il n'y a pas qu'une seule bonne réponse. Vous pourriez écrire une histoire drôle, une histoire triste, un mystère ou une aventure de science-fiction. En ne montrant qu'une seule version, vous jouez à la « Loterie du Mode » (Mode Lottery). Vous dites essentiellement : « Nous avons eu de la chance que cette histoire spécifique soit celle que nous avons choisie de vous montrer. » Si l'étudiant ne voit qu'un seul type d'histoire, il pourrait penser que c'est la seule façon d'écrire sur un chat, passant ainsi à côté de toutes les autres possibilités créatives valides.

Ce document propose une nouvelle façon d'enseigner appelée Entraînement à Réponses Multiples (MRT - Multi-Response Training). Au lieu de montrer une seule histoire, vous montrez à l'étudiant plusieurs histoires différentes, mais toutes aussi bonnes les unes que les autres, pour la même consigne.

Voici la décomposition des idées principales du document en utilisant des analogies simples :

1. Les deux types de « Questions »

Les auteurs font une distinction cruciale entre deux choses :

Les Prompts (Les Questions) : Ce sont les différents sujets sur lesquels vous interrogez (ex. : « Écris un poème », « Répare ce code », « Planifie un voyage »).
Les Réponses (Les Réponses) : Ce sont les différentes façons de répondre à la même question.

L'analogie : Imaginez que vous êtes un chef cuisinier.

Les Nouveaux Prompts sont comme recevoir de nouveaux ingrédients (un nouveau légume, une nouvelle épice). Cela vous apprend la variété du monde.
Les Nouvelles Réponses sont comme voir différentes recettes pour le même ingrédient (ex. : 5 façons différentes de cuisiner une pomme de terre). Cela vous enseigne la profondeur d'un seul sujet.

Le document soutient que si vous avez beaucoup de différents ingrédients (prompts) mais qu'il n'y a qu'une seule recette pour chacun, vous n'apprenez pas tout le potentiel de la cuisine. Vous devez voir plusieurs recettes pour la même pomme de terre pour comprendre la « distribution conditionnelle » (toutes les façons de cuisiner une pomme de terre).

2. La loi du « Budget de Variance » (Quand montrer plus de réponses)

Vous pourriez penser : « Pourquoi ne pas simplement montrer 100 réponses pour chaque question ? » Le document répond : Non, c'est un gaspillage d'argent.

Ils introduisent le concept de « Budget de Variance ». Pensez à votre budget d'entraînement comme à un budget de courses alimentaires.

Les Prompts sont coûteux : Écrire une nouvelle question unique demande de l'effort humain, du temps et de l'argent.
Les Réponses sont peu coûteuses : Une fois que vous avez une question, un ordinateur peut générer 50 réponses différentes pour elle très rapidement et à moindre coût.

La règle :

Si les réponses pour une seule question sont toutes très similaires (faible diversité), en montrer davantage n'aide pas beaucoup. C'est comme montrer 50 photos du même chat ; vous n'apprenez rien de nouveau.
Si les réponses sont très différentes (haute diversité), en montrer davantage est une victoire majeure. C'est comme montrer 50 façons différentes de cuisiner une pomme de terre ; vous apprenez beaucoup.

Le document donne une formule simple pour déterminer exactement combien de réponses ( $K$ ) vous devriez garder. Elle dépend de :

À quel point les réponses sont différentes les unes des autres.
De l'aspect coûteux ou non d'obtenir de nouvelles questions par rapport aux nouvelles réponses.

Le point d'équilibre : Si les réponses sont peu coûteuses et diverses, et que les questions sont coûteuses, vous devriez garder beaucoup de réponses par question. Si les réponses sont toutes identiques, n'en gardez qu'une seule.

3. Le piège de la « Loterie du Mode »

Le document met en garde contre le fait que si vous choisissez seulement la « meilleure » réponse basée sur un score (comme un système de récompense), vous pourriez accidentellement ruiner le modèle.

L'analogie : Imaginez un professeur qui ne montre à l'étudiant que la rédaction qui a obtenu un « A+ ».

Le Piège : L'étudiant apprend qu'il n'y a qu'une seule façon d'obtenir un A+. Il cesse d'essayer d'être créatif ou d'explorer d'autres façons valides d'écrire. Il « s'effondre » (collapse) pour ne plus copier que ce style unique.
La Solution du Document :
- Sélection Aléatoire (Le Pari Sûr) : Choisissez simplement $K$ réponses au hasard. C'est impartial et cela enseigne au modèle toute la gamme des possibilités.
- Sélection par Récompense (Le Pari Risqué) : Choisir uniquement les réponses ayant les scores les plus élevés. Cela mène souvent au problème de la « Loterie du Mode » où le modèle oublie toutes les autres façons valides de répondre.
- La Méthode « GRADES » : Un juste milieu intelligent. Elle choisit des réponses qui sont à la fois de haute qualité et différentes les unes des autres, garantissant que le modèle voit un ensemble diversifié de bonnes options sans s'effondrer dans un seul style.

4. Le raccourci « Implicite »

Le document a également remarqué quelque chose d'intéressant concernant les jeux de données massifs. Parfois, vous n'avez pas besoin de montrer explicitement plusieurs réponses pour un même prompt. Si vous avez une liste massive de questions, beaucoup d'entre elles sont des versions reformulées de la même question (ex. : « Comment réparer une fuite ? » vs « Mon évier fuit, aidez-moi ! »).

L'analogie : Si vous avez 100 personnes différentes qui vous demandent comment nouer une chaussure, et que vous ne donnez à chacune qu'une seule réponse, mais que les questions sont légèrement différentes, le modèle peut quand même apprendre les « multiples façons » de nouer une chaussure simplement en voyant toutes ces questions légèrement différentes. C'est ce qu'on appelle l'Entraînement Multi-Réponse Implicite. Cependant, le document précise que cela ne fonctionne que si les questions sont réellement différentes. Si les questions sont de simples copier-coller les unes des autres, cela n'aide pas.

Résumé : Que faut-il faire ?

Le document conclut par un guide simple pour toute personne entraînant des modèles d'IA :

Ne vous contentez pas de jeter plus de données sur le problème. Il ne s'agit pas du nombre de mots, mais de la variété des réponses.
Vérifiez la diversité. Si vos questions ont de nombreuses réponses valides différentes, arrêtez de n'en montrer qu'une seule. Montrez-en 2, 4 ou 8.
Surveillez votre budget. Si obtenir de nouvelles questions est difficile/coûteux, mais que générer des réponses est facile/peu coûteux, misez lourdement sur la présentation de plusieurs réponses par question.
Choisissez vos réponses avec soin. Si vous voulez que l'IA comprenne toute la gamme du langage humain, choisissez vos réponses de manière aléatoire ou assurez-vous qu'elles sont diverses. Si vous ne choisissez que les réponses ayant la « récompense la plus élevée », vous pourriez accidentellement apprendre à l'IA à être étroite et répétitive.

En bref : Le MRT échappe à la « Loterie du Mode » en enseignant à l'IA que pour beaucoup de questions, il n'y a pas une seule réponse « correcte », mais plutôt tout un spectre de réponses valides.

Résumé technique : Échapper à la loterie des modes : l'entraînement multi-réponses améliore la généralisation des modèles de langage

Énoncé du problème

Le réglage fin (fine-tuning) des modèles de langage modernes respecte généralement une convention consistant à associer un prompt unique à une réponse unique. Bien que cette approche soit adaptée aux tâches de classification, elle est mal adaptée à la génération ouverte où les prompts admettent souvent plusieurs complétions valides (par exemple, « écrivez une fonction qui trie une liste »). En s'entraînant sur une seule réponse par prompt, le modèle est exposé à une tranche étroite d'une distribution conditionnelle multimodale. Les auteurs nomment ce phénomène la « loterie des modes », où les données d'entraînement peuvent accentuer de manière répétée un sous-ensemble de modes plausibles (souvent les plus communs, les plus faciles à générer ou les plus récompensés) tout en laissant d'autres modes valides et précieux statistiquement invisibles.

Les pipelines existants génèrent souvent plusieurs candidats mais sélectionnent une seule « meilleure » réponse pour l'entraînement (par exemple, via la maximisation de la récompense). Cet article soutient que le domaine manque d'un compte rendu principled sur quand la rétention de multiples réponses est bénéfique, combien de gain peut être attendu, et quelles réponses devraient être conservées.

Méthodologie et cadre théorique

L'article formalise l'Entraînement Multi-Réponses (MRT) comme un entraînement sur $K > 1$ réponses par prompt, contrastant avec l'Entraînement Standard à Réponse Unique (SRT, où $K=1$ ). L'intuition théorique centrale est que les prompts et les réponses sont des ressources statistiques distinctes :

Des prompts supplémentaires réduisent l'incertitude concernant la distribution marginale des entrées ( $P(x)$ ).
Des réponses supplémentaires au même prompt réduisent l'incertitude concernant la distribution de sortie conditionnelle ( $P(y|x)$ ).

1. Loi de la variance-budget

Les auteurs dérivent une décomposition structurelle de la variance de l'estimateur empirique. Pour un modèle $\theta$ fixé, la variance de l'estimateur MRT se décompose comme suit :
$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$
Où :

$V_x$ est la variance inter-prompts (incertitude sur la distribution des entrées).
$V_{y|x}$ est la variance attendue intra-prompt (incertitude sur la distribution de sortie conditionnelle).
$N_p$ est le nombre de prompts distincts.
$K$ est le nombre de réponses par prompt.

Cette décomposition révèle un « plancher de prompt » : augmenter $K$ réduit le second terme mais ne peut pas réduire le premier terme ( $V_x/N_p$ ). Par conséquent, le MRT offre des rendements décroissants une fois que l'incertitude au niveau du prompt devient dominante.

En introduisant des coûts d'acquisition ( $C_p$ pour les prompts, $C_r$ pour les réponses) et un budget fixe $B = N_p(C_p + K C_r)$ , les auteurs dérivent la multiplicité optimale tenant compte du coût $K^\star$ :
$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$
Cette règle suggère que le MRT est particulièrement précieux lorsque les réponses sont peu coûteuses, les prompts sont chers, et la distribution de réponse conditionnelle est hautement diversifiée (ratio $V_{y|x}/V_x$ élevé).

2. Bornes de généralisation

L'article fournit deux bornes de généralisation complémentaires pour quantifier les gains potentiels :

Borne de Bernstein : Montre que pour un modèle fixé, l'augmentation de $K$ réduit la borne d'erreur de généralisation par un facteur dépendant de $V_{y|x}/K$ , tandis que le terme au niveau du prompt reste inchangé.
Borne de Rademacher hiérarchique : Aborde la structure non i.i.d. des données MRT (prompts répétés). Elle prouve qu'en dépit de la structure hiérarchique, la complexité au niveau de la réponse évolue avec le nombre total de paires prompt-réponse ( $N_p K$ ) plutôt qu'avec seulement $K$ , à condition que la suprématie sur la classe de modèles soit gérée correctement. Cela certifie que les gains du MRT survivent à la sélection de modèles.

3. Sélection de réponses sensible à la cible

L'article analyse comment différentes stratégies de sélection modifient la cible d'entraînement :

Random-K-of-N (RKoN) : Échantillonne $K$ réponses uniformément au hasard. C'est l'option par défaut non biaisée pour le réglage de la distribution, préservant la distribution des candidats et réduisant la variance du gradient à un taux de $1/K$ .
Best-K-of-N (BKoN) : Sélectionne les réponses basées sur des scores de récompense. Les auteurs montrent que cela induit un biais persistant de queue supérieure. À mesure que le pool de candidats croît, le BKoN concentre l'entraînement sur le mode dominant de la récompense, risquant de faire s'effondrer les modes valides et de désaligner les gradients avec l'objectif de distribution réel.
GRADES (Greedy Reward-Aware DiversE Subsetting) : Une approche d'optimisation sous-modulaire qui équilibre qualité et diversité. Elle offre une garantie d'approximation de $(1 - 1/e)$ pour la rétention d'un équilibre entre réponses de haute qualité et diversifiées, agissant comme un proxy pratique pour l'échantillonnage stratifié.

Résultats expérimentaux

Les auteurs valident leur théorie via des simulations contrôlées et un réglage fin de LLM à grande échelle dans quatre domaines : le respect des instructions (Gold), le dialogue (Nectar), l'alignement des préférences (UltraFeedback) et la génération de code (CodeContests).

Décomposition de la variance : Les simulations contrôlées ont confirmé que l'augmentation de $K$ ne réduit que la composante de variance intra-prompt, approchant asymptotiquement le plancher de prompt prédit.
Multiplicité optimale : Sous un budget fixe, la performance de test a suivi une courbe en U, avec un minimum se situant près du $K^\star$ prédit. Les jeux de données présentant une grande variabilité des réponses par rapport à la variabilité des prompts (ex: CodeContests) ont montré les gains les plus importants via le MRT, tandis que les jeux de données riches en prompts (ex: Nectar) ont montré des améliorations moindres.
Impact du sélecteur :
- RKoN a systématiquement amélioré la perte de référence (ajustement à la distribution conditionnelle) et la couverture à mesure que $K$ augmentait.
- BKoN a obtenu des scores de récompense plus élevés mais a souffert d'une plus faible diversité et d'une moins bonne vraisemblance de référence, confirmant le décalage de cible.
- GRADES/DBKoN (Diverse-Best-K-of-N) a réussi à équilibrer qualité et couverture, surpassant la sélection purement basée sur la diversité ou la récompense dans les métriques de couverture de référence.
MRT implicite : Les expériences avec la redondance de prompts (paraphrases) ont démontré que des corpus hautement redondants peuvent imiter les effets du MRT si les paraphrases exposent des modes conditionnels distincts. Cependant, si les paraphrases sont couplées à des réponses quasi identiques, le bénéfice est négligeable.

Signification et affirmations

L'article recadre la multiplicité des réponses non pas comme une heuristique, mais comme un problème d'allocation de données doté d'un guidage statistique clair. Ses principales affirmations sont :

Valeur dépendante du contexte : Le MRT n'est pas universellement supérieur ; sa valeur dépend du ratio entre la variance intra-prompt et la variance inter-prompt, ainsi que des coûts relatifs d'acquisition des données.
Fondement statistique : Lorsque les réponses sont peu coûteuses et diversifiées, et que les prompts sont chers, la rétention de multiples réponses est un choix statistiquement fondé qui échappe à la « loterie des modes » en s'entraînant sur une plus grande partie de la structure conditionnelle.
La sélection est cruciale : Le choix du sélecteur est critique. Si un sélecteur basé sur la récompense optimise un métrique spécifique, il peut provoquer l'effondrement de modes valides. Pour la généralisation distributionnelle, une sélection non biaisée (RKoN) ou une sélection sensible à la diversité (GRADES) est nécessaire pour préserver la structure conditionnelle.
Implicite vs Explicite : De grands corpus redondants peuvent fournir un effet de « MRT implicite », mais le MRT explicite est plus bénéfique dans les régimes de faible redondance où chaque prompt couvre une région distincte de la distribution de la tâche.

Les auteurs concluent que le MRT offre un moyen rigoureux de décider quand la multiplicité des réponses vaut la peine d'être investie, dépassant la convention « un prompt, une réponse » pour mieux modéliser la nature multimodale de la génération ouverte.