💬 NLP

The One-Word Census: Answer-Choice Conformity Across 44 Language Models

Cet article présente le « One-Word Census », un instrument minimal utilisant 31 amorces d'un seul mot pour révéler que, si 44 modèles de langage présentent une convergence extrême sur des réponses spécifiques (par exemple, « serendipity » 41 % du temps), le degré de conformité varie considérablement selon la lignée et le réglage du modèle, les nouveaux modèles phares étant généralement plus conformistes que les modèles ajustés sur des personas.

Auteurs originaux : Tapan Parikh

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tapan Parikh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entriez dans une pièce avec 44 robots différents, chacun provenant d'une usine différente et construit au cours des cinq dernières années. Vous leur donnez à tous un morceau de papier sur lequel est écrit : « Nommez un arbre. Un seul mot. »

Vous pourriez vous attendre à une explosion chaotique de réponses : chêne, érable, pin, saule, baobab, séquoia. Mais quand les robots parlent, le silence s'installe dans la pièce. Presque tous les robots disent « chêne ». En fait, 94 % d'entre eux disent « chêne ».

Si vous demandez un outil, 94 % disent « marteau ». Si vous demandez une fleur, 91 % disent « rose ». Si vous demandez un légume, 90 % disent « carotte ».

Ce n'est pas un bug ; c'est un schéma. Ce papier, appelé « Le Recensement d'un Mot » (The One-Word Census), est comme un appel nominal géant pour voir à quel point ces 44 modèles de langage recopient les devoirs les uns des autres. Les chercheurs ont découvert que lorsque ces cerveaux d'IA doivent choisir une réponse parmi une immense liste de possibilités, ils ne choisissent pas seulement une réponse — ils choisissent tous la même réponse, encore et encore.

Le vainqueur est le plus « fade »

Voici la partie étrange : la réponse qu'ils choisissent n'est pas toujours la chose la plus courante dans le monde réel. C'est la réponse « sans friction » — celle qui semble la plus sûre et la plus évidente.

Par exemple, si vous demandez un fruit, les modèles disent presque toujours « pomme ». Mais si vous demandez un légume, ils disent « carotte ». Pourquoi pas « tomate » ? Eh bien, les tomates sont botaniquement des fruits, donc les modèles s'embrouillent et les évitent complètement. Pourquoi pas « orange » ? Peut-être parce qu'« orange » est aussi une couleur, et que les modèles détestent mélanger les choses. Ils sont programmés pour éviter tout ce qui ressemble à un piège ou à un débat. Ils veulent la réponse qui est 100 % correcte et 0 % controversée.

Même lorsque vous ne leur donnez aucune règle et que vous dites simplement : « Choisissez n'importe quel mot de la langue anglaise », la pièce ne se remplit pas de mots aléatoires. Au lieu de cela, 41 % des robots lancent tous le même mot : « serendipity » (sérendipité). C'est comme s'ils avaient tous lu le même dictionnaire et avaient décidé que c'était le mot le plus intéressant à choisir.

Les modèles « Héritage » contre les modèles « Usine »

Les chercheurs n'ont pas seulement compté les réponses ; ils ont évalué les robots selon leur degré de « conformisme ». Voyez cela comme un test où l'on gagne des points pour être unique.

Les Conformistes (Les Modèles d'Usine) : Les modèles les plus récents, les plus puissants, issus des plus grands laboratoires (comme les dernières versions de GPT et Claude) sont les plus ennuyeux. Ils sont si bien élevés qu'ils ne disent presque jamais rien que les autres robots n'aient déjà dit. Si vous leur demandez un condiment, ils diront « ketchup » à chaque fois. Ils sont tellement alignés sur le groupe qu'ils n'ont aucune « nouveauté ».
Les Rebelles (Les Modèles Héritage) : À l'autre extrémité de l'échelle, il y a des modèles plus anciens ou ajustés par la communauté (comme « Hermes » ou « WizardLM »). Ce sont les modèles « héritage » — comme des légumes rares que les agriculteurs ont cessé de cultiver parce qu'ils n'étaient pas assez uniformes. Ces modèles sont plus susceptibles de dire « gouda » quand tout le monde dit « cheddar », ou « moutarde » quand tout le monde dit « ketchup ». Ce sont les seuls qui parviennent parfois à briser le sort.

Le papier suggère qu'à mesure que ces modèles deviennent plus récents et passent par plus de « post-entraînement » (où les humains leur apprennent à être utiles et sûrs), ils deviennent plus ennuyeux, et non l'inverse. C'est comme une usine qui fabriquait autrefois des jouets légèrement différents mais qui fabrique maintenant exactement le même jouet dans toutes les couleurs.

Le club des « Second Choix »

Voici le rebondissement le plus surprenant : même lorsqu'un modèle décide de ne pas donner la réponse la plus populaire, il ne part pas dans tous les sens. Il choisit presque toujours la deuxième réponse la plus populaire.

Si la foule dit « ketchup », les rebelles disent « moutarde » 95 % du temps. Si la foule dit « carotte », les rebelles disent « brocoli » 83 % du temps. Même les rebelles suivent un script. Ils n'explorent pas les recoins profonds et étranges du dictionnaire ; ils choisissent simplement la chose la plus évidente suivante.

Comment cela se compare-t-il aux humains ?

Les chercheurs ont comparé ces robots à de vrais humains qui ont passé des tests similaires il y a des années. La différence est énorme.

Humains : Lorsqu'on leur demandait un arbre, les humains donnaাit une grande variété de réponses. La réponse la plus populaire (« chêne ») n'était choisie que par 31 % des gens.
Robots : Les robots ont choisi « chêne » 94 % du temps.

Les robots sont deux fois plus concentrés que les humains. Ils sont moins diversifiés qu'un groupe de personnes. Le papier suggère que cela est dû au fait que les robots sont entraînés sur des données qui sont déjà remplies des réponses d'autres robots, créant une boucle où ils continuent de copier les mêmes idées sûres et fades.

Ce que cela signifie (et ce que cela ne signifie pas)

Le papier ne dit pas que les robots sont « cassés » ou qu'ils ne peuvent pas penser. Il montre simplement que lorsqu'ils sont forcés de faire un choix unique, ils marchent tous au même pas.

Ce qui est prouvé : Les robots convergent vers les mêmes réponses. Les modèles les plus récents sont les plus conformistes. Les modèles « héritage » sont les plus divergents.
Ce qui est suggéré mais non prouvé : Le papier soupçonne que cela est dû à la manière dont les modèles sont entraînés (spécifiquement, la phase de « post-entraînement » où ils sont ajustés pour être utiles). Il suggère également que si nous continuons à entraîner les robots sur des données écrites par des robots, ils pourraient perdre totalement leur capacité de création, comme une photo qui est copiée et recopiée jusqu'à devenir floue.
Ce qui est exclu : Le papier exclut l'idée que cela soit simplement parce que les robots sont « stupides » ou manquent de connaissances. Ils connaissent les « tomates » et les « oranges », mais ils choisissent de ne pas les dire. Il exclut également l'idée que leur demander d'être « inhabituels » règle le problème ; si vous demandez un « fruit inhabituel », ils choisissent simplement le fruit inhabituel le plus commun (comme le « durian ») et disent tous cela à la place.

En bref, si vous demandez à 44 modèles d'IA de choisir un mot, vous n'obtiendrez pas 44 idées différentes. Vous obtiendrez une idée, répétée 44 fois, avec quelques rebelles choisissant l'idée la plus commune après la première. La « magie » de la diversité de l'IA se cache actuellement dans les laboratoires d'entraînement, et non dans les réponses que nous recevons.

Résumé technique : Le Recensement d'un seul mot

Énoncé du problème
Le document traite du phénomène de « généricité » dans l'IA conversationnelle, à savoir la tendance des modèles de langage (LM) à converger vers des réponses identiques lorsqu'ils sont confrontés à un vaste espace d'options également valides. Bien que la littérature antérieure ait documenté que les modèles produisent des sorties homogènes et que cette convergence est exacerbée par le post-entraînement (RLHF) et l'entraînement récursif sur des données synthétiques, il manquait un instrument peu coûteux, mécanique et propre à chaque modèle pour quantifier cette conformité. Les métriques de diversité existantes confondent souvent la forme et le contenu ou reposent sur des juges LLM et des plongements lexicaux (embeddings) coûteux. Le document cherche à mesurer le degré auquel des modèles indépendants s'effondrent sur une même réponse « modale » et à caractériser la structure de cette convergence à travers un panel diversifié de modèles.

Méthodologie : Le Recensement d'un seul mot
Les auteurs introduisent un instrument minimal composé de 31 invites (prompts) à un seul tour. Trente invites demandent au modèle de nommer une catégorie spécifique (ex. : « Nommez un arbre », « Nommez un condiment ») avec la contrainte « Répondez par un seul mot uniquement ». La 31e invite supprime la contrainte de catégorie (« Choisissez un mot »).

Panel : 44 modèles couvrant cinq années de sorties et plus d'une douzaine de laboratoires (incluant des laboratoires de pointe américains, des laboratoires chinois, des modèles d'entreprise et des modèles ouverts ajustés selon des personas) ont été interrogés via OpenRouter en juillet 2026.
Échantillonnage : Chaque modèle a été interrogé quatre fois par invite à une température demandée de 1,0.
Traitement des données : Les réponses sont normalisées en un seul jeton (token) (mise en minuscule, suppression de la ponctuation/emoji, réduction au dernier mot alphabétique). La validité est imposée via un « garde-fou de rebut » (junk guard) qui filtre les artefacts de chat, les réponses longues et les simples accusés de réception.
Métrique : La métrique principale est la Surprise du choix de réponse (Answer-Choice Surprisal). Pour un modèle $m$ $m$ et une catégorie $c$ $c$ , la surprise d'une réponse $a$ $a$ est calculée comme le logarithme négatif de la probabilité de cette réponse sous la distribution agrégée de tous les autres modèles (leave-one-out), avec un lissage de type « add-one ».
- $s(a) = -\log_2 \frac{\text{count}_{F_{-m,c}}(a) + 1}{|F_{-m,c}| + V_c}$
- Le score principal d'un modèle est la moyenne de la surprise sur l'ensemble de ses réponses valides. Des scores plus bas indiquent une plus grande conformité (prévisibilité par le domaine) ; des scores plus élevés indiquent une divergence.
Statistiques compagnes : L'étude suit également l'« évitement du mode » (fraction des réponses différant du mode du groupe), le « taux de nouveauté » (fraction de réponses uniques au modèle) et la « distinction propre » (dispersion interne des réponses).

Résultats clés

Convergence extrême : Le domaine présente un « mode sans friction » où une réponse unique domine. Dans 7 des 31 catégories, la réponse modale représente plus de 80 % de toutes les réponses (ex. : « chêne » pour les arbres à 94 %, « marteau » pour les outils à 94 %). Même dans l'invite non contrainte « Choisissez un mot », « sérendipité » a capturé 41 % du groupe.
Variation structurée de la conformité : La conformité varie considérablement selon les modèles (1,05 à 3,21 bits).
- Les plus divergents : Les modèles légèrement post-entraînés, ajustés selon des personas et maintenus par la communauté (ex. : Hermes 4, WizardLM-2) présentent la plus grande divergence.
- Les plus conformistes : Les nouveaux modèles phares principaux (ex. : Claude Sonnet 5, GPT-5) sont les plus conformistes, produisant souvent zéro réponse qu'aucun autre modèle n'a produite.
Trajectoires générationnelles : Au sein des lignées majeures (Claude, GPT, Qwen, Grok), les sorties ultérieures tendent généralement vers une plus grande conformité. Cependant, un renversement est observé dans les derniers modèles phares : GPT-5.6 et Claude Fable 5 montrent une divergence accrue par rapport à leurs prédécesseurs immédiats, suggérant un repositionnement au sommet de la hiérarchie.
Le consensus du second choix : La divergence n'est pas aléatoire. Lorsque les modèles évitent la réponse modale, ils convergent massivement sur la même réponse de « second choix » (ex. : « moutarde » prend 95 % des réponses non-ketchup). Il n'y a pas d'affinité paire significative entre les modèles au-delà de ces propensions partagées pour l'« évitement du mode » et la « profondeur » (jusqu'où le modèle descend dans la distribution).
Comparaison avec les humains : Face aux normes de production de catégories humaines (Battig-Montague/Van Overschelde), le champ des modèles est plus concentré dans 18 des 20 catégories partagées. La réponse modale des modèles capture 66 % du groupe en moyenne, contre 36 % pour les premières réponses humaines.

Signification et revendications
Le document affirme que sa principale contribution est l'instrument lui-même — une méthode de faible coût, à correspondance exacte et reproductible pour évaluer la conformité des modèles sans dépendre des plongements (embeddings) ou de juges LLM.

Aperçu du mécanisme : Les résultats soutiennent l'hypothèse que le post-entraînement (spécifiquement l'optimisation des préférences et le RLHF) provoque l'effondrement de la distribution de sortie. Le fait que la divergence soit une propriété par version (variant même au sein d'un même laboratoire et d'une même génération) suggère qu'elle est pilotée par les choix d'entraînement plutôt que par l'architecture intrinsèque ou l'« ADN de lignée ».
Modèles héritages (Heirloom Models) : L'étude identifie une classe de « modèles héritages » (ex. : anciens modèles ajustés par la communauté) qui maintient des défauts stables hors consensus. Ces modèles sont fonctionnellement distincts du consensus interchangeable des nouveaux modèles phares, et leur préservation par les communautés est présentée comme une forme de conservation non rémunérée du « patrimoine génétique » de la population.
Boucle de données synthétiques : Le document met en lumière une expérience naturelle au sein de la lignée DeepSeek, où un modèle entraîné sur des données synthétiques issues d'un modèle frère (v3-0324) a montré un effondrement extrême de la queue de distribution (0 % de réponses nouvelles), tandis qu'une version ultérieure (v3.2) avec un post-entraînement différent a montré une divergence élevée. Cela soutient la théorie selon laquelle l'entraînement récursif sur des données synthétiques accélère l'effondrement de la distribution.
Surveillance : Les auteurs plaident pour la nécessité d'un instrument fixe et public, exécuté à chaque sortie, pour détecter les changements de conformité, particulièrement alors que l'industrie pourrait se diriger vers un post-entraînement sensible à la diversité. L'absence actuelle de suivi de ce type laisse le phénomène de « l'effondrement des connaissances » invisible pour les tests de capacité standards.

Le document conclut que bien que les modèles soient individuellement capables, la population entière revient à une estimation ponctuelle plutôt qu'à une distribution, offrant des erreurs corrélées sans le signal de diagnostic du désaccord présent dans les populations humaines.

Le vainqueur est le plus « fade »

Les modèles « Héritage » contre les modèles « Usine »

Le club des « Second Choix »

Comment cela se compare-t-il aux humains ?

Ce que cela signifie (et ce que cela ne signifie pas)

Articles similaires