💬 NLP

Pretraining Exposure Explains Popularity Judgments in Large Language Models

En exploitant le corpus Dolma entièrement observable et les modèles OLMo, cette étude démontre que les jugements de popularité des grands modèles de langage sont principalement déterminés par les statistiques d'exposition au préentraînement plutôt que par des signaux de popularité réels externes, l'exposition servant de prédicteur plus précis du biais des modèles que les vues de pages Wikipédia.

Auteurs originaux : Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un cerveau numérique géant (un modèle de langage, ou LLM) qui a lu presque tout ce qui se trouve sur Internet. Vous demandez à ce cerveau : « Qui est plus célèbre : une boulangerie locale spécifique ou une star de la pop mondialement connue ? » Le cerveau répond presque toujours la star de la pop. Nous avons longtemps supposé que c'était parce que le cerveau « savait » que la star de la pop était populaire dans le monde réel.

Mais cet article pose une question différente : Le cerveau juge-t-il réellement la célébrité dans le monde réel, ou se contente-t-il de se souvenir des noms qu'il a vus le plus souvent pendant ses études ?

Pour trouver la réponse, les chercheurs ont utilisé un cerveau spécial, entièrement open source, appelé OLMo. Contrairement à la plupart des cerveaux d'IA, nous pouvons voir exactement quels livres et quels sites Web OLMo a lus pendant sa « scolarité » (préentraînement). C'est comme avoir toute la bibliothèque des devoirs d'un élève, plutôt que de simplement deviner ce qu'il a lu en se basant sur ses résultats aux examens.

Voici le détail de leur expérience et de leurs découvertes, en utilisant quelques analogies simples :

1. La Mise en place : Compter les « Regards »

Les chercheurs ont traité les données d'entraînement de l'IA comme une immense bibliothèque. Ils ont utilisé un outil spécial (Infini-Gram) pour compter exactement combien de fois 2 000 éléments différents (personnes, lieux, marques, chansons) sont apparus dans les livres que l'IA a lus.

Le score d'« Exposition » : Il s'agit simplement du nombre de fois où l'IA a « jeté un coup d'œil » à un nom. Si l'IA a vu « Taylor Swift » 1 million de fois et « Le Boulanger Local Bob » 5 fois, Taylor Swift a un score d'exposition élevé.

2. Les Trois Concurrents

Les chercheurs voulaient savoir quel « score » prédisait le mieux la façon dont l'IA répondrait aux questions de popularité. Ils ont comparé trois éléments :

Le score du monde réel (Wikipédia) : Ils ont examiné combien de personnes ont réellement visité les pages Wikipédia de ces entités. C'est la « vérité terrain » de la célébrité dans le monde réel.
Le « Direct » : Ils ont demandé à l'IA : « Sur une échelle de 0 à 1000, à quel point Taylor Swift est-elle célèbre ? »
Le Match « Face à Face » : Ils ont demandé à l'IA : « Qui est plus célèbre : Taylor Swift ou Le Boulanger Local Bob ? » (C'est comme un tableau de tournoi).

3. La Grande Découverte : Il s'agit de ce qui a été lu, pas de ce qui est connu

Les résultats étaient surprenants et clairs :

La « Mémoire » de l'IA correspond à la Bibliothèque : L'idée que l'IA se fait de ce qui est célèbre correspond beaucoup mieux à son « score d'exposition » (la fréquence à laquelle elle a vu le nom) qu'aux chiffres réels de Wikipédia.
Le « Face à Face » est le meilleur Miroir : Lorsque l'IA était invitée à comparer deux éléments directement (comme dans un tournoi), ses réponses correspondaient presque parfaitement à la fréquence à laquelle elle avait vu ces noms dans ses livres d'entraînement. C'était même une correspondance meilleure que les données réelles de Wikipédia.
Le Problème de la « Longue Traîne » : Pour des choses très obscures (comme « Le Boulanger Local Bob »), les données de Wikipédia sont souvent désordonnées ou inexistantes (personne ne visite ces pages). Cependant, l'IA avait toujours une opinion claire sur qui était le plus célèbre. Pourquoi ? Parce que même si l'IA n'avait vu « Le Boulanger Local Bob » que 5 fois et « Un Autre Boulanger » 2 fois, elle savait que le premier était « plus célèbre » simplement parce qu'elle avait vu le nom un peu plus souvent. L'IA n'utilisait pas de connaissances réelles ; elle comptait simplement ses devoirs.

4. Plus de Cerveaux = Des Mémoires Plus Fortes

Les chercheurs ont testé un cerveau plus petit (7 milliards de paramètres) et un cerveau plus grand (32 milliards de paramètres).

Le cerveau plus grand était encore plus obsédé par ses données d'entraînement. Ses réponses correspondaient encore plus étroitement au « score d'exposition » que celles du plus petit cerveau.
Cela suggère que, à mesure que l'IA devient plus intelligente et plus grande, elle ne devient pas nécessairement plus « consciente » du monde réel ; elle devient simplement meilleure pour se souvenir exactement de ce qui lui a été donné pendant l'entraînement.

La Conclusion

L'article conclut que lorsqu'une IA vous dit qui est célèbre, elle ne vous donne pas nécessairement un rapport sur la société réelle. Elle vous donne un rapport sur sa propre liste de lecture.

Pensez-y comme à un élève qui n'a lu qu'un magazine spécifique. Si vous demandez à cet élève : « Qui est la personne la plus célèbre au monde ? », il ne vous dira pas la personne réellement la plus célèbre ; il vous dira la personne qui est apparue sur la couverture de ce magazine le plus souvent. Le « biais de popularité » de l'IA est simplement le reflet de la fréquence des mots dans ses données d'entraînement, et non une véritable compréhension du monde.

Résumé technique : L'exposition au préentraînement explique les jugements de popularité dans les grands modèles de langage

Énoncé du problème
Les grands modèles de langage (LLM) présentent des préférences systématiques pour les entités bien connues, un phénomène largement attribué à un « biais de popularité ». Cependant, l'origine de ces préférences reste ambiguë : il est unclear qu'elles reflètent une véritable popularité dans le monde réel ou simplement la fréquence statistique des entités au sein du corpus de préentraînement. Les recherches précédentes ont eu du mal à résoudre cette question car les données d'entraînement de la plupart des LLM publiés sont inaccessibles, obligeant à se fier à des preuves indirectes ou à des comportements en aval qui confondent l'exposition avec d'autres facteurs de confusion.

Méthodologie
Cette étude fournit la première analyse directe et à grande échelle du biais de popularité en exploitant les modèles OLMo entièrement ouverts et leur corpus de préentraînement complet, Dolma. La méthodologie suit les étapes suivantes :

Indexation des données et calcul de l'exposition : Les auteurs ont indexé l'ensemble du corpus de préentraînement OLMo (comprenant les jeux de données Préentraînement, Midtraining et Long Context, totalisant 7,4 billions de tokens) à l'aide de l'outil Infini-Gram.
Échantillonnage et validation des entités : À partir d'un dump Wikidata (daté du 24 janvier 2026), 5 000 entités ont été échantillonnées pour chacun des cinq types suivants : Personne, Lieu, Organisation, Art et Produit. Pour assurer un comptage précis des fréquences, tous les alias candidats ont été validés à l'aide de GPT-4.1 afin de filtrer les références ambiguës, ne conservant que celles qui se réfèrent exclusivement à l'entité cible.
Calcul du score d'exposition : Pour chacune des 2 000 entités sélectionnées (400 par type, réparties équitablement entre 200 entités « rares » à faible fréquence et 200 entités « populaires » à haute fréquence), un score d'exposition a été calculé en fonction de la fréquence de l'entité et de ses alias validés dans le corpus indexé.
Comparaison des signaux de popularité : L'étude a comparé trois signaux distincts aux scores d'exposition au préentraînement :
- Vues de pages Wikipédia : Un proxy externe de la popularité réelle, agrégé du 1er juillet 2015 au 31 décembre 2024 (correspondant à la date de coupure du corpus).
- Estimation scalaire directe : Le modèle OLMo (variantes 7B et 32B) a été invité à attribuer un score de popularité (0–1000) à des entités individuelles.
- Comparaison par paires : Le modèle a été invité à déterminer laquelle de deux entités était plus populaire. Ces préférences par paires ont été converties en scores listwise à l'aide du modèle de Bradley-Terry.

Résultats clés
L'analyse, basée sur les corrélations de rang de Spearman ( $\rho$ ), a produit les résultats suivants :

L'exposition comme proxy de la popularité réelle : L'exposition au préentraînement corrèle fortement avec les vues de pages Wikipédia pour tous les types d'entités (moyenne $\rho \approx 0,755$ ), validant l'exposition comme un proxy significatif de la saillance réelle durant la période d'entraînement.
Les jugements des LLM s'alignent davantage sur l'exposition que sur Wikipédia : Les signaux de popularité générés par les LLM s'alignent plus étroitement sur l'exposition au préentraînement que sur les vues de pages Wikipédia. Cela est particulièrement évident dans la méthode de Comparaison par paires, qui a obtenu la corrélation la plus élevée avec l'exposition (moyenne $\rho \approx 0,795$ pour le modèle 32B), surpassant à la fois l'estimation scalaire directe et la référence Wikipédia.
Le régime de la longue traîne : Pour les entités « rares » (faible fréquence), les vues de pages Wikipédia deviennent peu fiables, montrant des corrélations proches de zéro ou négatives avec l'exposition ( $\rho \approx 0,10$ ). En revanche, les jugements de popularité des LLM (en particulier via la comparaison par paires) maintiennent une corrélation positive avec l'exposition ( $\rho \approx 0,31$ pour le modèle 32B), suggérant que pour les entités rares, les priors du modèle sont gouvernés presque entièrement par la fréquence au préentraînement.
Effets de l'échelle du modèle : L'augmentation de l'échelle du modèle de 7B à 32B améliore systématiquement l'alignement entre les jugements des LLM et l'exposition au préentraînement. Le modèle 32B démontre des priors basés sur l'exposition plus nets et plus cohérents, en particulier dans les tâches d'estimation scalaire directe.

Importance et affirmations
L'article prétend offrir la première preuve directe et à grande échelle que les priors de popularité dans les LLM sont principalement façonnés par les statistiques du préentraînement plutôt que par des signaux externes de popularité. Les auteurs soutiennent que « l'exposition aux données » joue un rôle central dans l'entraînement du biais de popularité. Plus précisément, les résultats démontrent que :

Les LLM ne reflètent pas simplement les métriques de popularité externes ; leurs préférences de classement internes sont profondément enracinées dans la distribution statistique de leurs données d'entraînement.
L'élicitation par paires est une méthode plus fiable pour révéler ces priors basés sur l'exposition que l'estimation scalaire directe.
Le « biais de popularité » observé dans les LLM n'est pas nécessairement un échec du raisonnement, mais une réflexion directe des modèles de fréquence inhérents au corpus de préentraînement.

Les auteurs concluent que ces biais sont des propriétés mesurables des données d'entraînement et suggèrent que les travaux futurs devraient investiguer des stratégies d'atténuation pour améliorer l'équité et la diversité dans les sorties des modèles.