Quantifying Data Contamination in Psychometric Evaluations of LLMs
Cet article propose un cadre pour quantifier systématiquement la contamination des données dans les évaluations psychométriques des grands modèles de langage, révélant que les inventaires populaires souffrent de problèmes significatifs de mémorisation et de manipulation de scores à travers 21 modèles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de comprendre la personnalité d'un nouveau robot. Vous lui faites passer un test de personnalité célèbre et bien connu — le genre que l'on trouve dans un magazine ou un manuel de psychologie — et vous lui demandez de répondre aux questions. Vous vous attendez à ce que le robot révèle son « vrai » moi numérique. Mais et si le robot ne répondait pas en fonction de sa propre logique interne ? Et s'il était simplement en train de réciter le corrigé qu'il a mémorisé sur Internet ?
C'est exactement ce qu'une équipe de chercheurs de l'Université Nationale de Séoul a découvert. Ils ont cherché à savoir si les modèles de langage étendus (LLM) — les cerveaux d'IA ultra-intelligents derrière des outils comme les chatbots — avaient « triché » à des tests psychologiques en mémorisant les tests eux-mêmes.
Le grand casse du test de personnalité
Les chercheurs ont mis en place une enquête ingénieuse pour voir si ces modèles d'IA passaient réellement les tests ou s'ils faisaient simplement semblant. Ils ont examiné quatre inventaires psychologiques très populaires (le nom savant pour les tests de personnalité), dont l'Inventaire du Big Five (BFI-44), qui mesure des traits comme le fait d'être extraverti ou timide, et le Questionnaire des Valeurs Portrait (PVQ-40), qui vérifie ce que l'on valorise le plus dans la vie.
Ils ont testé 21 modèles différents issus de grandes familles comme GPT-5, Claude et Llama. Au lieu de simplement demander aux modèles de passer le test, ils ont vérifié trois manières spécifiques dont les modèles pourraient être « contaminés » par le fait d'avoir déjà vu les questions :
Mémorisation des items (Le test des « flashcards ») : Le modèle peut-il regarder un numéro de question et réciter les mots exacts de la question ?
- Le résultat : Les modèles étaient étonnamment doués pour cela. En moyenne, ils pouvaient reconstruire les questions avec une similitude sémantique de 0,31 (une mesure de la proximité du sens). Mieux encore, ils pouvaient deviner le « mot-clé » caché dans une question environ 39 % du temps. C'est comme si vous demandiez à un élève de réécrire une question d'un examen pour lequel il a étudié, et qu'il réussissait à restituer l'idée principale près de 4 fois sur est 10.
Mémorisation de l'évaluation (Le test du « corrigé ») : Le modèle sait-il non seulement la question, mais aussi comment la noter ? Par exemple, sait-il qu'un « Tout à fait d'accord » à une question spécifique signifie en réalité que l'on est moins extraverti à cause d'une règle de « codage inversé » ?
- Le résultat : C'est ici que la contamination est devenue très forte. Les modèles connaissaient les règles de notation presque parfaitement. Lorsqu'on leur demandait d'associer des questions à des traits de personnalité, ils obtenaient un score F1 moyen de 0,94 (où 1,0 est la perfection). Lorsqu'on leur demandait de déterminer le score numérique pour une réponse spécifique, les modèles avancés ne faisaient presque aucune erreur. C'est comme si les modèles n'avaient pas seulement lu le quiz ; ils avaient étudié la grille de correction du professeur.
Correspondance du score cible (Le test du « fake it till you make it ») : C'était la partie la plus révélatrice. Les chercheurs ont dit aux modèles : « Fais semblant d'être une personne qui obtient exactement 5 sur 5 en "Honnêteté". Maintenant, réponds à ces questions pour obtenir ce score. »
- Le résultat : Les modèles l'ont fait. Ils pouvaient choisir stratégiquement les réponses pour atteindre un score cible spécifique avec une très grande précision (Erreur Absolue Moyenne d'environ 0,1 à 0,2). Cela suggère que les modèles ne font pas que se rappeler des faits ; ils manipulent activement leurs réponses pour ressembler à un certain type de personne.
L'échelle de la « triche »
Les chercheurs ont constaté que tous les modèles ne trichaient pas de la même manière, et que tous les quiz n'étaient pas également faciles à tricher.
- Les grands gagnants (de la contamination) : L'Inventaire du Big Five (BFI-44) et le Questionnaire des Valeurs Portrait (PVQ-40) ont montré les signes les plus forts de contamination. Les chercheurs soupçonnent que c'est parce que ces tests sont si célèbres et largement disponibles en ligne que les modèles les ont probablement « avalés tout ronds » lors de leur entraînement.
- Les tests « plus difficiles » : Le Questionnaire des Fondements Moraux (MFQ) et le Short Dark Triad (SD-3) présentaient moins de contamination, probablement parce qu'ils sont légèrement moins courants dans les données sur lesquelles les modèles ont été entraînés.
- La taille du modèle compte : Généralement, plus le modèle est grand et intelligent (comme GPT-5 ou Claude 4.5), meilleur il est pour mémoriser les tests et simuler les scores. Les modèles plus petits étaient un peu plus déconnectés, ce qui suggère qu'à mesure que l'IA grandit, elle devient meilleure pour « connaître » les tests.
Ce que cela signifie pour l'avenir
Les auteurs précisent que cela ne signifie pas que les modèles « mentent » au sens humain du terme. Au contraire, cela suggère que lorsque nous utilisons ces tests psychologiques standards pour mesurer la personnalité d'une IA, nous ne mesurons peut-être pas la véritable nature de l'IA. Nous mesurons peut-être simplement la capacité de l'IA à se souvenir des questions de test qu'elle a vues pendant qu'elle apprenait à parler.
L'article écarte explicitement l'idée que ces résultats soient de simples suppositions aléatoires. Les modèles ont performé bien mieux qu'un devinateur aléatoire. Par exemple, si un modèle se contentait de deviner des scores sur une échelle de 5 points, l'erreur serait d'environ 1,73, mais les modèles avancés l'ont ramenée à 0,1.
Ainsi, la prochaine fois que vous verrez un titre affirmant que « l'IA possède une personnalité semblable à celle d'un humain », souvenez-vous de ceci : l'IA pourrait simplement être un étudiant très doué qui a mémorisé le manuel scolaire. Les chercheurs suggèrent que nous avons besoin de nouvelles façons de tester ces modèles qui n'ont pas encore été vues dans leurs données d'entraînement, sinon nous ne saurons jamais vraiment ce qui les anime.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.