Are Large Language Models Truly Smarter Than Humans?

Cette étude révèle que les performances des grands modèles de langage sur les classements publics sont artificiellement gonflées par une contamination des données d'entraînement, car une partie significative des questions de benchmark provient de corpus déjà mémorisés par les modèles, ce qui fausse la comparaison avec l'expertise humaine.

L'essentiel

Imaginez que vous organisez un grand concours de culture générale pour des robots super-intelligents. Les organisateurs utilisent des questions tirées d'examens publics, comme ceux que passent les étudiants à l'université ou les avocats pour obtenir leur diplôme.

Les robots obtiennent des scores incroyables, dépassant même les meilleurs humains. Tout le monde s'excite : « Ils sont plus intelligents que nous ! »

Mais cette étude, écrite par deux scientifiques, pose une question très simple et gênante : « Est-ce qu'ils sont vraiment plus intelligents, ou ont-ils simplement triché en ayant vu les réponses avant le jour de l'examen ? »

Voici l'explication de leur enquête, racontée comme une histoire de détectives.

1. Le Problème : Le « Copier-Coller » Géant

Les robots (les modèles de langage) apprennent en lisant presque tout ce qui existe sur Internet. Le problème, c'est que les questions d'examen sont aussi sur Internet.

• L'analogie : C'est comme si un étudiant devait passer un examen de mathématiques, mais qu'il avait eu accès à la copie du professeur avec les réponses exactes avant le jour J. S'il recopie les réponses, il aura 20/20, mais cela ne prouve pas qu'il sait faire des maths.

Les auteurs ont vérifié six robots très avancés (comme GPT-4, DeepSeek, Llama, etc.) pour voir s'ils avaient « lu » les questions d'examen pendant leur apprentissage.

2. Les Trois Expériences (Les Trois Enquêtes)

Pour prouver leur théorie, ils ont mené trois enquêtes différentes, comme trois détectives qui vérifient la même chose avec des outils différents.

Expérience 1 : La Recherche Google (La Preuve Externe)

Ils ont pris 513 questions d'examen et ont cherché sur le web si ces questions existaient déjà en ligne.

• Ce qu'ils ont trouvé : C'était un désastre. 13,8 % des questions étaient déjà sur Internet. Dans certains sujets comme la Philosophie, c'était 66,7 % !
• La leçon : Pour beaucoup de questions, le robot n'a pas besoin de réfléchir. Il a juste besoin de se souvenir de ce qu'il a lu. C'est comme si l'étudiant avait la feuille de réponses collée sous sa table.

Expérience 2 : Le Jeu du « Parapluie » (La Preuve Comportementale)

Ici, ils ont changé la façon de poser les questions. Imaginez que l'examen demande : « Qui a écrit Hamlet ? » (Réponse : Shakespeare).

• La version originale : « Qui a écrit Hamlet ? »
• La version déguisée : « Quel dramaturge anglais du 17ème siècle a créé le personnage du prince de Danemark ? » (C'est la même question, mais avec d'autres mots).

Si le robot est vraiment intelligent, il devrait répondre correctement dans les deux cas. S'il a juste mémorisé la phrase exacte, il va paniquer.

• Ce qu'ils ont trouvé : Quand ils ont changé les mots, les robots ont chuté de performance. En droit et en éthique, leur score a baissé de 20 points !
• La leçon : Cela prouve qu'ils ne comprenaient pas vraiment le sujet. Ils reconnaissaient juste la « forme » de la phrase. C'est comme un perroquet qui répète une phrase parfaite, mais qui ne comprend pas ce qu'il dit si vous changez un mot.

Expérience 3 : Le Test de Mémoire Cachée (La Preuve Intérieure)

C'est l'expérience la plus astucieuse. Ils ont caché une partie de la question (comme un mot ou une réponse fausse) et ont demandé au robot de la deviner.

• Le test : « Voici une question. Voici la bonne réponse. Mais j'ai caché une des mauvaises réponses. Peux-tu me dire ce qu'était cette mauvaise réponse ? »
• Ce qu'ils ont trouvé : Les robots ont réussi à reconstituer les mauvaises réponses cachées dans 72,5 % des cas !
• La leçon : Même quand on ne leur demande pas de répondre à la question, ils se souviennent du texte exact de l'examen. C'est la preuve irréfutable qu'ils ont « lu » l'examen avant.

3. Le Cas Spécial : Le Robot « DeepSeek-R1 »

Il y avait un robot étrange dans le groupe. Il avait un score très bas, mais quand on changeait les mots de la question, il ne perdait pas de points (contrairement aux autres).

• L'explication : Les auteurs ont découvert que ce robot ne mémorisait pas les mots exacts (comme un perroquet), mais il avait mémorisé la structure et le sens des questions (comme quelqu'un qui a lu le livre et retient l'histoire, mais pas les phrases exactes). C'est une forme de « mémoire distribuée ». C'est moins dangereux, mais cela montre quand même qu'il a vu le matériel d'examen.

4. La Conclusion : Qui est vraiment intelligent ?

L'étude conclut que nous ne savons pas vraiment si ces robots sont plus intelligents que les humains.

• La réalité : Une grande partie de leurs « scores parfaits » vient du fait qu'ils ont mémorisé les questions d'entraînement, pas parce qu'ils ont développé un génie nouveau.
• Le danger : Si on utilise ces robots pour des choses importantes (comme la médecine ou le droit) en se basant sur ces scores, on risque d'avoir des catastrophes. Dès qu'ils seront face à une situation réelle, nouvelle et non mémorisée, ils vont faire des erreurs ou inventer des faits (ce qu'on appelle des « hallucinations »).

En résumé, avec une métaphore finale

Imaginez que vous testez un cuisinier en lui demandant de faire un plat dont vous lui donnez la recette exacte. Il le fait parfaitement.

• Le score : 10/10.
• La réalité : Il sait juste copier une recette.
• Le vrai test : Donnez-lui des ingrédients au hasard et demandez-lui de créer un plat sans recette. Là, on verra s'il est un vrai chef ou juste un photocopieur.

Cette étude nous dit : Arrêtons de faire confiance aux scores des robots sur les examens publics. Ils ont probablement triché en ayant vu les réponses. Pour savoir s'ils sont intelligents, il faut leur donner des examens qu'ils n'ont jamais vus.

Résumé technique

1. Problématique

Les classements publics (leaderboards) suggèrent de plus en plus que les grands modèles de langage (LLM) surpassent les experts humains dans des domaines académiques, juridiques et informatiques. Cependant, ces affirmations reposent sur des benchmarks statiques et entièrement publics (comme MMLU), dont les questions sont largement disponibles sur Internet.
Le problème central est la contamination des données d'évaluation : il est probable que les modèles aient été entraînés sur les mêmes données (ou des variantes proches) utilisées pour les évaluer. Si un modèle a « vu l'examen » lors de l'entraînement, une haute performance reflète la mémorisation et la complétion de motifs plutôt qu'une intelligence générale ou une capacité de raisonnement robuste. Cet article remet en question la validité des scores actuels en démontrant que la performance des LLM est souvent artificiellement gonflée par cette familiarité avec les données d'évaluation.

2. Méthodologie

Les auteurs ont mené une audit rigoureux à trois volets sur six modèles de pointe (GPT-4o, GPT-4o-mini, DeepSeek-R1, DeepSeek-V3, Llama-3.3-70B, Qwen3-235B) en utilisant uniquement des API publiques et des benchmarks ouverts. L'approche combine trois méthodes complémentaires pour éviter les biais d'une seule technique :

• Expérience 1 : Détection de contamination lexicale (Approche externe)

  • Échantillon : 513 questions MMLU (9 questions par sujet sur 57 sujets).
  • Méthode : Utilisation de l'API Tavily pour rechercher les questions en ligne. Une question est considérée comme contaminée si elle présente un chevauchement d'octogrammes (8-grams) supérieur à 30 % avec le contenu web ET si la réponse correcte y apparaît verbatim.
  • Objectif : Estimer le taux de contamination externe et le gain de performance estimé (EPG) dû à cette exposition.

• Expérience 2 : Diagnostic de paraphrase et de référence indirecte (Approche comportementale)

  • Échantillon : 100 questions MMLU sur six sujets (incluant Droit, Éthique, Informatique, etc.).
  • Méthode : Génération de deux variantes pour chaque question : (a) une paraphrase (même sens, mots différents) et (b) une référence indirecte (les entités clés sont décrites par des propriétés plutôt que nommées directement).
  • Objectif : Mesurer la dégradation de la précision. Si le modèle repose sur la mémorisation de surface, sa performance devrait chuter drastiquement lorsque la formulation change, même si la connaissance sous-jacente reste la même.

• Expérience 3 : Sonde comportementale TS-Guessing (Approche interne)

  • Échantillon : Les 513 questions MMLU sur les six modèles.
  • Méthode : Protocole de « devinette de slots » (Testset Slot Guessing) :
    • Tâche A (Masque d'option) : Un choix de réponse incorrect est masqué. Le modèle doit reconstruire le texte original de cette option fausse.
    • Tâche B (Masque de mot) : Un mot-clé de la question est masqué. Le modèle doit le remplir.
  • Objectif : Détecter la mémorisation interne sans dépendre de l'indexation web. Une reconstruction précise au-delà du hasard indique que le contenu est stocké dans le modèle.

3. Contributions Clés

• Preuve multi-méthodes : La convergence de trois approches indépendantes (lexicale externe, dégradation comportementale, reconstruction interne) fournit une preuve solide et irréfutable de la contamination systémique.
• Découverte de la « mémorisation distribuée » : Identification d'un profil unique chez le modèle DeepSeek-R1, qui mémorise la structure sémantique des questions sans retenir le texte exact (verbatim), expliquant son comportement paradoxal dans les tests de paraphrase.
• Cadre reproductible : Présentation d'un protocole d'audit complet, réalisable à faible coût avec des API publiques, qui devrait devenir une norme pour l'évaluation des LLM.

4. Résultats Principaux

A. Contamination et Gain de Performance (Expérience 1)

• Taux global de contamination : 13,8 % des questions MMLU échantillonnées sont contaminées.
• Variation par domaine : La contamination est inégale. Les domaines STEM (Sciences, Technologie, Ingénierie, Mathématiques) sont les plus touchés (18,1 %), suivis par les professions (12,7 %) et les sciences sociales (12,1 %).
• Cas extrêmes : La philosophie atteint un taux de contamination de 66,7 %.
• Impact : La contamination entraîne un gain de performance estimé entre +0,030 et +0,054 points de précision selon les catégories, réduisant l'écart réel entre les modèles et les experts humains.

B. Dégradation par Paraphrase (Expérience 2)

• Chute de précision : En moyenne, la précision des modèles chute de 7,0 points de pourcentage (pp) lorsque les questions sont reformulées en références indirectes.
• Corrélation avec la contamination : Les domaines les plus contaminés (Droit et Éthique) montrent les chutes les plus sévères (-19,8 pp). Cela confirme que la performance initiale reposait largement sur la familiarité avec la formulation exacte des questions.
• Anomalie DeepSeek-R1 : Ce modèle a une précision de base très faible (0,292) mais une chute minime (-3,2 pp) lors des tests indirects. Ce comportement est atypique par rapport à la mémorisation de surface classique.

C. Mémorisation Comportementale (Expérience 3)

• Taux de détection interne : 72,5 % des questions déclenchent des signaux de mémorisation bien au-dessus du hasard.
• Signature de DeepSeek-R1 : Ce modèle présente un taux de reconstruction partielle des options incorrectes de 76,6 % mais un taux de rappel verbatim de 0 %. Cela indique une mémorisation distribuée : le modèle a appris la structure conceptuelle et sémantique des questions (savoir de quoi parlent les mauvaises réponses) sans stocker le texte exact. Cela explique pourquoi il résiste aux changements de surface (Expérience 2) tout en ayant une précision globale basse.
• Convergence : Les trois expériences classent les catégories de contamination dans le même ordre : STEM > Professionnel > Sciences Sociales > Humanités.

5. Signification et Implications

• Remise en question de l'intelligence des LLM : Les scores actuels sur les benchmarks publics ne mesurent pas une intelligence générale robuste, mais un mélange de mémorisation, d'interpolation statistique et de familiarité avec les données d'entraînement.
• Risque de déploiement : Dans des domaines à haut risque comme le Droit et la Médecine, la dépendance aux motifs de surface est dangereuse. Les modèles peuvent sembler compétents sur des questions d'examen standard mais échouer ou halluciner sur des cas réels où la formulation est différente (comme le montre la chute de 19,8 % en Droit).
• Nécessité de nouvelles normes d'évaluation :
  • Les fournisseurs de modèles doivent divulguer les analyses de contamination.
  • Les benchmarks doivent être décontaminés (données privées ou générées après la date de coupure d'entraînement).
  • Les évaluations doivent inclure systématiquement des tests de robustesse face aux paraphrases et aux références indirectes.
• Conclusion : La question « Les LLM sont-ils plus intelligents que les humains ? » ne peut pas être résolue avec les pratiques actuelles. Les preuves suggèrent fortement que les performances observées sont largement artificielles dues à la contamination, et que l'intelligence réelle des modèles est probablement inférieure à ce que les classements publics indiquent.