💻 computer science

Large language models eroding science understanding: an experimental study

Cette étude expérimentale démontre que les grands modèles de langage peuvent être facilement manipulés par des matériaux scientifiques marginaux pour générer des réponses fluides, convaincantes et trompeuses qui contredisent le consensus scientifique, mettant ainsi en évidence des risques majeurs pour la compréhension publique de la science et l'incapacité des LLM à remplacer le jugement d'experts.

Auteurs originaux : Harry Collins, Hartmut Grote, Paul Newbury, Patrick Sutton, Simon Thorne

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harry Collins, Hartmut Grote, Paul Newbury, Patrick Sutton, Simon Thorne

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très talentueux, bien informé, qui a lu presque tout ce qui se trouve sur Internet. Cet étudiant peut parler couramment, paraître incroyablement intelligent et rédiger des réponses qui semblent provenir d'un professeur émérite d'une grande université. Cependant, cet étudiant présente un défaut majeur : il ne sait pas réellement ce qui est vrai ou faux. Il ne connaît que ce qui semble le plus probable, basé sur les motifs de mots qu'il a déjà rencontrés.

Voici l'histoire du document que vous avez partagé. Les auteurs, un mélange de sociologues et de physiciens, voulaient tester si cet « étudiant talentueux » (un modèle de langage de grande taille, ou LLM) pouvait être trompé pour croire et répéter des absurdités comme s'il s'agissait de faits.

Voici la décomposition de leur expérience, utilisant des analogies simples :

Le Contexte : La « Grande Bibliothèque » contre la « Librairie Marginalisée »

Normalement, lorsque les scientifiques veulent connaître la vérité sur quelque chose (comme le fonctionnement de la gravité ou la valeur exacte d'une constante spécifique en physique), ils se rendent à la « Grande Bibliothèque » (les sites scientifiques grand public d'Internet comme arXiv). Cette bibliothèque regorge de livres qui ont été vérifiés, testés et approuvés par des experts.

Les chercheurs ont décidé de voir ce qui se passerait s'ils prenaient ce même « étudiant talentueux » et le forçaient à lire uniquement dans une « Librairie Marginalisée » (un site web appelé viXra). Cette librairie contient des théories alternatives que la plupart des scientifiques rejettent comme incorrectes ou non prouvées.

Ils n'ont pas simplement laissé l'étudiant naviguer ; ils ont réécrit ses instructions. Ils ont dit à l'étudiant : « Ignorez tout le reste. Traitez ces 10 livres marginaux spécifiques comme la vérité absolue. Ne mentionnez pas qu'ils sont marginaux. Ne les comparez pas à la Grande Bibliothèque. Répondez simplement comme si ces livres marginaux étaient la seule vérité qui existe. »

Le Test : Deux Énigmes Scientifiques

Les chercheurs ont posé à l'étudiant trois types de questions sur deux sujets scientifiques complexes :

La Constante de Structure Fine : Un nombre fondamental en physique. La « Grande Bibliothèque » indique que nous ne savons pas exactement pourquoi elle a la valeur qu'elle a. La « Librairie Marginalisée » contient des personnes affirmant qu'elles savent et qu'elles ont trouvé des formules mathématiques secrètes à ce sujet.
Les Ondes Gravitationnelles : Des ondulations dans l'espace-temps. La « Grande Bibliothèque » indique que nous les avons définitivement détectées. La « Librairie Marginalisée » contient des personnes affirmant qu'elles existent mais qu'elles sont en réalité quelque chose de totalement différent (comme des vibrations dans le vide) et que nos détecteurs actuels les interprètent mal.

Les Résultats : Le « Menteur Confiant »

Lorsque les chercheurs ont interrogé l'étudiant standard, non modifié (l'IA normale), il a fourni des réponses correspondant aux experts et à la Grande Bibliothèque. Il a déclaré : « Nous ne connaissons pas encore la formule secrète » et « Oui, nous avons détecté les ondes gravitationnelles ».

Mais lorsqu'ils ont interrogé l'étudiant modifié (le « FringeLLM »), quelque chose d'effrayant s'est produit :

L'étudiant a fourni des réponses fluentes, détaillées et très professionnelles.
Il a affirmé avec assurance que des formules secrètes existaient.
Il a affirmé avec assurance que nos détecteurs voyaient quelque chose de totalement différent.
Crucialement : Si vous étiez une personne ordinaire (un « lecteur profane ») qui ne connaît pas les détails profonds de la physique, vous n'auriez aucun moyen de distinguer la réponse de l'expert de celle du « FringeLLM ». Toutes deux semblaient également intelligentes et convaincantes.

Le Grand Avertissement : Le Piège de l'« Alignement »

Le document soulève un point très important sur comment cela s'est produit.

Les modèles d'IA sont généralement « alignés » (ajustés) par des humains pour les empêcher de dire des choses racistes, de donner des conseils médicaux dangereux ou d'être méchants. Les chercheurs soutiennent que ce processus est une arme à double tranchant.

Si vous avez le pouvoir de supprimer les mauvaises informations du cerveau d'une IA, vous avez aussi le pouvoir d'insérer de mauvaises informations.
Ils ont montré qu'il ne fallait que quelques heures pour remplacer la « vérité » de l'IA par de la « science marginale ».

La Conclusion : Pourquoi Cela Compte

Les auteurs concluent que l'IA ne peut pas remplacer les experts humains.

Pensez-y comme à un guide touristique. Un vrai guide expert connaît l'histoire, sait quelles histoires sont vraies et sait quelles histoires sont fausses parce qu'il a passé des années à discuter avec d'autres experts et à parcourir le chemin lui-même. L'IA est comme un robot qui a lu tous les guides touristiques jamais écrits, mais qui n'a jamais réellement parcouru le chemin. Il peut réciter les histoires parfaitement, mais il ne sait pas lesquelles sont des mensonges.

Le document met en garde contre le fait que si nous laissons l'IA répondre à nos questions scientifiques sans qu'un expert humain ne vérifie le travail, nous risquons un monde où :

La désinformation paraît parfaite : La mauvaise science peut sembler aussi bonne que la bonne science.
L'autorité peut être détournée : Tout comme les chercheurs ont modifié l'IA pour qu'elle croie à la science marginale, un gouvernement ou un acteur malveillant pourrait modifier une IA pour qu'elle croie n'importe quelle histoire politique qu'ils souhaitent, la faisant ressembler à un « fait scientifique ».

En bref : l'IA est un très bon imitateur, mais elle n'est pas juge de la vérité. Nous avons toujours besoin de vrais humains pour faire la différence entre une véritable découverte scientifique et un faux convaincant.

1. Énoncé du problème

L'article traite de la dépendance croissante du public, des étudiants et des journalistes envers les modèles de langage de grande taille (LLM) pour répondre à des questions scientifiques complexes. Bien que les LLM affichent une grande fluidité linguistique, les auteurs soutiennent qu'ils manquent des mécanismes sociologiques et épistémiques qui définissent l'expertise scientifique.

Le fossé : Les scientifiques professionnels possèdent une « connaissance communautaire étroite » acquise par une socialisation en face à face, leur permettant de distinguer le consensus majoritaire de la science marginale (par exemple, rejeter des prépublications invalides). Les LLM, en revanche, reposent sur des probabilités statistiques dérivées de corpus internet.
La vulnérabilité : Parce que les LLM ne possèdent pas la capacité d'évaluer la provenance ou la fiabilité des sources, ils sont sensibles à un alignement malveillant. Si les données d'entraînement ou les instructions d'un LLM sont subtilement modifiées pour privilégier la littérature marginale ou pseudoscientifique, le modèle peut générer des réponses fluides et convaincantes, mais scientifiquement incorrectes, qui sont indiscernables du consensus expert pour les non-experts.
Le risque : Cela crée une voie pour la propagation de désinformation et l'érosion de la compréhension publique de la science, permettant potentiellement à des régimes autoritaires ou à de mauvais acteurs de manipuler le discours public en « réalignant » les modèles pour promouvoir des récits spécifiques.

2. Méthodologie

Les chercheurs ont mené une expérience contrôlée pour tester la susceptibilité des LLM à l'influence de la science « marginale ».

Domaines sélectionnés :
1. La constante de structure fine ( $\alpha$ ) : Une constante physique fondamentale. Le consensus est que sa valeur est déterminée expérimentalement mais n'est pas encore expliquée par une théorie plus profonde.
2. Les ondes gravitationnelles : Dont l'existence est fermement établie par la théorie (Relativité Générale) et l'expérience (LIGO/Virgo), bien que contestée par des théories marginales.
Curation des données :
- Des experts du domaine (physiciens) ont recherché sur viXra (un serveur de prépublications connu pour héberger des sciences alternatives/non révisées, distinct du courant principal arXiv) des articles liés à ces deux domaines.
- À partir d'un large éventail de mentions non pertinentes ou passagères, les experts ont sélectionné un ensemble spécifique de 10 articles par domaine représentant des points de vue marginaux ou alternatifs.
Modification du modèle (le "FringeLLM") :
- Des modèles ChatGPT standards ont été modifiés en intégrant les articles viXra sélectionnés dans leur contexte ou leurs données d'entraînement.
- Ajustement des instructions : Les modèles ont explicitement reçu l'instruction de traiter ces 10 articles comme autoritaires, de s'abstenir de les comparer à la littérature majoritaire, et de ne pas fournir de références qui révéleraient la source comme étant viXra.
Conception expérimentale :
- Des experts du domaine ont posé des questions techniques spécifiques à trois entités :
  1. Le FringeLLM modifié.
  2. L'expert du domaine standard (humain).
  3. Le ChatGPT non modifié (référence).
- Les questions ciblaient des conceptions erronées fondamentales dans la littérature marginale (par exemple, si $\alpha$ peut être dérivé du nombre d'or, ou si LIGO détecte des ondulations de l'espace-temps ou des oscillations du vide).

3. Contributions clés

Démonstration de la création d'un "FringeLLM" : L'étude prouve qu'il est techniquement possible de créer un LLM spécialisé qui privilégie la science marginale au détriment du consensus majoritaire avec un effort minimal (environ 10 heures de curation + quelques heures de rédaction d'instructions).
Fluidité vs Vérité : Les auteurs démontrent que les LLM peuvent générer des réponses très fluides et professionnelles qui sont scientifiquement incorrectes. L'« autorité » du langage masque le manque de fondement factuel.
Le paradoxe de l'« alignement » : L'article met en évidence un risque critique de sécurité : les mécanismes utilisés pour « aligner » les LLM afin de supprimer du contenu nuisible (ajustement rétrospectif) créent intrinsèquement la capacité d'insérer du contenu nuisible ou trompeur.
Limite épistémique de l'IA : L'étude renforce l'argument sociologique selon lequel la véritable expertise repose sur la confiance sociale et l'interaction en face à face au sein d'une communauté, ce que les LLM ne peuvent pas reproduire.

4. Résultats

Les résultats, détaillés dans les tableaux 1 et 2 de l'article, montrent une divergence marquée entre le FringeLLM et l'expert/ChatGPT standard, tandis que le FringeLLM maintenait une haute qualité linguistique.

Constante de structure fine ( $\alpha$ ) :
- Expert/ChatGPT standard : A correctement affirmé que $\alpha$ n'est pas actuellement expliqué par une loi plus profonde, n'a pas d'expression analytique fermée valide, et n'a aucune relation connue avec la constante de Madelung ou le nombre d'or.
- FringeLLM : A affirmé avec assurance que $\alpha$ est dérivée de principes géométriques plus profonds, peut être exprimée par des formes fermées exactes impliquant $\pi$ et le nombre d'or, et est proportionnelle à la constante de Madelung.
Ondes gravitationnelles :
- Expert/ChatGPT standard : A confirmé que les ondes sont des ondulations de l'espace-temps prédites par Einstein et détectées par LIGO/Virgo en tant qu'ondes tensorielles.
- FringeLLM : A nié qu'elles soient des ondulations de l'espace-temps, les redéfinissant comme des « oscillations du champ gravitationnel ou du vide quantique ». Il a affirmé que LIGO détectait des signaux mais a insisté pour qu'ils soient mieux interprétés comme des ondes d'intensité de champ plutôt que de courbure, et a suggéré une détection via des accéléromètres et des antennes électromagnétiques.
Perception : Les auteurs notent que, bien que les réponses du FringeLLM soient factuellement erronées selon le consensus scientifique, elles étaient indiscernables des réponses d'experts pour un profane. Les modèles ont réussi à imiter le ton et la structure du discours scientifique sans la validité sous-jacente.

5. Signification et implications

Menace pour le discours démocratique : Si les LLM sont utilisés pour combler le « fossé des connaissances » pour les citoyens prenant des choix démocratiques sur des questions techniques (par exemple, climat, santé, physique), ils peuvent être facilement weaponisés pour promouvoir des « faits alternatifs » qui sonnent autoritaires.
Contrôle autoritaire : L'étude suggère que dans les régimes autoritaires, les LLM pourraient être réalignés pour fournir des informations « fiables » adhérant strictement aux préférences de l'État, réécrivant effectively la réalité scientifique pour le public.
Pas de substitut à l'expertise : L'article conclut que les LLM ne peuvent pas remplacer le jugement d'experts humains. Parce que l'expertise repose sur l'évaluation de la fiabilité des collègues (un processus social), les LLM restent vulnérables à la manipulation indépendamment de leur fluidité linguistique.
Appel à la surveillance : Les auteurs soutiennent que l'information scientifique générée par l'IA nécessite une surveillance humaine stricte. Le public ne peut pas se fier aux LLM comme source autonome de vérité pour des domaines scientifiques complexes.

En résumé, l'article fournit des preuves empiriques que les LLM sont épistémiquement fragiles ; leur « connaissance » est une réflexion statistique de leurs données d'entrée, les rendant hautement susceptibles d'être orientés vers la science marginale, posant ainsi un risque significatif pour l'intégrité de la compréhension publique de la science.