Résumé technique : Les génériques dans la communication scientifique

Problématique

Les scientifiques emploient fréquemment des génériques — des énoncés au présent de l'indicatif non quantifiés se référant à des catégories entières (ex. : « les statines réduisent les événements cardiovasculaires ») — lorsqu'ils communiquent leurs résultats de recherche. Bien que ces énoncés suggèrent une applicabilité large, des analyses de corpus indiquent qu'ils sont souvent utilisés même lorsque les résultats reposent sur des échantillons de petite taille ou non représentatifs. Cela crée un risque de surgénéralisation, où le public applique les résultats à des populations pour lesquelles ils ne sont pas applicables, ce qui pourrait potentiellement miner la confiance du public et la prise de décision.

Il existe une lacune critique dans la compréhension de la manière dont différents acteurs interprètent ces formes linguistiques. Il n'est pas clair si les profanes et les experts scientifiques partagent la même interprétation des génériques, ou si les experts possèdent une « vigilance épistémique » qui les amène à interpréter ces affirmations de manière plus étroite que le public. De plus, avec le recours croissant aux modèles de langage de grande taille (LLM) comme ChatGPT pour résumer la littérature scientifique, on ignore si ces modèles interprètent les génériques de la même manière que les humains. Si les LLM surgénéralisent systématiquement les découvertes scientifiques par rapport aux experts humains, ils risquent de diffuser des résumés trompeurs à grande échelle.

Méthodologie

L'étude a employé un plan de recherche mixte comparant trois groupes distincts : les profanes (individus possédant au maximum un diplôme de premier cycle universitaire), les experts scientifiques (chercheurs en psychologie et en biomédecine, ainsi que d'autres scientifiques/experts) et deux LLM de pointe (ChatGPT-5 et DeepSeek-V3.1).

Conception expérimentale

• Stimuli : Les participants ont été confrontés à 18 conclusions de recherche présentées sous forme de phrases uniques, tirées de revues de premier plan en psychologie et en biomédecine.
• Cadres linguistiques : Chaque conclusion était présentée sous trois variations :
  1. Générique nu (Bare Generic) : Présent de l'indicatif non quantifié (ex. : « Les statines réduisent le risque... »).
  2. Passé : Traité comme une affirmation spécifique et non générique (ex. : « Les statines ont réduit le risque... »).
  3. Nuancé (Hedged) : Qualifié par une incertitude épistémique (ex. : « L'étude suggère que... » ou « pourrait... »).
• Mesures : Les participants ont évalué chaque énoncé selon trois dimensions à l'aide d'échelles de 1 à 5 :
  • Généralisabilité : À quel point l'affirmation s'applique largement (de « seulement aux personnes étudiées » à « toutes les personnes »).
  • Crédibilité : À quel point l'affirmation est digne de confiance.
  • Impact : La probabilité de s'intéresser davantage à la découverte (lire, partager, utiliser).
• Procédure :
  • Participants humains : 432 participants (192 profanes, 240 experts) ont rempli le sondage via Qualtrics.
  • Participants LLM : 100 réponses ont été collectées (50 par modèle) via des interfaces utilisateur Web pour simuler les interactions publiques typiques. Chaque modèle a été traité comme un « pseudo-participant ».
• Composante qualitative : Une question à réponse libre demandait aux participants de sélectionner le cadre le plus approprié pour une découverte statistiquement significative et d'expliquer leur raisonnement.
• Analyse : Des modèles mixtes linéaires (LMM) ont été utilisés pour analyser les évaluations, en contrôlant le participant et le contenu de la conclusion. L'analyse thématique a été appliquée aux réponses qualitatives.

Résultats clés

1. Effets du cadrage linguistique

Dans tous les groupes, les génériques nus ont été perçus comme étant significativement plus généralisables et plus impactants que les versions au passé ou nuancées. Cependant, un résultat contre-intuitif a émergé concernant la crédibilité : les énoncés au passé ont été jugés plus crédibles que les génériques, tandis que les énoncés nuancés ont reçu les évaluations de crédibilité les plus basses.

2. Différences entre groupes (Profanes vs Experts vs LLM)

• Profanes vs Experts : Contrairement à l'hypothèse selon laquelle les profanes interpréteraient les affirmations de manière plus large, les psychologues et les chercheurs en biomédecine ont jugé les conclusions scientifiques comme étant moins généralisables, moins crédibles et moins impactantes que les profanes. Cela suggère que l'expertise de terrain favorise une plus grande vigilance épistémique et une plus grande prudence face à la surgénéralisation.
• LLM vs Humains : Les deux LLM (ChatGPT-5 et DeepSeek-V3.1) ont jugé les conclusions scientifiques comme étant significativement plus généralisables, crédibles et impactantes que les profanes et les experts. Cela indique une tendance systématique de ces modèles à surévaluer la force et la portée des affirmations scientifiques.
• Effets d'interaction : Les experts (particulièrement les psychologues et les chercheurs en biomédecine) ont montré une plus grande sensibilité au cadrage linguistique que les profanes. Ils ont déclassé les génériques de manière plus marquée que les profanes lors du passage aux cadres au passé ou nuancés. Les LLM, à l'inverse, ont montré un ajustement à la hausse des évaluations de généralisabilité lors du passage des génériques au passé, divergeant ainsi des schémas humains.

3. Préférences qualitatives

• Préférences humaines : 64 % des participants humains préféraient le cadrage « l'étude suggère », valorisant un équilibre entre confiance et prudence. Ils ont fréquemment critiqué les génériques nus comme étant « trop sûrs d'eux » et « trop généralisateurs ».
• Préférences des LLM : ChatGPT-5 priviliait fortement les génériques nus (52 %), citant la « confiance » et la « facilité d'interprétation » pour les non-experts. DeepSeek-V3.1 s'alignait davantage sur les préférences humaines, privilégiant « l'étude suggère ».
• Raisonnement : Les humains mettaient l'accent sur l'évitement des extrêmes et la relativisation des découvertes à l'étude spécifique. Les LLM privilégiaient la clarté et l'applicabilité large, souvent au détriment de la prudence jugée nécessaire par les humains.

Principales contributions

1. Preuve empirique d'un désalignement : L'étude fournit la première comparaison directe de la manière dont les profanes, les experts du domaine et les LLM interprètent les génériques scientifiques. Elle révèle un « double désalignement » : les experts interprètent les génériques de manière plus étroite que le public, tandis que les LLM les interprètent de manière encore plus large que le public.
2. Effets de l'expertise : Les résultats remettent en question l'idée que tous les experts interprètent le langage de la même manière. L'expertise spécifique au domaine (psychologie et biomédecine) induit une interprétation plus prudente des génériques, probablement due à la conscience des crises de réplication et des limites méthodologiques, tandis que les experts d'autres domaines ne différaient pas significativement des profanes.
3. Comportement des LLM dans la communication scientifique : L'article démontre que les principaux LLM surgénéralisent systématiquement les découvertes scientifiques. Cela suggère que les LLM ne se contentent pas de résumer le texte, mais amplifient activement la portée et la crédibilité perçues des affirmations, divergeant potentiellement de l'intention des auteurs originaux.
4. Nuance du cadrage : L'étude souligne que toutes les qualifications ne fonctionnent pas de la même manière. Bien que le « passé » ait renforcé la crédibilité, le « fait de nuancer » (ex. : « pourrait ») a réduit à la fois la crédibilité et l'impact, suggérant que le type de qualification importe de manière significative pour la compréhension du public.

Signification et implications

Les auteurs soutiennent que ces désalignements d'interprétation posent des risques importants pour la communication scientifique.

• Pour les scientifiques : Les experts peuvent involontairement encourager la surgénéralisation en utilisant des génériques, supposant que leur public partage leur interprétation nuancée et prudente. Les données suggèrent que même le cadrage au passé peut ne pas suffire à empêcher les profanes de surgénéraliser.
• Pour les LLM : Si les LLM sont utilisés pour résumer la recherche pour le public, leur tendance à évaluer les génériques comme hautement crédibles et largement applicables pourrait mener à la diffusion systématique de revendications scientifiques gonflées. Cela est particulièrement préoccupant étant donné que les LLM manquent de la « vigilance épistémique » ou du scepticisme lié au domaine que les experts humains appliquent.
• Pour les politiques et l'éducation : Les résultats soulignent la nécessité d'accorder une attention accrue aux choix linguistiques dans la communication scientifique, qu'elle soit médiée par l'humain ou par l'IA. Il est nécessaire d'aligner les perceptions des experts et du public et de surveiller la manière dont les LLM traitent les affirmations génériques afin de prévenir la normalisation de la surgénéralisation.

L'article conclut que bien que les génériques soient rhétoriquement efficaces pour les scientifiques, leur utilisation nécessite un calibrage minutieux pour assurer la transmission exacte de l'incertitude scientifique à divers publics, y compris les systèmes d'IA.