Technische Samenvatting: Generieken in Wetenschapscommunicatie

Probleemstelling

Wetenschappers maken veelal gebruik van generieken—niet-gekwantificeerde tegenwoordige tijd-uitspraken die verwijzen naar volledige categorieën (bijv. "statinen verminderen cardiovasculaire incidenten")—wanneemt zij wetenschappelijke bevindingen communiceren. Hoewel deze uitspraken een brede toepasbaarheid suggereren, wijzen corpusanalyses erop dat ze vaak worden gebruikt, zelfs wanneer de bevindingen gebaseerd zijn op kleine of niet-representatieve steekproeven. Dit creëert een risico op overgeneralisatie, waarbij publiek bevindingen toepast op populaties waarvoor ze niet van toepassing zijn, wat het publieke vertrouwen en de besluitvorming potentieel kan ondermijnen.

Er bestaat een kritische kloof in het begrip van hoe verschillende belanghebbenden deze linguïstische vormen interpreteren. Het is onduidelijk of leken en wetenschappelijke experts dezelfde interpretatie van generieken delen, of dat experts beschikken over "epistemische waakzaamheid" die ertoe leidt dat zij deze claims nauwer interpreteren dan het publiek. Bovendien is het, met de toenemende afhankelijkheid van Large Language Models (LLMs) zoals ChatGPT om wetenschappelijke literatuur samen te vatten, onbekend of deze modellen generieken op dezelfde manier interpreteren als mensen. Als LLM's systematisch wetenschappelijke bevindingen overgeneraliseren vergeleken met menselijke experts, riskeren zij het op grote schaal verspreiden van misleidende samenvattingen.

Methodologie

De studie maakte gebruik van een mixed-methods design waarbij drie verschillende groepen werden vergeleken: leken (individuen met hoogstens een bachelordiploma), wetenschappelijke experts (psychologen en biomedisch onderzoekers, plus andere wetenschappers/experts), en twee leidende LLM's (ChatGPT-5 en DeepSeek-V3.1).

Experimenteel Ontwerp

• Stimuli: Deelnemers kregen 18 eenzijdige wetenschappelijke conclusies gepresenteerd die waren ontleend aan toonaangevende psychologie- en biomedische tijdschriften.
• Linguïstische Frames: Elke conclusie werd gepresenteerd in drie variaties:
  1. Bare Generic (Naakte Generiek): Niet-gekwantificeerde tegenwoordige tijd (bijv. "Statines verminderen het risico...").
  2. Past Tense (Verleden Tijd): Behandeld als een niet-generieke, specifieke claim (bijv. "Statines verminderden het risico...").
  3. Hedged (Voorbehouden): Gekwalificeerd met epistemische onzekerheid (bijv. "De studie suggereert..." of "zou kunnen...").
• Maten: Deelnemers beoordeelden elke uitspraak op drie dimensies met behulp van 5-punts schalen:
  • Generaliseerbaarheid: Hoe breed de claim van toepassing is (van "alleen voor de onderzochte personen" tot "alle mensen").
  • Geloofwaardigheid: Hoe betrouwbaar de claim is.
  • Impact: De waarschijnlijkheid van verdere betrokkenheid bij de bevinding (lezen, delen, gebruiken).
• Procedure:
  • Menselijke Deelnemers: 432 deelnemers (192 leken, 240 experts) voltooiden de enquête via Qualtrics.
  • LLM Deelnemers: 100 reacties werden verzameld (50 per model) via webgebaseerde gebruikersinterfaces om typische publieke interacties te simuleren. Elk model werd behandeld als een "pseudo-deelnemer".
• Kwalitatieve Component: Een vrije vraag vroeg deelnemers om het meest passende linguïstische frame voor een statistisch significante bevinding te selecteren en hun redenering uit te leggen.
• Analyse: Lineaire gemengde modellen (LMMs) werden gebruikt om de beoordelingen te analyseren, waarbij werd gecontroleerd voor deelnemer en inhoud van de conclusie. Thematische analyse werd toegepast op de kwalitatieve reacties.

Belangrijkste Resultaten

1. Effecten van Linguïstische Framing

Over alle groepen heen werden bare generics als significant generaliseerbaarder en impactvoller ervaren dan de versies in de verleden tijd of de gequalificeerde (hedged) versies. Echter, een contra-intuïtieve bevinding kwam naar voren met betrekking tot geloofwaardigheid: uitspraken in de verleden tijd werden hoger beoordeeld op geloofwaardigheid dan generieken, terwijl gequalificeerde (hedged) uitspraken de laagste geloofwaardigheidsscores ontvingen.

2. Groepsverschillen (Leken vs. Experts vs. LLM's)

• Leken vs. Experts: In tegen tegenstelling tot de hypothese dat leken claims breder zouden interpreteren, beoordeelden psychologen en biomedisch onderzoekers wetenschappelijke conclusies als minder generaliseerbaar, minder geloofwaardig en minder impactvol dan leken. Dit suggereert dat vakspecifieke expertise leidt tot grotere epistemische waakzaamheid en voorzichtigheid met betrekking tot overgeneralisatie.
• LLM's vs. Mensen: Beide LLM's (ChatGPT-5 en DeepSeek-V3.1) beoordeelden wetenschappelijke conclusies als significant meer generaliseerbaar, geloofwaardig en impactvol dan zowel leken als experts. Dit duidt op een systematische neiging van deze modellen om de kracht en reikwijdte van wetenschappelijke claims te overschatten.
• Interactie-effecten: Experts (met name psychologen en biomedisch onderzoekers) vertoonden een sterkere gevoeligheid voor linguïstische framing dan leken. Zij degradeerden generieken aanzienlijk meer dan leken wanneer zij overgingen van de verleden tijd of gequalificeerde frames. LLM's vertoonden daarentegen juist een opwaartse aanpassing in de generaliseerbaarheidsratings wanneer zij overgingen van generics naar de verleden tijd, wat afwijkt van menselijke patronen.

3. Kwalitatieve Voorkeuren

• Menselijke Voorkeuren: 64% van de menselijke deelnemers gaf de voorkeur aan de "de studie suggereert"-framing, waarbij zij een balans tussen zelfvertrouwen en voorzichtigheid waardeerden. Zij bekritiseerden bare generics vaak als "overmoedig" en "overgeneraliserend".
• LLM Voorkeuren: ChatGPT-5 gaf een sterke voorkeur aan bare generics (52), waarbij het "zelfvertrouwen" en "gemak van interpretatie" voor niet-experts aanhaalde. DeepSeek-V3.1 stemde meer overeen met menselijke voorkeuren door de voorkeur te geven aan "de studie suggereert".
• Redenering: Mensen legden de nadruk op het vermijden van extremen en het relativeren van bevindingen tot de specifieke studie. LLM's gaven prioriteit aan helderheid en brede toepasbaarheid, vaak ten koste van de voorzichtigheid die mensen noodzakelijk achtten.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Misalignment: De studie levert de eerste directe vergelijking van hoe leken, domeinexperts en LLM's wetenschappelijke generieken interpreteren. Het onthult een "dubbele misalignment": experts interpreteren generieken nauwer dan het publiek, terwijl LLM's generieken zelfs breder interpreteren dan het publiek.
2. Expertise-effecten: De bevindingen dagen het idee uit dat niet alle experts taal op dezelfde manier interpreteren. Vakspecifieke expertise (psychologie en biomedische wetenschappen) drijft een meer voorzichtige interpretatie van generieken aan, waarschijnlijk door bewustzijn van replicatiecrises en methodologische beperkingen, terwijl experts in andere velden niet significant verschilden van leken.
3. LLM-gedrag in Wetenschapscommunicatie: Het artikel toont aan dat toonaangevende LLM's wetenschappelijke bevindingen systematisch overgeneraliseren. Dit suggereert dat LLM's niet louter teksten samenvatten, maar actief de waargenomen reikwijdte en geloofwaardigheid van claims versterken, wat potentieel afwijkt van de intentie van de oorspronkelijke auteurs.
4. Nuance in Framing: De studie benadrukt dat niet alle kwalificaties identiek functioneren. Hoewel de "verleden tijd" de geloofwaardigheid verbeterde, verminderde "hedging" (bijv. "zou kunnen") zowel de geloofwaardigheid als de impact, wat suggereert dat het type kwalificatie cruciaal is voor het publieke begrip.

Betekenis en Implicaties

De auteurs stellen dat deze interpretatieve misalignments aanzienlijke risico's vormen voor de wetenschapscommunicatie.

• Voor Wetenschappers: Experts kunnen onbedoeld overgeneralisatie aanmoedigen door generieken te gebruiken, in de veronderstelling dat hun publiek hun genuanceerde, voorzichtige interpretatie deelt. De data suggeren dat zelfs framing in de verleden tijd overgeneralisatie door leken niet volledig kan voorkomen.
• Voor LLM's: Als LLM's worden gebruikt om onderzoek samen te vatten voor het publiek, zou hun neiging om generics als zeer geloofwaardig en breed toepasbaar te beoordelen, kunnen leiden tot de systematische verspreiding van opgeblazen wetenschappelijke claims. Dit is bijzonder zorgwekkend gezien het gebrek aan "epistemische waakzaamheid" of domeinspecifieke scepsis bij LLM's vergeleken met menselijke experts.
• Voor Beleid en Educatie: De bevindingen onderstrepen de noodzaak van meer aandacht voor taalgebruik in zowel door mensen als door AI gemedieerde wetenschapscommunicatie. Er is een behoefte om de percepties van experts en het publiek op elkaar af te stemmen en te monitoren hoe LLM's met generieke claims omgaan om de normalisering van overgeneralisatie te voorkomen.

Het artikel concludeert dat hoewel generieken retorisch efficiënt zijn voor wetenschappers, het gebruik ervan een zorgvuldige kalibratie vereist om een accurate transmissie van wetenschappelijke onzekerheid naar diverse doelgroepen, inclusief AI-systemen, te waarborgen.