🔬 physics

The Fragility of Global Comparisons of Perceived Scientist Trustworthiness: Evidence from Measurement Alignment across 68 Countries/Regions

Deze studie toont aan dat grensoverschrijdende vergelijkingen van de waargenomen betrouwbaarheid van wetenschappers op basis van gemiddelden van geobserveerde scores misleidend zijn vanwege een gebrek aan meetinvariantie, en dat het toepassen van meting-alignment op latente variabelen significant andere landrangschikkingen en substantiële associaties onthult vergeleken met de oorspronkelijke bevindingen.

Oorspronkelijke auteurs: Yuke Yang, Zhihao Ma

Gepubliceerd 2026-01-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuke Yang, Zhihao Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij en 67 andere vrienden proberen te beoordelen hoeveel vertrouwen jullie hebben in jullie lokale wetenschappers. Jullie vullen allemaal dezelfde enquête met 12 vragen in. De oorspronkelijke studie (Cologna et al., 2025) nam al deze antwoorden, berekende het gemiddelde per land en creëerde een gigantische "Vertrouwen in Wetenschappers"-leaderboard. Ze gebruikten deze leaderboard vervolgens om te zien wat mensen meer of minder vertrouwen in wetenschappers geeft.

Het Probleem: De Liniaal was Gebroken
De auteurs van dit nieuwe artikel (Yang en Ma) bekeken die studie en zeiden: "Wacht eens even." Ze voerden aan dat de enquêtevragen niet op dezelfde manier werkten in elk land.

Denk er maar eens zo over na: Als je iemand in Land A vraat: "Zijn wetenschappers eerlijk?", denkt diegene misschien aan een wetenschapper die de waarheid spreekt over data. Maar in Land B kan diezelfde vraag mensen doen denken aan een wetenschapper die vriendelijk en behulpzaam is. Hoewel het woord "eerlijk" hetzelfde is, is de betekenis achter het antwoord anders.

De oorspronkelijke studie probeerde de gemiddelde scores te vergelijken alsof iedereen exact dezelfde liniaal gebruikte. Maar als de ene persoon in inches meet en de andere in centimeters, kun je de getallen niet zomaar bij elkaar optellen en zeggen: "Dit land is groter dan dat land." De oorspronkelijke studie gaf toe dat de "liniaal" niet perfect was, maar ze gingen toch door met het vergelijken van de gemiddelden.

De Oplossing: De "Uitlijnings"-tool
De nieuwe auteurs gebruikten een geavanceerd statistisch hulpmiddel genaamd Measurement Alignment (Meetkundige Uitlijning).

Stel je voor dat je 68 verschillende kaarten van dezelfde stad hebt, maar ze zijn allemaal getekend op verschillende schalen en zijn licht gedraaid.

De Oude Manier: Je stapelt de kaarten gewoon op elkaar en raadt waar de herkenningspunten liggen. Dat is slordig en onnauwkeurig.
De Nieuwe Manier (Uitlijning): Je gebruikt een speciaal algoritme om de kaarten net genoeg te draaien, te rekken en te krimpen, zodat het herkenningspunt "eerlijkheid" op Kaart A perfect uitlijnt met het herkenningspunt "eerlijkheid" op Kaart B. Je erkent dat de kaarten licht verschillen, maar je dwingt ze om uit te lijnen zodat je een eerlijke vergelijking kunt maken.

Wat gebeurde er toen ze de wiskunde opnieuw deden?
Toen de auteurs de "uitlijning"-tool op de gegevens toepasten, veranderden de resultaten drastisch:

De Leaderboard kantelde: In de oorspronkelijke studie stonden sommige landen bovenaan en sommige onderaan. Na de uitlijning veranderde de positie van 62 van de 68 landen op de lijst. Sommigen veranderden enorm! Zo daalde Uruguay bijvoorbeeld 15 plaatsen, terwijl de Democratische Republiek Congo 12 plaatsen steeg. De "beste" en "slechtste" landen voor het vertrouwen in wetenschappers waren niet langer dezelfde.
Het "Waarom" veranderde: De oorspronkelijke studie beweerde dat mensen met "populistische" opvattingen (wantrouwen jegens elites) of mensen die geloofden in "sociale dominantie" (het willen van een strikte hiërarchie) veel minder vertrouwen hadden in wetenschappers.
- De Nieuwe Bevinding: Wanneer de uitgelijnde scores werden gebruikt, verdwenen die verbanden bijna volledig. De link tussen die politieke opvattingen en het vertrouwen in wetenschappers was nagenoeg nul.
- Wat wel Waar bleef: De enige zaken die nog steeds sterk het vertrouwen voorspelden, waren positieve attitudes tegenover wetenschap zelf (bijv. "Wetenschap is nuttig", "Ik vertrouw de wetenschappelijke methode").

De Kern van het Verhaal
Het artikel betoogt dat wanneer je verschillende landen met elkaar vergelijkt, je niet simpelweg een gemiddelde van enquêteantwoorden kunt nemen. Als de vragen niet overal exact hetzelfde betekenen, is je "leaderboard" misleidend.

Door de "uitlijning"-methode te gebruiken om de gebroken liniaal te repareren, ontdekten de auteurs dat:

De rangschikking van welke landen het meeste vertrouwen hebben in wetenschappers heel anders is dan eerder gerapporteerd.
Het idee dat politieke ideologie (zoals populisme) het wantrouwen in wetenschappers sterk aanstuurt, misschien een illusie was veroorzaakt door slechte meting.

Kortom: je kunt appels en sinaasappels niet met elkaar vergelijken alleen omdat het allebei fruit is. Je moet ervoor zorgen dat je hetzelfde soort fruit vergelijkt, anders zal je conclusie over welke "beter" is, fout zijn.

Technische Samenvatting: De Fragiliteit van Mondiale Vergelijkingen van de Waargenomen Betrouwbaarheid van Wetenschappers

Probleemstelling
Deze studie adresseert een kritiek methodologisch gebrek in cross-nationaal enquêteonderzoek met betrekking tot de meting van "waargenomen betrouwbaarheid van wetenschappers". Het evalueert de bevindingen van Cologna et al. (2025) opnieuw, die gegevens uit 68 landen/regio's ( $N = 69.534$ ) analyseerden. Hoewel Cologna et al. erkenden dat hun vierfactoren-schaal er niet in slaagde om metrische, scalaire en strikte meetinvariantie (MI) te voldoen, gingen zij toch over tot het uitvoeren van cross-nationale vergelijkingen en regressieanalyses met behulp van gewogen gemiddelden van geobserveerde itemscores. De auteurs van dit artikel stellen dat dergelijke vergelijkingen impliciet aannemen dat er cross-landelijke vergelijkbaarheid bestaat op het niveau van de geobserveerde scores, een conditie die niet aanwezig is wanneer scalaire invariantie ontbreekt. Zonder het vaststellen van meetequivalentie brengt het vergelijken van latente gemiddelden of associaties tussen groepen het risico met zich mee dat misleidende of substantieel ambigue resultaten worden gepresenteerd.

Methodologie
De auteurs hebben de publiekelijk gedeelde dataset opnieuw geanalyseerd met behulp van een rigoureus raamwerk voor meting-uitlijning (measurement alignment) om rekening te houden met de cross-landelijke non-invariantie. De analyse volgde vier afzonderlijke analytische paden om de robuustheid van de resultaten te testen tegen wegingsstrategieën en modelspecificaties:

Pooled vs. Landspecifieke CFA: De studie vergeleken een gepoolde Confirmatory Factor Analysis (CFA) (waarbij alle landen simultaan worden geanalyseerd) met 68 afzonderlijke landspecifieke CFA's.
Wegingsstrategieën: Elk CFA-pad werd zowel met als zonder survey-wegingen geschat om de gevoeligheid voor wegingsspecificaties te evalueren.
Meting-uitlijning (Measurement Alignment): Volgens de benadering van Asparouhov en Muthén (2014) en Han (2023), pasten de auteurs meting-uitlijning toe op het vierfactorenmodel (competentie, integriteit, welwillendheid en openheid). Deze methode staat een zekere mate van non-equivalentie toe in meetparameters (ladingen en intercepten) over groepen heen, terwijl vergelijkbare latente factorscores worden gegenereerd.
Her-schatting van Substantieve Modellen: Met behulp van de uitgelijnde latente scores (waar de uitlijning succesvol convergeerde), voerden de auteurs de multilevel lineaire regressiemodellen opnieuw uit om de associaties tussen de waargenomen betrouwbaarheid van wetenschappers en demografische, ideologische, attitudinale en landelijke voorspellers te beoordelen.

Belangrijkste Resultaten

Meetinvariantie: Over alle vier de analytische specificaties ondersteunden de gegevens configurale en metrische invariantie, maar faalden ze consequent in het vaststellen van scalaire of strikte invariantie. Pogingen om partiële invariantie vast te stellen resulteerden in model-non-convergentie.
Succes van Uitlijning: Meting-uitlijning leverde alleen admissibele oplossingen op voor de dimensies competentie en openheid. De factoren integriteit en welwillendheid faalden consequent bij de uitlijning (wat leidde tot instabiele oplossingen of negatieve $R^2$ -waarden), waarschijnlijk door de culturele en contextuele complexiteit van deze constructen in een maatschappelijke setting versus de oorspronkelijke organisatorische vertrouwentheorie.
Instabiliteit van Rangschikking: Wanneer de land/regio-rangschikkingen opnieuw werden berekend met behulp van uitgelijnde latente scores (specifiek voor de dimensies competentie en openheid) in plaats van geobserveerde gewogen gemiddelden, veranderde de volgorde voor 62 van de 68 landen/regio's. Opvallende verschuivingen waren onder meer Uruguay dat 15 plaatsen daalde, Zuid-Korea dat 11 plaatsen daalde, en de Democratische Republiek Congo die 12 plaatsen steeg.
Substantiele Associaties: De her-analyse veranderde de conclusies over belangrijke voorspellers fundamenteel:
- Wetenschap-gerelateerde populistische attitudes: De oorspronkelijke studie rapporteerde een significante negatieve associatie met betrouwbaarheid. In de her-analyse met uitgelijnde scores was deze associatie bijna nul en niet-significant ( $\beta \approx 0,003, p = 0,775$ ).
- Sociale Dominantie Oriëntatie (SDO): Op vergelijkbare wijze werd de significante negatieve associatie die de oorspronkelijke studie rapporteerde, niet-significant in de opnieuw geanalyseerde modellen.
- Attitudes tegenover Wetenschap: Variabelen zoals het waargenomen voordeel van wetenschap, de bereidheid om kwetsbaar te zijn voor wetenschap en vertrouwen in de wetenschappelijke methode bleven sterk en positief geassocieerd met betrouwbaarheid, consistent met de oorspronkelijke bevindingen.

Betekenis en Claims
Het artikel claimt dat cross-nationale vergelijkingen gebaseerd op geobserveerde-scoregemiddelden misleidend zijn wanneer meetequivalentie niet is vastgesteld. De auteurs demonstreren dat de "league-table" rangschikkingen van landen en de geïnferred relaties tussen ideologische variabelen (zoals populisme en SDO) en vertrouwen in wetenschappers zeer gevoelig zijn voor de manier waarop de non-equivalentie van meting wordt geadresseerd.

De studie concludeert dat latent-variabele benaderingen, specifiek meting-uitlijning, een beter verdedigbare basis bieden voor internationale inferentie dan eenvoudige aggregatie van geobserveerde scores. Het onderstreept dat het vaststellen van—of het adequaat benaderen van—meetvergelijkbaarheid niet louter een technische details is, maar een vereiste voor het interpreteren van cross-landelijke verschillen in niveaus en effectgroottes. Bovendien suggereert het falen van de integriteitsfactor bij de uitlijning dat de conceptualisering van "vertrouwen" mogelijk niet equivalent is over diverse culturele en institutionele settings, wat vraagt om meer uitgebreide cross-culturele conceptuele verheldering en potentieel kwalitatieve validatie van schaalitems in toekomstig onderzoek.

Meer zoals dit