Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0
Dit artikel introduceert een methode van "inverse meta-analyse" om de kwaliteit van metingen vóór verwijdering te herstellen uit gepubliceerde studies, waarbij wordt onthuld dat de wijdverbreide praktijk van het verwijderen van zwakke items in de Technology Readiness Index 2.0 de betrouwbaarheidsmetingen kunstmatig opblaast en de werkelijke zwakte van de remmende dimensiesen verhult.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de sociale wetenschappen vertrouwen onderzoekers vaak op enquêtes om complexe menselijke gevoelens te meten, zoals hoe klaar iemand is om nieuwe technologie te omarmen. Om dit te doen, gebruiken ze lange lijsten met vragen, of "items", die mensen vragen om in of tegen te stemmen bij stellingen over hun zelfvertrouwen, angsten en gewoonten met betrekking tot technologie. Bij het ontwerpen van deze enquêtes is het doel een gebalanceerd beeld te creëren: sommige vragen meten positieve gevoelens zoals enthousiasme en een verlangen naar innovatie, terwijl andere negatieve gevoelens meten zoals angst en een vrees voor het verlies van controle. Voor een enquête om als betrouwbaar te worden beschouwd, moeten de vragen die elk specifiek gevoel meten nauw met elkaar samenhangen, wat betekent dat mensen die op één manier over een onderwerp denken, over het algemeen hetzelfde moeten voelen over de andere vragen over dat onderwerp. Als de vragen niet goed bij elkaar passen, wordt gezegd dat de enquête een gebrek aan "validiteit" heeft, en zijn de resultaten die het produceert onbetrouwbaar.
Jarenlang is een veelgebruikte enquête genaamd de Technology Readiness Index de standaardtool geweest voor het meten van deze gereedheid. Echter, een recente onderzoek suggereert dat het gepubliceerde verslag van het succes van deze enquête misleidend kan zijn. Wanneer onderzoekers hun enquêtegegevens analyseren, stellen ze soms vast dat bepaalde vragen niet goed in het patroon passen. De standaardpraktijk is om simpelweg die zwakke vragen te verwijderen en de resultaten te rapporteren op basis van alleen de resterende, sterkere vragen. Hoewel dit een redelijke manier van werken lijkt om de gegevens op te schonen, stelt een nieuwe studie dat deze routineuze verwijdering een aanzienlijk probleem verbergt: de negatieve kant van technologische gereedheid is systematisch verzwakt in de literatuur, waardoor de enquête robuuster lijkt dan hij in werkelijkheid is.
Een onderzoeker zette zich in om de ware staat van deze enquête te achterhalen door terug te kijken in de gepubliceerde literatuur. De focus lag op de Technology Readiness Index 2.0, een verkorte versie van de originele enquête die zestien vragen bevat, verdeeld over vier categorieën: twee positieve categorieën genaamd "optimisme" en "innovativiteit", en twee negatieve categorieën genaamd "ongemak" en "onzekerheid". In de oorspronkelijke validatie van deze enquête waren de negatieve categorieën al bekend als de zwakkere schakel, waarbij de vragen niet zo nauw met elkaar samenhingen als de positieve vragen. Toch lijken de negatieve categorieën in de duizenden studies die sindsdien zijn gepubliceerd, vaak aan dezelfde hoge kwaliteitsnormen te voldoen als de positieve categorieën. De onderzoeker vermoedde dat deze verbetering een illusie was, gecreëerd door de selectieve verwijdering van de zwakste vragen.
Om dit te testen, ontwikkelde de onderzoeker een methode die hij een "inverse meta-analyse" noemt. In plaats van simpelweg de resultaten van veel studies te middelen, werkte hij achterstevoren vanuit de statistieken die auteurs al hadden gepubliceerd. Hij behandelde de ontbrekende vragen — de vragen die auteurs hadden verwijderd — alsof het verborgen datapunten waren die bekend stonden als zwak. Door de gerapporteerde cijfers voor de resterende vragen en de bekende regels die auteurs gebruikten voor het verwijderen van items te gebruiken, kon de onderzoeker wiskundig reconstrueren hoe de resultaten van de enquête eruit zouden hebben gezien als er geen vragen waren weggegooid. Dit stelde hem in staat om de ware kracht van de enquête te schatten voordat er enige bewerking plaatsvond.
Het onderzoek omvatte vierentwintig gepubliceerde studies die voldoende details boden voor analyse. De onderzoeker stelde vast dat de negatieve categorieën, met name de categorie die "onzekerheid" meet, inderdaad de slachtoffers waren van deze selectieve verwijdering. Auteurs waren aanzienlijk eerder geneigd om vragen uit de negatieve categorieën te verwijderen dan uit de positieve categorieën. Sterker nog, de negatieve categorieën waren ongeveer twaalf procent eerder geneigd om ten minste één vraag te verliezen. Wanneer de onderzoeker deze verwijderde vragen terugbracht in de gegevens, veranderde het beeld drastisch. De kwaliteit van de negatieve categorieën daalde, wat onthulde dat ze veel zwakker waren dan de gepubliceerde rapporten suggereerden.
Specifiek vond de onderzoeker dat de kloof tussen de positieve en negatieve categorieën, die klein leek in de gepubliceerde rapporten, bijna verdubbelde zodra de verwijderde items werden meegerekend. In de gepubliceerde literatuur leken de negatieve categorieën te voldoen aan de standaardtest voor kwaliteit. Echter, na de reconstructie faalde meer dan één op vijf van de studies die "onzekerheid" maten diezelfde test. De meest frequent verwijderde vraag was een vraag over het vertrouwen in zaken doen met een bedrijf dat alleen online bestaat. Deze vraag, samen met een andere over de afhankelijkheid van de samenleving van technologie, werd zo vaak verwijderd dat het de resultaten van de gehele enquête in het gepubliceerde verslag vertekende.
Om de deugdelijkheid van zijn methode te waarborgen, voerde de onderzoeker een computersimulatie uit waarbij hij nepstudies maakte met bekende antwoorden. Hij programmeerde de fictieve auteurs om zwakke vragen te verwijderen precies zoals echte auteurs dat doen, en paste vervolgens zijn reconstructiemethode toe op de fictieve resultaten. De simulatie bevestigde dat zijn techniek accuraat en conservatief was; het verzon geen problemen waar die niet waren, maar slaagde er wel in de ware, zwakkere kwaliteit van de negatieve categorieën te herstellen die door verwijdering verborgen waren gebleven. De methode werkte zelfs wanneer de verwijderingsregels strikt waren, wat bewees dat het verschil tussen de gepubliceerde cijfers en de werkelijke cijfers echt was.
Ten slotte testte de onderzoeker zijn theorie op twee ruwe datasets waarin helemaal geen vragen waren verwijderd. In deze onbewerkte datasets voldeden de negatieve categorieën op zichzelf niet aan de kwaliteitsnormen, wat bevestigde dat de zwakte inherent was aan het ontwerp van de enquête en niet slechts het gevolg was van pech in een paar studies. Wanneer de onderzoeker de typische verwijderingsregel toepaste op deze ruwe datasets, schoten de gerapporteerde kwaliteits scores omhoog en overschreden ze de drempel voor succes. Dit demonstreerde precies hoe de routineuze praktijk van het verwijderen van items een falende enquête kon veranderen in een geslaagde, simpelweg door het bewijs van haar falen te verwijderen.
De studie concludeert dat de gepubliceerde literatuur over technologische gereedheid meer gevormd is door de keuzes van auteurs dan door de realiteit van de gegevens. Door de zwakste vragen te verwijderen, hebben onderzoekers een versie van de enquête gecreëerd die er gebalanceerd en betrouwbaar uitziet, terwijl het onderliggende instrument nog steeds gebrekkig is in zijn vermogen om angst en onzekerheid over technologie te meten. De onderzoeker stelt dat dit niet alleen een probleem is voor deze specifieke enquête, maar een waarschuwing voor het hele vakgebied. Hij dringt er bij wetenschappers op aan om elke vraag die ze stellen te rapporteren, inclusief de vragen die ze later verwijderen, zodat het volledige beeld van de prestaties van een enquête zichtbaar blijft. Zonder deze transparantie zal het wetenschappelijke verslag mogelijk blijven tonen dat technologische gereedheid perfect gemeten wordt, terwijl de werkelijke instrumenten die worden gebruikt om het te meten, incompleet blijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.