Classification testing: A new framework for drawing qualitative conclusions from quantitative estimates
Dit artikel introduceert "classificatietesten", een nieuw statistisch kader dat onderzoekers in staat stelt om kwantitatieve schattingen toe te kennen aan substantieel relevante kwalitatieve klassen met gecontroleerde foutmarges of de resultaten als inconclusief te verklaren, waarbij wordt betoogd dat deze aanpak de standaard hypothesetoetsing verbetert door rivaliserende mogelijkheden beter te beoordelen en hypothesen bloot te stellen aan weerlegging.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de sociale wetenschappen besteden onderzoekers hun tijd aan het meten van zaken die niet direct zichtbaar zijn: hoe een nieuw beleid een gemeenschap verandert, of een specifieke boodschap de stem van een persoon beïnvloedt, of of een behandeling de gezondheid van een patiënt verbetert. Ze verzamelen gegevens en analyseren getallen om het gemiddelde effect van deze acties te vinden. De uiteindelijke geschiedenis die ze vertellen, bestaat echter zelden uit een lange reeks decimalen. In plaats daarvan vertalen ze deze precieze getallen naar eenvoudige, kwalitatieve oordelen. Ze beslissen of een effect echt of niet-bestaand is, positief of negatief, of zo klein dat het er niet toe doet. Om deze oordelen te ondersteunen, vertrouwen wetenschappers op een standaardmethode genaamd hypothesetoetsing. Deze methode fungeert als een poortwachter, ontworpen om het publiek te beschermen tegen valse alarmen door ervoor te zorgen dat wanneer een onderzoeker beweert dat een resultaat echt is, de kans dat die bewering een fout is, zeer laag wordt gehouden.
Decennialang heeft dit systeem goed gewerkt voor het bevestigen van een specifieke voorspelling, maar het heeft een aanzienlijke blinde vlek. Het is gebouwd om te bewijzen dat er iets gebeurt, maar het worstelt ermee om te bewijzen dat er niets gebeurt, of om te beslissen tussen twee concurrerende mogelijkheden met gelijke eerlijkheid. Als een onderzoeker probeert te bewijzen dat een behandeling werkt, staat het systeem hem toe om de overwinning te verklaren als het bewijs sterk genoeg is. Maar als het bewijs zwak is, zegt het systeem simpelweg dat de onderzoeker er niet in is geslaagd zijn punt te bewijzen; het staat hen niet toe om met vertrouwen te verklaren dat de behandeling daadwerkelijk niets doet. Dit creëert een ongelijk speelveld waarbij sommige conclusies gemakkelijk te bereiken zijn, terwijl andere buiten bereik blijven, wat de hele wetenschappelijke conversatie potentieel kan sturen naar alleen de meest optimistische bevindingen.
Een nieuw kader, voorgesteld door politicologen Andrew Eggers en Zikai Li, biedt een andere manier om door deze onzekerheden te navigeren. Zij noemen het "classificatietoetsing" (classification testing). In plaats van een onderzoeker te dwingen om één favoriete theorie te kiezen om te verdedigen, vraagt deze benadering hen om alle mogelijke uitkomsten te verdelen in afzonderlijke categorieën op basis van wat er in de echte wereld werkelijk toe doet. Een onderzoeker kan bijvoorbeeld de mogelijkheden verdelen in drie groepen: het effect is positief en groot genoeg om aandacht aan te besteden, het effect is negatief en groot genoeg om aandacht aan te besteden, of het effect is zo klein dat het verwaarloosbaar is. Het doel is niet alleen om te zien of een getal verschillend is van nul, maar om het resultaat in de juiste categorie te sorteren.
De kracht van deze nieuwe methode ligt in het vermogen om al deze categorieën met hetzelfde niveau van statistische strengheid te behandeli. In het oude systeem kon een onderzoeker alleen met vertrouwen zeggen "het effect is positief" als hij de gedachte verwierp dat het nul of negatief was. Hij kon nooit met hetzelfde vertrouwen zeggen "het effect is nul" of "het effect is negatief", tenzij hij vooraf een zeer specifieke, vaak onhandige test had opgezet. Classificatietoetsing verwijdert deze bias. Het stelt een onderzoeker in staat om naar de gegevens te kijken en met gecontroleerde foutmarges te zeggen dat het resultaat in de categorie "verwaarloosbaar" valt, of de categorie "positief en substantieel", of dat de gegevens simpelweg te troebel zijn om een besluit te nemen. Het verandert de wetenschappelijke vraag van "Kan ik mijn hypothese bewijzen?" naar "Wat is de meest eerlijke beschrijving van dit resultaat?".
Om te zien hoe dit in de praktijk werkt, hebben de auteurs hun methode toegepast op een bekend veldexperiment over mediaconsumptie. De oorspronkelijke studie onderzocht wat er gebeurde toen regelmatige kijkers van Fox News werden blootgesteld aan CNN. De onderzoekers hadden eenëven-dertig verschillende uitkomsten gemeten, variërend van veranderingen in politieke voorkeuren tot verschuivingen in het vertrouwen in nieuwsbronnen. Wanneer zij de standaard toetsmethode toepasten die in de meeste sociale wetenschappelijke tijdschriften wordt gebruikt, vonden zij dat zestien van deze uitkomsten "significant" waren en zestien niet. Dit liet de helft van de resultaten in een staat van onzekerheid, waarbij de onderzoekers niet met vertrouwen konden zeggen of het effect echt of niet-bestaand was.
Wanneer de auteurs dezelfde gegevens opnieuw analyseerden met classificatietoetsing, werd het beeld veel duidelijker. Door de resultaten te sorteren in categorieën van "positief en substantieel", "negatief en substantiel", of "verwaarloosbaar", waren zij in staat om met vertrouwen en gecontroleerde foutmarges uitspraken te doen over eenentwintig van de tweeëndertig uitkomsten. Zij konden met vertrouwen zeggen dat voor sommige maten het effect groot en positief was. Voor andere konden zij met vertrouwen zeggen dat het effect zo klein was dat het verwaarloosbaar was. Zelfs voor de resultaten die de oude methode als "niet significant" bestempelde, maakte de nieuwe methode hen vaak in staat om te concluderen dat het effect werkelijk verwaarloosbaar was, in plaats van slechts onbekend. De enige keer dat zij "onbeslist" moesten zeggen, was wanneer de gegevens werkelijk te ruisachtig waren om een stevige claim te ondersteunen.
Deze verschuiving verandert de prikkels voor hoe onderzoek wordt uitgevoerd. Onder de oude regels werden onderzoekers vaak onder druk gezet om een positief resultaat te vinden om gepubliceerd te worden, wat leidde tot studies die waarschijnlijk hun verwachtingen zouden bevestigen. Het nieuwe kader moedigt een meer open benadering aan. Omdat de methode toestaat om met vertrouwen te concluderen dat een effect klein of niet-bestaand is, kunnen onderzoekers genuanceerde vragen onderzoeken zonder de angst dat een "nul"-resultaat een mislukking is. Het behandelt de mogelijkheid van een klein effect als een geldige, testbare uitkomst in plaats van een doodlopende weg.
De auteurs betogen dat deze benadering de wetenschap niet minder streng maakt; het behoudt in feite dezelfde hoge standaarden voor het vermijden van valse claims. Het breidt simpelweg het bereik van vragen uit die met vertrouwen beantwoord kunnen worden. Door wetenschappers in staat te stellen om te verklaren dat een effect verwaarloosbaar is met dezelfde zekerheid waarmee zij verklaren dat het groot is, vermindert de methode de druk om gegevens in een specifiek narratief te dwingen. Het suggereert dat de meest waardevolle wetenschappelijke conclusie niet altijd een spectaculaire ontdekking is, maar soms een heldere, eerlijke beoordeling dat een bepaalde interventie geen betekenisvol verschil maakt. Deze helderheid, suggereren de auteurs, is de sleutel tot het opbouwen van een betrouwbaarder en minder bevooroordeeld begrip van hoe de sociale wereld werkt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.