📊 statistics

Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

Dit artikel introduceert een nieuwe 'Binomial Cut-level Content Validity'-methode om het kritieke aantal respondenten te bepalen voor het valideren van vragenlijstitems, waardoor de paradoxale situaties en onnauwkeurigheden van eerdere CVR-benaderingen worden opgelost.

Oorspronkelijke auteurs: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Gouden Regel voor Vragenlijsten: Hoeveel Mensen Moeten Er Meedoen?

Stel je voor dat je een nieuw bordje wilt maken voor een restaurant. Je hebt een lijst met 20 ingrediënten die je denkt dat erin moeten. Maar je weet het niet zeker. Dus vraag je aan een groep culinaire experts: "Is dit ingrediënt essentieel, belangrijk maar niet noodzakelijk, of gewoon overbodig?"

Het probleem is: Hoeveel experts moet je vragen om zeker te weten dat je antwoord betrouwbaar is? En wat als de experts het oneens zijn?

Dit artikel van Costa en collega's gaat precies over dit probleem. Ze kijken naar een oude methode (de CVR-methode) die al decennia wordt gebruikt, maar ze zeggen: "Die methode is een beetje als een oude kompasnaald die soms in de verkeerde richting wijst." Hier is hun nieuwe, betere idee, vertaald naar alledaagse taal.

1. Het Oude Probleem: De "50-50" Gok

De oude methode (van Lawshe uit 1975) deed alsof experts alleen twee keuzes hadden: "Ja, essentieel" of "Nee, niet essentieel".

De analogie: Het is alsof je vraagt: "Is dit een appel?" en je antwoordt alleen "Ja" of "Nee".
De fout: In werkelijkheid hebben experts vaak drie opties: "Essentieel", "Belangrijk maar niet essentieel", en "Onnodig".
Het gevolg: De oude methode deed alsof de kans dat iemand willekeurig "Essentieel" kiest 50% is (een muntje opgooien). Maar als je drie opties hebt, is de kans dat je willekeurig voor "Essentieel" kiest eigenlijk maar 1 op de 3 (33%). De oude methode was dus te streng en rekende met verkeerde cijfers.

2. Het Nieuwe Idee: De "Dubbel-Check" (BCV)

De auteurs stellen een nieuwe methode voor: Binomiale Cut-level Validity (BCV). Laten we dit uitleggen met een metafoor.

Stel je voor dat je een veiligheidssysteem hebt voor een museum.

De oude methode keek alleen of er genoeg mensen waren die zeiden: "Dit schilderij is een meesterwerk!" Als dat genoeg was, hing het schilderij op. Maar ze keken niet of er tegelijkertijd genoeg mensen waren die zeiden: "Dit schilderij is waardeloos!"
Het risico: Stel dat je 10 experts hebt. 6 zeggen "Meesterwerk" en 6 zeggen "Waardeloos" (en 2 zeggen "Middenmoot"). De oude methode zou kunnen zeggen: "Oké, 6 is genoeg, hang het op!" Maar dat is een paradox. Je kunt niet tegelijkertijd een meesterwerk én waardeloos zijn.

De nieuwe methode (BCV) doet een dubbel-check:

Check 1: Zijn er genoeg mensen die zeggen "Essentieel" om het item te houden?
Check 2: Zijn er genoeg mensen die zeggen "Onnodig" om het item weg te gooien?
De Paradox-Alarm: Als beide checks positief zijn (veel mensen zeggen "Essentieel" én veel mensen zeggen "Onnodig"), dan slaat het alarm af! Het systeem zegt: "Stop! Er is verwarring. De groep is niet eens. We moeten dit item niet zomaar accepteren of verwerpen, maar verder onderzoeken."

3. Waarom is dit beter? (De Wiskunde in Gewone Taal)

De auteurs gebruiken een wiskundig model (de binomiale verdeling) dat precies past bij de situatie.

De oude methode probeerde een gebogen lijn (normale verdeling) te gebruiken om een stapel blokken (discrete keuzes) te meten. Dat is als proberen een vierkante peg in een ronde gat te steken.
De nieuwe methode past de wiskunde perfect aan op het aantal opties.
- Heb je 3 opties? Dan is de kans op een willekeurig antwoord 1/3.
- Heb je 4 opties (bijvoorbeeld als je ook "Ik weet het niet" kunt kiezen)? Dan is de kans 1/4.

Dit maakt de berekening veel scherper. Het vertelt je precies hoeveel mensen je nodig hebt om met 95% of 99% zekerheid te zeggen: "Dit item is echt belangrijk" of "Dit item moet weg".

4. Wat levert dit op voor jou?

Als je ooit een enquête maakt, een test ontwerpt of een onderzoek doet, helpt deze nieuwe methode je om:

Geen fouten te maken: Je gooit geen goede vragen weg omdat je dacht dat er te weinig mensen "Ja" zeiden.
Geen rommel te houden: Je gooit slechte vragen wel degelijk weg als ze duidelijk onnodig zijn.
Paradoxen te zien: Je ziet direct als je groep experts het fundamenteel oneens is. In plaats van een fout te maken, weet je dan: "Hé, we moeten dit item herformuleren of de groep experts beter selecteren."

Samenvatting in één zin

De auteurs zeggen: "Stop met het gokken met oude regels die niet passen bij de werkelijkheid. Gebruik in plaats daarvan een slimme 'dubbel-check' die rekening houdt met alle opties die mensen hebben, zodat je weet of je item echt essentieel is, echt onnodig is, of dat je groep het gewoon niet eens is."

Het is alsof je van een ouderwetse, onnauwkeurige weegschaal overstapt op een digitale weegschaal die ook nog eens waarschuwt als je probeert om een steen en een veer tegelijkertijd te wegen.

Titel: Het ontdekken van het kritieke aantal respondenten om een item in een vragenlijst te valideren: Het voorstel voor Binomiale Cut-level Inhoudsvaliditeit (BCV)

1. Het Probleem

De validiteit van vragenlijsten is een eeuwenoud onderwerp, maar de methode om te bepalen welke items essentieel zijn, vertoont nog steeds tekortkomingen. De huidige standaard, de Content Validity Ratio (CVR) zoals geïntroduceerd door Lawshe (1975) en later aangepast door Wilson et al. (2012) en Ayre en Scally (2014), kent drie fundamentele beperkingen:

Onjuiste Kansverdeling: De eerdere methoden gaan er vaak ten onrechte van uit dat de kans ( $p$ ) dat een respondent willekeurig kiest voor "Essentieel" gelijk is aan 0,5 (50%). Echter, Lawshe's schaal biedt drie opties ("Essentieel", "Belangrijk maar niet essentieel", "Onnodig"). De willekeurige kans zou dus $1/3$ moeten zijn.
Onnauwkeurige Benadering: Wilson et al. (2012) gebruikten een normale benadering (Normal Approximation) voor een discrete verdeling. Aangezien de data discreet is (geen continue waarden), is een binomiale verdeling statistisch nauwkeuriger.
Gebrek aan Paradox-Check: Bestaande methoden controleren alleen of een item als "essentieel" kan worden beschouwd. Ze controleren niet of hetzelfde steekproefresultaat het item paradoxaal genoeg ook als "onnodig" zou kunnen valideren. Dit kan leiden tot tegenstrijdige conclusies binnen dezelfde dataset.
Aanpassing aan moderne dataverzameling: In elektronische vragenlijsten wordt vaak een vierde optie ("NA" / "Ik weet het niet") toegevoegd, wat de kansverdeling verder beïnvloedt, iets wat eerdere modellen niet volledig adresseerden.

2. Methodologie: Binomiale Cut-level Validatie (BCV)

De auteurs stellen de Binomial Cut-level Validation (BCV) voor als een verbeterde methode. De kern van de methode is als volgt:

Binomiale Verdeling: In plaats van een normale benadering, wordt de exacte binomiale verdeling gebruikt om de waarschijnlijkheid te berekenen dat een bepaald aantal respondenten ( $n$ ) een antwoord willekeurig heeft gekozen.
Aanpassing van $p$ : De kans $p$ $p$ wordt dynamisch bepaald op basis van het aantal opties in de schaal:
- Voor een 3-puntsschaal (Essentieel, Belangrijk, Onnodig): $p = 1/3 \approx 0,33$ .
- Voor een 4-puntsschaal (inclusief "NA"): $p = 1/4 = 0,25$ .
Formule: De kans dat $n$ respondenten een specifiek antwoord willekeurig kiezen, wordt berekend met:
$P(n) = \binom{N}{n} \cdot p^n \cdot (1-p)^{(N-n)}$
Waarbij $N$ het totale aantal experts is en $n$ het aantal experts dat voor een specifieke optie koos.
Dubbelzijdige Validatie (Double Check): De methode test zowel de hypothese dat een item "Essentieel" is als dat het "Onnodig" is.
- Er wordt een cut-level ( $\lambda$ ) vastgesteld (bijv. 0,05 of 0,01), wat de maximale toegestane kans is dat de resultaten willekeurig zijn.
- Een item wordt als "Essentieel" gevalideerd als het aantal stemmen ( $n_E$ ) de kritieke waarde ( $n_{critical}$ ) overschrijdt én de kans op willekeur lager is dan $\lambda$ .
- Dezelfde logica wordt toegepast voor "Onnodig" ( $n_U$ ).

3. Belangrijkste Bijdragen

De auteurs introduceren een algoritme dat items in vier categorieën indeelt, wat een significant vooruitgang is ten opzichte van de binariale "behouden/verwerpen"-logica van de CVR:

Sterk aanbevolen om te behouden: Het item is gevalideerd als "Essentieel" en niet als "Onnodig".
Sterke Paradox (Type A): Het item wordt zowel als "Essentieel" als "Onnodig" gevalideerd. Dit duidt op een heterogene perceptie binnen de steekproef en vereist verdere analyse.
Zwakke Paradox (Type B): Het item wordt noch als "Essentieel" noch als "Onnodig" gevalideerd. De steekproef is hierin niet eenduidig.
Sterk aanbevolen om te verwijderen: Het item is gevalideerd als "Onnodig" en niet als "Essentieel".

Daarnaast biedt de methode tabellen met kritieke waarden ( $n_{critical}$ ) voor steekproefgroottes van 5 tot 100 (en uitgebreid tot 10.000 in een open repository), specifiek berekend voor de juiste binomiale kansen ( $1/3$ of $1/4$ ).

4. Resultaten

Vergelijking met eerdere methoden: De BCV levert vaak lagere kritieke waarden op dan de methoden van Wilson et al. en Ayre en Scally bij een betrouwbaarheidsniveau van 95% ( $\lambda = 0,05$ ). Dit betekent dat BCV sommige items die door de oude methoden worden verworpen, toch als "Essentieel" kan classificeren, omdat het gebruik van de juiste $p$ -waarde ( $1/3$ ) de drempel voor willekeur verlaagt.
Paradoxdetectie: De studie toont aan dat het mogelijk is om situaties te detecteren waarin een item paradoxaal genoeg zowel essentieel als onnodig lijkt te zijn binnen dezelfde steekproef. Eerdere methoden zouden dit over het hoofd zien en mogelijk een verkeerde beslissing nemen.
Flexibiliteit: De methode is toepasbaar op schalen met 3 of 4 opties, waardoor hij beter past bij moderne dataverzameling (inclusief "NA"-opties).

5. Betekenis en Conclusie

De Binomial Cut-level Validity (BCV) is een significante verbetering op het gebied van inhoudsvaliditeit voor onderzoeksvragenlijsten.

Statistische Nauwkeurigheid: Door de overgang van een normale benadering naar een exacte binomiale verdeling en het corrigeren van de kans $p$ van 0,5 naar 0,33 (of 0,25), wordt de validatie statistisch robuuster.
Paradoxpreventie: Het vermogen om tegenstrijdige resultaten ("Essentieel" én "Onnodig") te identificeren, biedt onderzoekers een veiligheidsmechanisme om twijfelachtige data te herzien in plaats van ze onkritisch te accepteren.
Praktische Toepassing: De beschikbaarheid van specifieke tabellen voor $n_{critical}$ maakt de methode direct toepasbaar voor onderzoekers die vragenlijsten ontwikkelen in diverse domeinen, zoals gezondheidszorg, onderwijs en management.

Kortom, BCV biedt een meer genuanceerde, statistisch correcte en paradox-resistente manier om te bepalen welke items essentieel zijn voor een vragenlijst, wat leidt tot betrouwbaardere meetinstrumenten.