📊 statistics

Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

Diese Studie stellt einen neuen Binomial-Cut-Level-Antrag zur Inhaltsvalidität vor, der die Widersprüche und die ungenaue Wahrscheinlichkeitsannahme bestehender CVR-Methoden (wie Lawshe 1975) behebt, um die notwendige Stichprobengröße für die zuverlässige Validierung von Fragebogenitems zu bestimmen.

Ursprüngliche Autoren: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

Veröffentlicht 2026-03-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🎯 Das Problem: Der „Essential"-Test für Fragebögen

Stellen Sie sich vor, Sie wollen einen neuen Fragebogen erstellen, um herauszufinden, wie zufrieden Menschen mit einem Service sind. Sie haben 50 Fragen aufgeschrieben. Aber welche davon sind wirklich wichtig? Welche sind nur „Füllmaterial"?

Bisher gab es eine beliebte Methode (entwickelt von Lawshe im Jahr 1975 und später verbessert), um das herauszufinden. Man fragt Experten: „Ist diese Frage essenziell (unverzichtbar), wichtig aber nicht essenziell oder unnötig?"

Die alte Methode hat aber ein paar Rätsel und Lücken:

Der Zufalls-Fehler: Die alten Methoden gingen davon aus, dass ein Experte, der raten würde, eine 50%ige Chance hat, „Essenziell" zu wählen. Das ist aber falsch! Es gibt ja drei Optionen. Wenn man raten würde, hätte man nur eine Chance von 1 zu 3 (33%), nicht 1 zu 2. Das ist wie beim Würfeln: Wenn man denkt, man hat bei einem 3-seitigen Würfel eine 50%ige Chance, eine bestimmte Zahl zu werfen, liegt man falsch.
Der Blindfleck: Die alten Methoden haben nur geprüft, ob eine Frage „Essenziell" ist. Sie haben aber nicht geprüft, ob sie gleichzeitig als „Unnötig" durchgeht. Das wäre ein logischer Widerspruch (ein Paradoxon), aber die alten Methoden haben das übersehen.
Die Annäherung: Die alten Methoden haben komplexe mathematische Kurven (Normalverteilung) benutzt, die eigentlich für kontinuierliche Dinge gedacht sind. Aber hier haben wir nur diskrete Punkte (1, 2 oder 3). Das ist wie wenn man versucht, eine Treppe mit einer glatten Rampe zu messen – es passt nicht perfekt.

💡 Die neue Lösung: BCV (Binomial Cut-Level Validity)

Die Autoren dieses Papiers schlagen eine neue Methode vor, die sie BCV nennen. Man kann sich das wie einen doppelten Sicherheitscheck vorstellen.

Stellen Sie sich vor, Sie sind ein Richter in einer Jury.

Die alte Methode hat nur gefragt: „Ist der Angeklagte schuldig?" (Essenziell).
Die neue Methode (BCV) fragt: „Ist der Angeklagte schuldig?" UND „Ist er unschuldig?" (Unnötig).

Wie funktioniert das im Detail?

1. Der richtige Würfel (Die Wahrscheinlichkeit)
Wenn ein Experte raten würde, welche Option er ankreuzt, hat er bei drei Optionen (Essenziell, Wichtig, Unnötig) eine Wahrscheinlichkeit von 1/3 (ca. 33%), nicht 50%. Die neue Methode rechnet genau mit diesen 33%. Wenn es vier Optionen gibt (z.B. mit „Ich weiß es nicht"), rechnet sie mit 25%. Das macht das Ergebnis viel präziser.

2. Der Doppel-Check (Das Paradoxon)
Die neue Methode prüft zwei Dinge gleichzeitig:

Haben genug Leute gesagt: „Das ist essenziell"?
Haben genug Leute gesagt: „Das ist unnötig"?

Hier passieren die interessanten Dinge:

Szenario A (Klarer Sieg): Die meisten sagen „Essenziell", kaum jemand sagt „Unnötig". -> Behalten!
Szenario B (Der große Widerspruch): Viele sagen „Essenziell" UND viele sagen „Unnötig". -> Achtung! Paradoxon! Das bedeutet, die Experten sind sich völlig uneinig. Die Frage ist so verwirrend oder das Thema ist zu umstritten, dass man sie nicht einfach so behalten kann. Man muss tiefer graben.
Szenario C (Der „Niemand-Check"): Niemand sagt „Essenziell", aber auch niemand sagt „Unnötig". -> Zweifel. Die Frage ist vielleicht zu vage.
Szenario D (Klarer Verlierer): Die meisten sagen „Unnötig". -> Weg damit!

3. Der „Cut-Level" (Der Sicherheitsgurt)
Statt einer starren Tabelle nutzen die Autoren einen „Cut-Level" (eine Schwelle). Das ist wie ein Sicherheitsgurt im Auto.

Wenn Sie λ = 0,05 wählen, sagen Sie: „Ich will nur dann glauben, dass eine Frage essenziell ist, wenn die Wahrscheinlichkeit, dass das Ergebnis nur durch Zufall zustande kam, kleiner als 5% ist."
Das ist strenger und wissenschaftlich sauberer als die alten Tabellen.

🚀 Warum ist das besser?

Stellen Sie sich vor, Sie bauen ein Haus (den Fragebogen).

Die alte Methode hat gesagt: „Wir brauchen 10 Ziegelsteine, damit das Dach hält." Aber sie hat nicht geprüft, ob die Ziegelsteine vielleicht auch als Müll abgestempelt wurden.
Die neue Methode (BCV) sagt: „Wir prüfen genau, ob diese Ziegelsteine wirklich zum Dach gehören (Essenziell) ODER ob sie eigentlich nur Schutt sind (Unnötig). Und wenn die Hälfte der Bauarbeiter sagt 'Das ist ein Ziegel' und die andere Hälfte 'Das ist Schutt', dann wissen wir: Hier stimmt etwas nicht mit dem Plan!"

📝 Zusammenfassung in einem Satz

Diese Forschung schlägt vor, bei der Überprüfung von Fragebögen nicht nur zu schauen, ob etwas „wichtig" ist, sondern auch, ob es „unnötig" ist, und dabei die Mathematik so anzupassen, dass sie den tatsächlichen Wahrscheinlichkeiten beim Raten gerecht wird – damit man keine widersprüchlichen Ergebnisse übersieht und bessere Entscheidungen trifft.

Kurz gesagt: Es ist ein smarterer, fairerer und genauerer Weg, um herauszufinden, was wirklich zählt und was man wegwerfen kann.

Titel:

Entdeckung der kritischen Anzahl von Befragten zur Validierung eines Items in einem Fragebogen: Der Vorschlag für eine binomiale Cut-Level-Inhaltsvalidität (BCV)

1. Problemstellung

Die Inhaltsvalidität (Content Validity) von Fragebogenitems ist ein zentrales Thema in der empirischen Forschung. Bisherige etablierte Methoden, insbesondere der Content Validity Ratio (CVR) nach Lawshe [1975] sowie dessen Weiterentwicklungen durch Wilson et al. [2012] und Ayre & Scally [2014], weisen signifikante methodische Mängel auf:

Falsche Wahrscheinlichkeitsannahme: Die bisherigen Modelle gehen fälschlicherweise davon aus, dass die Wahrscheinlichkeit ( $p$ ), dass ein Experte ein Item zufällig als "Essenziell" bewertet, bei 50 % ( $p=0,5$ ) liegt. Dies ignoriert, dass Lawshe-Skalen typischerweise drei Optionen bieten ("Essenziell", "Wichtig aber nicht essenziell", "Unnötig"). Bei drei Optionen beträgt die Zufallswahrscheinlichkeit eigentlich $p=1/3$ .
Verwendung der Normalapproximation: Wilson et al. [2012] verwendeten eine Normalapproximation für eine diskrete Verteilung, was mathematisch ungenau ist. Ayre & Scally [2014] korrigierten dies zwar hin zu einer binomialen Verteilung, behielten aber fälschlicherweise $p=0,5$ bei.
Fehlende Paradoxon-Erkennung: Bestehende Methoden prüfen nur, ob ein Item als "Essenziell" validiert werden kann. Sie erkennen nicht, ob dasselbe Item gleichzeitig auch als "Unnötig" validiert werden könnte. Dies führt zu einem logischen Paradoxon, wenn eine Stichprobe heterogene Meinungen hat, die beide Extreme stützen.
Fehlende Diskriminierung: Es gibt keine klare Methode, um Items basierend auf einer signifikanten Ablehnung als "Unnötig" zu verwerfen.

2. Methodik: Binomial Cut-Level Validity (BCV)

Die Autoren schlagen die Binomial Cut-Level Validity (BCV) als Alternative zum CVR vor. Die Methode basiert auf folgenden Prinzipien:

Binomiale Verteilung: Die Berechnung erfolgt strikt über die Binomialverteilung, angepasst an die tatsächliche Anzahl der Antwortoptionen ( $n_{options}$ $n_{o pt i o n s}$ ).
- Bei einer 3-Punkte-Skala (ohne "Keine Antwort"): $p = 1/3 \approx 0,33$ .
- Bei einer 4-Punkte-Skala (mit Option "NA" / "Keine Antwort"): $p = 1/4 = 0,25$ .
Zweiseitige Prüfung (Double Check): Die Methode prüft nicht nur die Zustimmung zur "Essenzialität", sondern auch die Zustimmung zur "Unnötigkeit".
Schwellenwert ( $\lambda$ ): Es wird ein Cut-Level $\lambda$ definiert (z. B. 0,05 oder 0,01), das die maximale Wahrscheinlichkeit darstellt, dass die beobachtete Anzahl von Zustimmungen zufällig (aleatorisch) entstanden ist.
Kritische Anzahl ( $n_{critical}$ ): Für eine gegebene Stichprobengröße $N$ und ein gewähltes $\lambda$ wird die minimale Anzahl von Experten ( $n_{critical}$ ) berechnet, die notwendig ist, um die Nullhypothese (zufällige Beantwortung) abzulehnen.

Der Entscheidungsalgorithmus:
Für jedes Item werden die Anzahl der Experten ( $n_E$ ) gezählt, die es als "Essenziell" bewerten, und die Anzahl ( $n_U$ ), die es als "Unnötig" bewerten. Basierend auf dem Vergleich mit $n_{critical}$ und $N \cdot p$ ergeben sich vier Szenarien:

Stark empfohlen zu behalten (A): Item ist signifikant "Essenziell" und nicht signifikant "Unnötig".
Starkes Paradoxon (B): Item ist signifikant sowohl "Essenziell" als auch "Unnötig". Dies deutet auf eine heterogene oder inkonsistente Stichprobe hin.
Schwaches Paradoxon (C): Item ist weder signifikant "Essenziell" noch signifikant "Unnötig".
Stark empfohlen zu verwerfen (D): Item ist signifikant "Unnötig" und nicht signifikant "Essenziell".

3. Wichtige Beiträge

Präzisere Wahrscheinlichkeitsmodelle: Ersetzung der willkürlichen Annahme $p=0,5$ durch die mathematisch korrekte Annahme basierend auf der Anzahl der Skalenpunkte ( $p=1/3$ oder $1/4$ ).
Paradoxon-Erkennung: Einführung eines Mechanismus, der Inkonsistenzen in den Daten aufdeckt, indem geprüft wird, ob ein Item gleichzeitig als essenziell und unnötig validiert wird.
Verwerfungslogik: Die Methode ermöglicht nicht nur die Bestätigung von Items, sondern auch deren fundierte Ablehnung basierend auf einer signifikanten Zustimmung zur Kategorie "Unnötig".
Flexibilität: Die Methode ist anpassbar an Fragebögen mit unterschiedlichen Skalengrößen (3 oder 4 Punkte) und verschiedenen Konfidenzniveaus ( $\lambda = 0,05$ oder $0,01$).

4. Ergebnisse

Vergleichende Analyse: Ein Vergleich der kritischen Werte ( $n_{critical}$ ) zeigt, dass die BCV-Methode bei einem Signifikanzniveau von 0,05 oft niedrigere kritische Schwellenwerte liefert als die Methoden von Wilson et al. und Ayre & Scally. Dies bedeutet, dass BCV in der Lage ist, Items als "Essenziell" zu klassifizieren, die von den alten Methoden verworfen würden, da diese auf einer falschen Wahrscheinlichkeitsbasis ( $p=0,5$ ) beruhen.
Tabellen: Die Autoren stellen detaillierte Tabellen (Tabelle 6 und 7 im Anhang) bereit, die die erforderliche Anzahl von Experten für verschiedene Stichprobengrößen ( $N=5$ bis $100$) und Cut-Levels auflisten.
Konservativismus: Die BCV wird als "vorsichtiger" in der Klassifizierung beschrieben, da sie die Wahrscheinlichkeit von Zufallsergebnissen strikter kontrolliert und Paradoxien aufdeckt, die sonst unentdeckt blieben.

5. Bedeutung und Fazit

Die vorgeschlagene Binomial Cut-Level Validity (BCV) stellt einen signifikanten methodischen Fortschritt in der Inhaltsvalidität dar. Sie behebt die statistischen Ungenauigkeiten der jahrzehntealten Lawshe-Methode und ihrer Nachfolger.

Wissenschaftliche Relevanz: Durch die korrekte Anwendung der Binomialverteilung und die Berücksichtigung der tatsächlichen Antwortoptionen liefert BCV robustere und verlässlichere Ergebnisse für die Item-Auswahl in Fragebögen.
Praktischer Nutzen: Forscher erhalten ein Werkzeug, um nicht nur zu bestätigen, was wichtig ist, sondern auch zu erkennen, wann Daten widersprüchlich sind (Paradoxon) oder wann Items klar verworfen werden sollten. Dies erhöht die Qualität und Validität von Messinstrumenten in Bereichen wie Bildung, Gesundheitswesen und Qualitätsmanagement.
Zukunftsperspektiven: Die Autoren schlagen vor, die BCV als Input für die Berechnung des Content Validity Index (CVI) zu nutzen und die Methode auf Multi-Kriterien-Entscheidungsmodelle anzuwenden.

Zusammenfassend bietet die BCV einen rigorosen, statistisch fundierten Rahmen, um die Notwendigkeit von Fragebogenitems zu validieren und gleichzeitig die Integrität der Stichprobenergebnisse durch die Erkennung von Paradoxien zu sichern.