Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

Titolo: Scoprire il numero critico di rispondenti per validare un item in un questionario: La proposta di Validità dei Contenuti a Livello di Taglio Binomiale (BCV)

1. Il Problema

La ricerca affronta una questione fondamentale nella validazione dei questionari: come determinare il numero esatto di rispondenti necessari per validare un item come "essenziale" per gli obiettivi del questionario stesso.
Sebbene esistano metodi consolidati come il Content Validity Ratio (CVR) proposto da Lawshe (1975) e le successive revisioni di Wilson et al. (2012) e Ayre e Scally (2014), gli autori identificano diverse criticità metodologiche:

• Assunzione probabilistica errata: I metodi precedenti assumono che la probabilità ($p$) di un valutatore scelga casualmente l'opzione "Essenziale" sia del 50% ($p=0.5$). Tuttavia, la scala di Lawshe offre tre opzioni ("Essenziale", "Importante ma non essenziale", "Non necessario"), rendendo la probabilità casuale corretta pari a $1/3$ (o $1/4$ se inclusa l'opzione "NA").
• Approssimazione Normale: Wilson et al. (2012) utilizzano un'approssimazione normale per una distribuzione che è intrinsecamente discreta (binomiale), introducendo imprecisioni.
• Mancanza di controllo delle contraddizioni: I metodi attuali verificano solo se un item è "essenziale". Non controllano se, nello stesso campione, un item possa essere paradossalmente validato anche come "non necessario" (o viceversa), il che indicherebbe una percezione eterogenea e incoerente del campione.
• Assenza di validazione per il rifiuto: Non esiste un meccanismo formale per determinare statisticamente se un item debba essere scartato come non necessario.

2. Metodologia: La Proposta BCV (Binomial Cut-level Validation)

Gli autori propongono la Validazione a Livello di Taglio Binomiale (BCV), un approccio che utilizza la distribuzione binomiale esatta invece dell'approssimazione normale.

Fasi del metodo:

1. Definizione della Scala: Si utilizza una scala a 3 punti (S3: Essenziale, Importante ma non essenziale, Non necessario) o a 4 punti (S4: S3 + "NA").
2. Calcolo della Probabilità ($p$): La probabilità che un valutatore scelga casualmente una specifica opzione è definita come $p = 1 / \text{numero di opzioni}$. Quindi, $p = 1/3$ per S3 e $p = 1/4$ per S4.
3. Modellazione Binomiale: Si calcola la probabilità che $n$ esperti su un totale di $N$ abbiano scelto casualmente la stessa risposta utilizzando la formula binomiale:
   $$P(n) = \binom{N}{n} p^n (1-p)^{N-n}$$
4. Determinazione del Valore Critico ($n_{critical}$): Si stabilisce un livello di taglio ($\lambda$, tipicamente 0.05 o 0.01), che rappresenta la massima probabilità accettabile che le risposte siano casuali. $n_{critical}$ è il numero minimo di risposte necessarie affinché la probabilità di casualità sia $\le \lambda$.
5. Validazione "Doppia" (Double Check): Il metodo valuta simultaneamente due ipotesi per ogni item:
   • È validato come "Essenziale"? (Se il numero di risposte "Essenziale" $\ge n_{critical}$ e la probabilità di casualità $\le \lambda$).
   • È validato come "Non Necessario"? (Se il numero di risposte "Non necessario" $\ge n_{critical}$ e la probabilità di casualità $\le \lambda$).

Matrice Decisionale:
Il risultato finale classifica ogni item in una di quattro categorie (Tabella 3 e 4 del testo):

• A (Consigliato mantenere): Validato come Essenziale e NON come Non necessario.
• B (Paradosso Forte): Validato sia come Essenziale che come Non necessario (incoerenza forte nel campione).
• C (Paradosso Debole): Non validato come Essenziale e non come Non necessario (mancanza di consenso).
• D (Consigliato scartare): Non validato come Essenziale e validato come Non necessario.

3. Contributi Chiave

• Correzione della Probabilità: Sostituisce l'assunzione errata di $p=0.5$ con $p=1/3$ (o $1/4$), allineando il modello statistico alla realtà della scala di valutazione.
• Uso della Distribuzione Binomiale Esatta: Elimina l'errore di approssimazione normale su dati discreti, fornendo calcoli più precisi, specialmente per campioni piccoli o medi.
• Rilevamento del Paradosso: Introduce un meccanismo unico per identificare incoerenze paradossali (dove un item è considerato sia essenziale che inutile dallo stesso gruppo), segnalando la necessità di riesaminare la coerenza del campione o la chiarezza dell'item.
• Validazione del Rifiuto: Fornisce criteri statistici rigorosi non solo per mantenere gli item, ma anche per scartare quelli chiaramente non necessari.
• Flessibilità: Il metodo si adatta a scale con un numero diverso di opzioni (3 o 4), modificando dinamicamente il valore di $p$.

4. Risultati

• Confronto Numerico: Le tabelle presentate (Tabella 8 nell'appendice) mostrano che i valori critici ($n_{critical}$) calcolati con BCV differiscono da quelli di Lawshe, Wilson e Ayre & Scally. In particolare, per un livello di significatività $\lambda = 0.05$, la BCV richiede spesso un numero di rispondenti leggermente inferiore per classificare un item come essenziale rispetto ai metodi precedenti, rendendo il metodo più sensibile ma statisticamente più corretto.
• Identificazione di Incoerenze: Il metodo dimostra la capacità di identificare casi di "paradosso forte" (Categoria B) che i metodi tradizionali ignorerebbero, trattando erroneamente l'item come valido solo perché la soglia di "essenzialità" è stata superata, senza notare che anche la soglia di "non necessità" era stata superata.
• Disponibilità di Dati: Gli autori hanno reso disponibili tabelle estese per campioni fino a 10.000 unità, facilitando l'applicazione pratica del metodo.

5. Significatività

La proposta BCV rappresenta un avanzamento significativo nella metodologia di ricerca sociale e nella validazione degli strumenti di misura.

• Rigorosità Statistica: Risolve il problema teorico dell'uso di approssimazioni inappropriate per dati categoriali discreti.
• Affidabilità dei Questionari: Migliora la qualità dei questionari finali riducendo il rischio di includere item ambigui o contraddittori che potrebbero distorcere i risultati della ricerca.
• Nuova Prospettiva: Sposta il focus dalla semplice "validazione positiva" (cosa tenere) a una "validazione completa" (cosa tenere, cosa scartare e dove c'è confusione), offrendo ai ricercatori uno strumento diagnostico più potente per la pulizia dei dati e la costruzione di scale robuste.
• Impatto Pratico: Fornisce tabelle pronte all'uso e un algoritmo chiaro che può essere immediatamente adottato in ambiti come sanità, educazione, economia e scienze sociali per la validazione di contenuti.