Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

1. Problématique

La recherche vise à résoudre les limitations méthodologiques persistantes dans la validation des items de questionnaires, spécifiquement concernant le calcul du Ratio de Validité de Contenu (CVR). Bien que les travaux fondateurs de Lawshe (1975) et leurs révisions ultérieures (Wilson et al., 2012 ; Ayre et Scally, 2014) soient largement utilisés pour déterminer le nombre minimal d'experts nécessaires pour valider un item comme « essentiel », les auteurs identifient trois lacunes majeures :

1. Hypothèse de probabilité inexacte : Les méthodes précédentes supposent souvent une probabilité $p = 0,5$ qu'un répondant choisisse l'option « essentiel » au hasard. Or, l'échelle de Lawshe propose trois options (« Essentiel », « Important mais pas essentiel », « Inutile »), ce qui implique une probabilité aléatoire de $p = 1/3$ (ou $1/4$ si une option « NA » est incluse).
2. Approximation normale inappropriée : Wilson et al. (2012) utilisent une approximation normale pour calculer les seuils critiques, alors que la nature discrète des réponses (variables catégorielles) exige une modélisation par la distribution binomiale.
3. Absence de détection de paradoxes : Les méthodes actuelles ne vérifient pas les incohérences paradoxales où un même échantillon pourrait valider un item comme étant à la fois « essentiel » et « inutile » (ou ni l'un ni l'autre), ce qui indiquerait une perception hétérogène ou confuse des experts.

2. Méthodologie : La Validation par Niveau de Coupure Binomial (BCV)

Les auteurs proposent une nouvelle méthode appelée Binomial Cut-level Validation (BCV). Cette approche repose sur les principes suivants :

• Modélisation Binomiale : Au lieu d'une approximation normale, la probabilité d'obtenir $n$ réponses « essentielles » (ou « inutiles ») parmi $N$ experts est calculée strictement via la loi binomiale :
  $$P(n) = \binom{N}{n} p^n (1-p)^{N-n}$$
  Où $p$ est ajusté selon le nombre d'options de l'échelle ($p=1/3$ pour 3 options, $p=1/4$ pour 4 options incluant « NA »).
• Définition du seuil critique ($n_{critical}$) : Les auteurs déterminent le nombre minimal de répondants nécessaires pour rejeter l'hypothèse nulle (que les réponses sont aléatoires) avec un niveau de confiance donné ($\lambda$). Deux niveaux de coupure sont proposés : $\lambda = 0,05$ et $\lambda = 0,01$.
• Validation Double (Double-check) : La méthode calcule simultanément deux probabilités pour chaque item :
  1. La probabilité que le nombre de votes « Essentiel » soit non aléatoire.
  2. La probabilité que le nombre de votes « Inutile » soit non aléatoire.
• Matrice de Décision : Basée sur les résultats des deux tests, chaque item est classé dans l'une des quatre catégories :
  • A (Recommandation forte de conservation) : Validé comme « Essentiel » et non comme « Inutile ».
  • B (Paradoxe fort) : Validé comme « Essentiel » ET comme « Inutile » (incohérence majeure).
  • C (Paradoxe faible) : Ni validé comme « Essentiel », ni comme « Inutile » (incertitude).
  • D (Recommandation forte de suppression) : Non validé comme « Essentiel » et validé comme « Inutile ».

3. Contributions Clés

L'article apporte plusieurs améliorations techniques significatives par rapport aux travaux antérieurs :

• Précision statistique : Remplacement de l'approximation normale par la distribution binomiale exacte, adaptée à la nature discrète des données de validation de contenu.
• Ajustement de la probabilité $p$ : Correction de l'hypothèse $p=0,5$ pour refléter la réalité des échelles à 3 ou 4 options ($p=1/3$ ou $1/4$).
• Détection de paradoxes : Introduction d'un mécanisme systématique pour identifier les incohérences dans les perceptions des experts (cas B et C), ce qui permet de nettoyer les données ou de réévaluer la pertinence de l'item.
• Flexibilité des seuils : Proposition de niveaux de coupure ($\lambda$) adaptés à la fonction de probabilité binomiale, offrant une granularité dans la décision (confiance à 95 % ou 99 %).
• Outils pratiques : Génération de tables (Tableaux 6 et 7 dans l'annexe) fournissant les valeurs critiques $n_{critical}$ pour des tailles d'échantillon allant de 5 à 100 (et jusqu'à 10 000 dans un dépôt en ligne), facilitant l'application immédiate de la méthode.

4. Résultats

La comparaison entre la méthode BCV et les méthodes antérieures (Lawshe, Wilson, Ayre & Scally) révèle :

• Différences de classification : Les valeurs de $n_{critical}$ calculées par BCV diffèrent de celles des méthodes précédentes, et cet écart augmente avec la taille de l'échantillon.
• Sensibilité accrue : La méthode BCV est capable d'identifier des items comme « essentiels » qui auraient été rejetés par les méthodes traditionnelles en raison de seuils trop stricts ou de modèles statistiques inadaptés.
• Identification de cas ambigus : La méthode BCV met en lumière des situations de paradoxe (items classés à la fois essentiels et inutiles) que les autres méthodes ignorent, offrant ainsi une vue plus complète de la qualité des données collectées.

5. Importance et Signification

Cette recherche est significative pour la méthodologie de la recherche en sciences sociales et en gestion car elle :

1. Renforce la validité de contenu : En fournissant un cadre statistique plus rigoureux et adapté à la nature des données, elle réduit les erreurs de validation des instruments de mesure.
2. Améliore la prise de décision : En permettant de distinguer clairement entre les items à conserver, à supprimer et ceux qui nécessitent une réanalyse en raison de contradictions, elle optimise la construction des questionnaires.
3. Ouvre de nouvelles perspectives : Les auteurs suggèrent que cette approche pourrait être étendue à la validation d'indices de validité de contenu (CVI) et à la prise de décision multicritère, où l'identification de critères essentiels est souvent sujette à des conflits d'intérêts.

En résumé, la proposition BCV représente une évolution critique des pratiques actuelles de validation de contenu, passant d'une approche approximative à une modélisation probabiliste exacte et complète.