Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

Título: Descobrindo o Número Crítico de Respondentes para Validar um Item em um Questionário: A Proposta de Validade de Conteúdo por Nível de Corte Binomial (BCV)

1. Problema de Pesquisa

O artigo aborda uma lacuna crítica nos métodos existentes de validação de conteúdo de questionários, especificamente no cálculo do Razão de Validade de Conteúdo (CVR - Content Validity Ratio). Embora métodos clássicos (Lawshe, 1975) e suas revisões posteriores (Wilson et al., 2012; Ayre e Scally, 2014) sejam amplamente utilizados para determinar se um item é "essencial", os autores identificam três falhas fundamentais:

1. Paradoxo de Validação: Os métodos atuais não verificam se um item validado como "essencial" poderia, simultaneamente, ser validado como "desnecessário" pela mesma amostra. Isso pode levar a inconsistências paradoxais onde a percepção da amostra é heterogênea e contraditória.
2. Probabilidade Incorreta ($p = 0,5$): Os modelos anteriores assumem que a probabilidade de um avaliador escolher uma opção aleatoriamente é de 50% ($p=0,5$). No entanto, a escala de Lawshe oferece três opções ("Essencial", "Importante mas não essencial", "Desnecessário"). A probabilidade real de escolha aleatória em um cenário de 3 opções é $1/3$ (ou $1/4$ se houver uma opção "NA" - Não se aplica).
3. Aproximação Normal vs. Binomial: Wilson et al. (2012) utilizaram uma aproximação normal para calcular os valores críticos, o que é estatisticamente inadequado para distribuições discretas e não contínuas, como a de respostas em escalas de Likert ou categorias fixas.

2. Metodologia Proposta: BCV (Binomial Cut-Level Validation)

Os autores propõem o método BCV, que utiliza a Distribuição Binomial para calcular o número mínimo de especialistas necessário para validar um item, considerando a natureza discreta das respostas e o número real de opções disponíveis.

Componentes Principais do Algoritmo BCV:

• Distribuição de Probabilidade: Utiliza a função de massa de probabilidade binomial:
  $$P(n) = \binom{N}{n} p^n (1-p)^{N-n}$$
  Onde:

  • $N$: Número total de avaliadores.
  • $n$: Número de avaliadores que escolheram uma opção específica.
  • $p$: Probabilidade de escolha aleatória.
    • Se a escala tiver 3 opções: $p = 1/3 \approx 0,33$.
    • Se a escala tiver 4 opções (incluindo "NA"): $p = 1/4 = 0,25$.

• Definição de $n_{critical}$: O valor crítico é o menor número inteiro de respostas para o qual a probabilidade de ocorrer aleatoriamente é menor ou igual a um nível de corte ($\lambda$), tipicamente 0,05 ou 0,01.

  • Isso estabelece o limiar mínimo de concordância necessário para rejeitar a hipótese nula de que as respostas foram aleatórias.

• Validação Dupla (Double-Check): O método avalia simultaneamente duas hipóteses para cada item:

  1. O item é Essencial ($n_E \geq n_{critical}$ e $P(n_E) \leq \lambda$).
  2. O item é Desnecessário ($n_U \geq n_{critical}$ e $P(n_U) \leq \lambda$).

• Matriz de Decisão: Com base nos resultados das duas validações, os itens são classificados em quatro cenários:

  • A (Recomendação Forte de Manter): Validado como Essencial e não como Desnecessário.
  • B (Paradoxo Forte): Validado simultaneamente como Essencial e Desnecessário (indica inconsistência na amostra).
  • C (Paradoxo Fraco): Não validado como Essencial e não como Desnecessário (inconclusivo).
  • D (Recomendação Forte de Descartar): Não validado como Essencial e validado como Desnecessário.

3. Contribuições Chave

• Correção Estatística: Substituição da aproximação normal e da probabilidade $p=0,5$ pela distribuição binomial exata com $p=1/3$ (ou $1/4$), alinhando o modelo à realidade da escala de Lawshe.
• Detecção de Paradoxos: Introdução de um mecanismo para identificar inconsistências paradoxais (itens classificados como ambos "essenciais" e "desnecessários"), o que não é feito pelos métodos anteriores.
• Flexibilidade de Escala: O método adapta-se a escalas com 3 ou 4 opções, ajustando automaticamente a probabilidade $p$.
• Tabelas de Referência: Fornecimento de tabelas com os valores de $n_{critical}$ para tamanhos de amostra de 5 a 100 (e até 10.000 em repositório aberto) para níveis de corte de 0,05 e 0,01.

4. Resultados e Comparação

A comparação entre o BCV e os métodos de Lawshe, Wilson e Ayre & Scally revela:

• Divergência nos Valores Críticos: Os valores de $n_{critical}$ calculados pelo BCV são, em geral, mais baixos do que os calculados por Wilson e Ayre & Scally para um nível de confiança de 95% ($\lambda=0,05$). Isso significa que o BCV pode classificar alguns itens como "Essenciais" que seriam descartados pelos métodos anteriores.
• Precisão: Ao usar a distribuição binomial exata, o BCV evita erros de aproximação inerentes ao uso de distribuições contínuas para dados discretos.
• Identificação de Inconsistências: O estudo demonstra que, em certos casos, a amostra pode apresentar percepções heterogêneas que os métodos tradicionais ignorariam, levando a conclusões equivocadas sobre a validade do item.

5. Significância e Conclusão

O artigo propõe uma evolução metodológica significativa para a validação de instrumentos de pesquisa. A Validade de Conteúdo por Nível de Corte Binomial (BCV) oferece uma ferramenta mais robusta e estatisticamente rigorosa para pesquisadores que desenvolvem questionários.

A principal contribuição prática é a capacidade de evitar a retenção de itens paradoxais ou a descarte prematuro de itens válidos devido a modelos estatísticos inadequados. Ao permitir a detecção de inconsistências na percepção dos especialistas, o BCV garante que os questionários finais sejam compostos apenas por itens com consenso claro e estatisticamente significativo, aumentando a qualidade e a confiabilidade dos dados coletados em pesquisas sociais, de saúde e educacionais.

Os autores sugerem trabalhos futuros para testar a sensibilidade do BCV em experimentos amplos e investigar sua aplicação no cálculo do Índice de Validade de Conteúdo (CVI) e em modelos de decisão multicritério.