📊 statistics

Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

Esta investigación propone un nuevo método basado en un nivel de corte binomial para determinar el número crítico de respondientes necesario para validar ítems de cuestionarios, abordando las paradojas y limitaciones de precisión presentes en los enfoques tradicionales como el Coeficiente de Validez de Contenido (CVR).

Autores originales: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

Publicado 2026-03-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que eres el chef de un restaurante y quieres crear el menú perfecto. Tienes una lista de 100 platos posibles, pero sabes que no puedes servirlos todos. Necesitas saber cuáles son esenciales (los que todo el mundo ama y no pueden faltar) y cuáles son innecesarios (los que nadie pide y solo ocupan espacio).

Para tomar esta decisión, decides pedirle a un grupo de expertos (críticos gastronómicos) que revisen tu lista. Aquí es donde entra el problema que resuelve este artículo.

El Problema: La "Regla Vieja" y sus Trampas

Durante décadas, los investigadores han usado una regla antigua (llamada CVR, propuesta por Lawshe en 1975) para decidir qué platos quedarse. La regla funciona así:

Le das a los expertos una lista de opciones: "Esencial", "Importante pero no esencial" o "Innecesario".
Si suficientes expertos dicen "Esencial", el plato se queda.

Pero, ¿qué hay de malo en esta regla? El artículo dice que tiene dos fallos graves, como si tuvieras una brújula rota:

La suposición falsa: La regla vieja asume que, si los expertos eligen al azar, tienen un 50% de probabilidad de elegir "Esencial". ¡Pero eso es falso! Si hay tres opciones, la probabilidad de elegir una al azar es de 1 entre 3 (33%), no 50%. Es como si pensaras que al lanzar un dado de 6 caras, tienes un 50% de probabilidad de sacar un 3. ¡No es así!
El ciego ante la contradicción: La regla vieja solo mira si hay suficientes votos para decir "¡Es esencial!". Pero no se detiene a pensar: "Oye, ¿y si la mitad de los expertos dice que es 'Esencial' y la otra mitad dice que es 'Innecesario'?". En ese caso, tienes un paradoja: el plato es al mismo tiempo el mejor y el peor. La regla vieja ignora esta locura y simplemente decide quedarse con el plato, lo cual es peligroso.

La Solución Propuesta: El "Filtro Binomial" (BCV)

Los autores de este artículo proponen una nueva forma de hacer las cosas, llamada Validación por Nivel de Corte Binomial (BCV). Imagina que en lugar de usar la brújula rota, usas un detector de mentiras matemático mucho más preciso.

Aquí está cómo funciona su idea, paso a paso:

1. La Probabilidad Real (El Dado de 3 Caras)

En lugar de asumir que los expertos eligen al azar el 50% de las veces, el nuevo método dice: "Si hay 3 opciones, la probabilidad de elegir una al azar es 1/3".

Analogía: Imagina que tienes una caja con 3 bolas de colores (Roja, Azul, Verde). Si alguien cierra los ojos y saca una, la probabilidad de que saque la Roja es 1/3. El nuevo método calcula cuántas veces necesitas que alguien saque la bola "Roja" (Esencial) para estar 100% seguro de que no fue suerte, sino una opinión real.

2. La Doble Verificación (El Test de Contradicción)

Esta es la parte más genial. El nuevo método no solo pregunta: "¿Es esencial?". También pregunta: "¿Es innecesario?".

Escenario A (Éxito): Muchos dicen "Esencial" y casi nadie dice "Innecesario". -> Guarda el plato.
Escenario B (Fracaso): Muy pocos dicen "Esencial" y muchos dicen "Innecesario". -> Tira el plato.
Escenario C (La Paradoja): ¡Muchos dicen "Esencial" Y, al mismo tiempo, muchos dicen "Innecesario"!
- Analogía: Imagina que en tu restaurante, la mitad de los críticos grita "¡El mejor pastel del mundo!" y la otra mitad grita "¡El peor pastel de la historia!".
- Resultado: El nuevo método detecta esto inmediatamente. Te dice: "¡Alto! Hay algo mal aquí. Tus expertos no están de acuerdo en absoluto. No puedes decidir si guardar el plato hasta que resuelvas por qué están tan divididos".

¿Por qué es importante esto para la gente común?

Piensa en esto como un filtro de calidad para encuestas.

Antes: Si hacías una encuesta sobre qué temas enseñar en la escuela, y la mitad de los padres decía "Matemáticas son vitales" y la otra mitad decía "Matemáticas son inútiles", la regla vieja podría decirte "Mantén Matemáticas" porque hubo suficientes votos a favor.
Ahora: La nueva regla diría: "¡Espera! Hay una contradicción gigante. No podemos decidir nada hasta que hablemos con los padres para entender por qué están tan divididos".

En Resumen

Este artículo nos enseña que, para tomar decisiones importantes basadas en encuestas (ya sea en medicina, educación o negocios), no basta con contar votos. Necesitas:

Usar las matemáticas correctas (probabilidad real, no inventada).
Buscar contradicciones. Si los datos dicen "sí" y "no" al mismo tiempo, eso es una señal de alerta roja, no una señal de "proceder".

Es como si antes solo miraras si el termómetro marcaba fiebre, y ahora también miraras si el paciente está gritando de frío y de calor al mismo tiempo. ¡Esa es la diferencia entre una decisión promedio y una decisión inteligente!

A continuación presento un resumen técnico detallado del artículo "Discovering the Critical Number of Respondents to Validate an Item in a Questionnaire: The Binomial Cut-Level Content Validity Proposal" (Descubriendo el número crítico de encuestados para validar un ítem en un cuestionario: La propuesta de Validez de Contenido de Nivel de Corte Binomial), redactado en español.

Resumen Técnico

1. Planteamiento del Problema

La validación de contenido es fundamental en la construcción de cuestionarios para asegurar que los ítems midan realmente el constructo deseado. Históricamente, el Ratio de Validez de Contenido (CVR), propuesto por Lawshe [1975] y refinado posteriormente por Wilson et al. [2012] y Ayre y Scally [2014], ha sido el estándar para determinar si un ítem es "esencial". Sin embargo, los autores identifican limitaciones críticas en estos métodos existentes:

Suposición de Probabilidad Incorrecta: Los métodos anteriores asumen que la probabilidad ( $p$ ) de que un evaluador elija una opción al azar es $0.5$ (distribución binaria), a pesar de que la escala de Lawshe ofrece tres opciones ("Esencial", "Importante pero no esencial", "Innecesario"). Esto distorsiona el cálculo de la significancia estadística.
Aproximación Normal vs. Binomial: Wilson et al. [2012] utilizaron una aproximación normal para calcular los valores críticos, lo cual es inapropiado para datos discretos y de pequeña muestra, como es el caso de la validación de ítems.
Falta de Detección de Paradojas: Los métodos actuales solo verifican si un ítem es "esencial". No detectan situaciones paradójicas donde un mismo conjunto de datos podría validar un ítem como "esencial" y simultáneamente como "innecesario" debido a percepciones heterogéneas en la muestra.
Opciones de Respuesta No Contempladas: No se considera la opción de "No Aplica" (NA) o "No sé responder", que en formatos electrónicos añade una cuarta opción, alterando la probabilidad aleatoria a $0.25$.

2. Metodología Propuesta: Validez de Corte Binomial (BCV)

Los autores proponen el método Binomial Cut-level Validation (BCV), que se basa en la distribución binomial exacta en lugar de aproximaciones normales.

Modelo Probabilístico:
- Se define la probabilidad $p$ $p$ de elegir una opción al azar en función del número de opciones disponibles ( $k$ $k$ ):
  - Si la escala tiene 3 opciones (S3): $p = 1/3 \approx 0.33$ .
  - Si la escala tiene 4 opciones (S3 + NA) (S4): $p = 1/4 = 0.25$ .
- Se utiliza la función de probabilidad binomial para calcular la probabilidad de que $n$ expertos elijan una opción específica por azar:
  $P(n) = \binom{N}{n} p^n (1-p)^{N-n}$
  Donde $N$ es el tamaño de la muestra y $n$ es el número de expertos que eligieron una opción.
Determinación del Valor Crítico ( $n_{critical}$ ):
- Se establece un nivel de corte ( $\lambda$ ), típicamente $0.05 $o$ 0.01$, que representa la probabilidad máxima aceptable de que las respuestas sean aleatorias.
- Se calcula el número mínimo de expertos ( $n_{critical}$ ) necesarios para rechazar la hipótesis nula (de que la respuesta fue aleatoria) con un nivel de confianza dado.
Algoritmo de Doble Verificación (Validación Bidireccional):
El método evalúa simultáneamente dos hipótesis para cada ítem:
1. ¿Es el ítem Esencial? (¿ $n_E \ge n_{critical}$ y $P(n_E) \le \lambda$ ?)
2. ¿Es el ítem Innecesario? (¿ $n_U \ge n_{critical}$ y $P(n_U) \le \lambda$ ?)
Matriz de Decisión:
Basándose en los resultados de ambas verificaciones, se clasifican los ítems en cuatro categorías:
- A (Recomendación Fuerte de Retener): Validado como "Esencial" y NO como "Innecesario".
- B (Paradoja Fuerte): Validado como "Esencial" Y como "Innecesario". Indica inconsistencia grave en la muestra.
- C (Paradoja Débil): No validado como "Esencial" y NO como "Innecesario". El ítem es ambiguo.
- D (Recomendación Fuerte de Descartar): No validado como "Esencial" y validado como "Innecesario".

3. Contribuciones Clave

Corrección de la Probabilidad Base: Ajusta el valor de $p$ a $1/3$ o $1/4$ según la escala real, eliminando el sesgo de asumir $p=0.5$ .
Uso de Distribución Binomial Exacta: Elimina la necesidad de aproximaciones normales, ofreciendo mayor precisión estadística, especialmente en muestras pequeñas.
Detección de Inconsistencias Paradójicas: Es la primera propuesta que verifica sistemáticamente si un ítem puede ser considerado simultáneamente esencial e innecesario, alertando sobre la heterogeneidad de la muestra o la ambigüedad del ítem.
Flexibilidad de Escalas: El método es adaptable a escalas de 3 o 4 opciones (incluyendo "No Aplica").
Tablas de Valores Críticos: Los autores generan tablas exhaustivas ( $N=5$ a $N=100$ ) con los valores de $n_{critical}$ para diferentes niveles de corte ( $\lambda = 0.05, 0.01$ ), facilitando la aplicación práctica del método.

4. Resultados y Comparación

Al comparar el BCV con los métodos de Lawshe, Wilson y Ayre & Scally (ver Tabla 5 y Tabla 8 del artículo):

Diferencias en $n_{critical}$ : Los valores críticos calculados por BCV difieren de los métodos anteriores, especialmente a medida que aumenta el tamaño de la muestra.
Mayor Sensibilidad: BCV es capaz de identificar ítems como "esenciales" que los métodos anteriores descartarían, debido a la corrección en la probabilidad base.
Identificación de Paradojas: Mientras que los métodos previos no detectan conflictos, BCV clasifica explícitamente los casos de incoherencia (Tipos B y C), lo que permite a los investigadores reevaluar la idoneidad de la muestra o la redacción del ítem.

5. Significancia e Impacto

La propuesta de BCV representa un avance significativo en la metodología de validación de instrumentos de investigación social y científica.

Rigor Estadístico: Proporciona una base matemática más sólida al utilizar la distribución binomial exacta adecuada al diseño del instrumento.
Calidad de Datos: Al detectar paradojas, mejora la calidad de los cuestionarios finales, evitando la inclusión de ítems ambigüos o la exclusión injustificada de ítems válidos.
Aplicabilidad: Ofrece una herramienta práctica (tablas y algoritmos) para investigadores que buscan optimizar sus cuestionarios, asegurando que solo los ítems con consenso real y no paradójico sean retenidos.

En conclusión, el artículo no solo refina el cálculo del CVR, sino que introduce un nuevo paradigma de validación que prioriza la consistencia lógica y la precisión estadística en la selección de ítems.