📊 statistics

Detection coherence of tests

Este artículo introduce un marco para evaluar la "coherencia de detección" para revelar que muchas pruebas estadísticas ampliamente utilizadas poseen "puntos ciegos" donde no logran detectar efectos reales, argumentando que tales pruebas de detección incoherente deberían abandonarse en favor de alternativas universalmente coherentes.

Autores originales: Marian Grendar

Publicado 2026-08-12

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Marian Grendar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El dilema del detective: Cuando tus pistas mienten

Imagina que eres un detective intentando resolver un misterio. En el mundo de la estadística, este misterio consiste a menudo en averiguar si dos grupos de cosas son realmente diferentes o si simplemente parecen diferentes por azar. Los científicos utilizan herramientas llamadas "pruebas estadísticas" para actuar como sus lupas. Estas pruebas analizan datos —como la altura de las plantas en dos jardines diferentes o los tiempos de supervivencia de pacientes en dos tratamientos distintos— y preguntan: "¿Hay una señal real aquí, o es solo ruido?".

Para que una prueba sea un buen detective, debe estar calibrada correctamente. Esto significa que las reglas para lo que cuenta como una "pista" deben coincidir exactamente con lo que la prueba está buscando. Si una prueba está diseñada para detectar un tipo específico de diferencia, pero accidentalmente ignora otros tipos de diferencias que son igual de reales, tiene un "punto ciego". Es como un detector de metales que pita para las monedas pero permanece en silencio ante los lingotes de oro. Si no conoces este fallo, podrías pasar de largo junto a un cofre del tesoro pensando que el suelo está vacío, o podrías pensar que has encontrado una moneda cuando en realidad has encontrado algo completamente distinto. Este artículo profundiza en los puntos ciegos ocultos de algunas de las herramientas de detección más famosas utilizadas en la ciencia actual.

El gran descubrimiento del artículo: El problema del "punto ciego"

Este artículo, escrito por M. Grendár, introduce una nueva forma de comprobar si estos detectives estadísticos están haciendo realmente su trabajo correctamente. El autor llama a este concepto "coherencia de detección". En términos sencillos, una prueba es "coherente" si su punto ciego está vacío, es decir, si puede ver cada uno de los tipos de diferencia que afirma ser capaz de ver. Si una prueba tiene un punto ciego, es "incoherente", y el artículo sostiene que esto es un problema serio que no debe ignorarse.

El autor demuestra que cuatro de las pruebas no paramétricas más populares (herramientas utilizadas cuando los datos no siguen un patrón de campana de Gauss ordenado) son en realidad de detección incoherente cuando se utilizan sin restricciones estrictas. Estas cuatro pruebas son:

La prueba de Wilcoxon–Mann–Whitney (WMW): Utilizada para comparar dos grupos.
La prueba de Kruskal–Wallis (KW): Utilizada para comparar tres o más grupos.
La prueba de Friedman: Utilizada para comparar tratamientos en un diseño de bloques (como probar diferentes fertilizantes en la misma parcela de tierra a lo largo del tiempo).
La prueba de Logrank: Utilizada para comparar tasas de supervivencia, frecuentemente en estudios médicos.

El artículo demuestra que estas pruebas tienen un "punto ciego". Este punto ciego es un conjunto específico de situaciones en las que los grupos son realmente diferentes, pero la lógica interna de la prueba dice que son iguales. Debido a esto, la prueba no logra dar la alarma.

El momento del "¡Ajá!": La trampa de la varianza
Para entender el punto ciego de la prueba WMW, imagina que estás comparando la altura de dos grupos de personas.

Grupo A: Todos miden exactamente 170 cm.
Grupo B: Tiene una mezcla de personas muy bajas y muy altas, pero su altura promedio también es de 170 cm.

La prueba WMW está diseñada para ver si un grupo es generalmente más alto que el otro. En este escenario, debido a que los promedios son iguales, la prueba piensa: "¡Oye, estos grupos son idénticos!" y dice: "No se encontró ninguna diferencia". ¡Pero espera! El Grupo B es claramente más variado que el Grupo A. Son distribuciones diferentes. La prueba es ciega a la diferencia en la dispersión o varianza porque su "detector" interno solo se preocupa por el orden de los números, no por qué tan separados están.

El artículo muestra que para la prueba WMW, si tienes dos grupos con el mismo promedio pero diferentes dispersiones (como una distribución normal con una desviación estándar de 1 frente a una con una desviación estándar de 10), la "potencia" de la prueba (su capacidad para encontrar la diferencia) se queda estancada. No mejora incluso si recolectas más y más datos. Se mantiene en un nivel bajo, ignorando la diferencia para siempre. El autor llama a esto un "descubrimiento perdido".

La trampa de lo "espurio"
El problema funciona en ambos sentidos. El artículo también explica que si una prueba sí rechaza la idea de que los grupos son iguales, podría tratarse de un "descubrimiento espurio". Imagina que la prueba da la alarma porque encontró una diferencia en la dispersión, pero el investigador pensaba que solo estaba buscando una diferencia en el promedio. La prueba tiene razón técnicamente en que los grupos son diferentes, pero está dando la razón equivocada. El artículo argumenta que, debido a estos puntos ciegos, estas pruebas pueden llevar a los científicos a perderse efectos reales o a afirmar haber encontrado efectos que no son lo que creen que son, independientemente de cuántos datos recolecten.

El "arreglo" que no es un arreglo
Podrías pensar: "Vale, estas pruebas tienen puntos ciegos. ¿No podemos simplemente decirles que solo miren tipos específicos de datos donde el punto ciego no existe?". El artículo dice: "Sí, pero ten cuidado".

El autor muestra que si restringes la prueba WMW para que solo observe datos donde las formas de las distribuciones son las mismas (solo desplazadas a la izquierda o a la derecha), el punto ciego desaparece. Sin embargo, el artículo sostiene que confiar en estas restricciones es peligroso en el mundo real. ¿Por qué? Porque en la vida real, rara vez sabes con certeza si tus datos se ajustan a esas reglas estrictas. Si asumes que tus datos cumplen la regla, pero en realidad no es así, vuelves al punto de partida con un punto ciego. El artículo concluye que intentar "salvar" estas pruebas mediante restricciones es poco fiable.

Los buenos de la historia
No todas las pruebas están rotas. El artículo destaca tres pruebas que son "universalmente coherentes en su detección", lo que significa que no tienen puntos ciegos en absoluto. Estas son:

La prueba de Kolmogorov–Smirnov (KS): Esta observa la forma completa de la distribución, no solo el orden, por lo que lo ve todo.
La prueba de Zaremba: Una reformulación ingeniosa de la prueba WMW que cambia las reglas para buscar un tipo diferente de "nula" (AUC = 1/2) en lugar de solo "distribuciones idénticas".
La prueba de Discrepancia de la Media Máxima (MMD): Una herramienta moderna que utiliza un "kernel" especial para comparar distribuciones, el cual está demostrado que ve cualquier diferencia posible.

El veredicto final
La conclusión principal del artículo es audaz: debido a estos puntos ciegos permanentes, las cuatro pruebas principales (WMW, KW, Friedman y Logrank) deberían abandonarse cuando se usan como pruebas "no restringidas" (pruebas utilizadas sin conocer la forma específica de los datos de antemano). El autor sugiere que usarlas es como usar un detector de metales que ignora el oro; bien podrías dejar de usarlo. En su lugar, los científicos deberían cambiar a las alternativas coherentes como la prueba KS o la prueba de Zaremba, que no tienen estos fallos ocultos.

El artículo no solo sugiere esto; proporciona un marco matemático para demostrarlo, mostrando exactamente dónde están los puntos ciegos y calculando cómo se comportan las pruebas en esos puntos. Es una llamada de atención para la comunidad científica para que revisen sus herramientas y se aseguren de no estar pasando por alto los descubrimientos más importantes justo delante de sus narices.

Resumen Técnico: Coherencia de Detección de las Pruebas

Planteamiento del Problema
El artículo aborda un fallo fundamental en la calibración de diversas pruebas estadísticas no paramétricas ampliamente utilizadas. Específicamente, identifica que ciertas pruebas están calibradas bajo una hipótesis nula ( $\mathcal{H}_0$ ) que es estrictamente más estrecha que el conjunto de distribuciones implicado por el comportamiento asintótico de su estadístico de prueba. Esta discrepancia crea un "punto ciego" ( $\mathcal{SP}$ ): un conjunto de distribuciones alternativas donde el estadístico de la prueba se comporta como si la nula fuera cierta (es decir, el funcional de detección es igual a su valor nulo), a pesar de que las distribuciones no pertenecen a $\mathcal{H}_0$ .

Cuando una prueba posee un punto ciego no vacío, se denomina detección incoherente. Las consecuencias de esta incoherencia son graves y persistentes, independientemente del tamaño de la muestra:

Descubrimientos Perdidos: Cuando la prueba no rechaza, el resultado puede derivar de una distribución en el punto ciego (un falso negativo relativo a la alternativa) en lugar de la verdadera nula.
Descubrimientos Espurios: Cuando la prueba rechaza, el resultado puede derivar de una distribución en el punto ciego (un verdadero positivo relativo al punto ciego, pero un descubrimiento espurio relativo a la hipótesis nula pretendida).

El autor argumenta que la teoría no paramétrica estándar suele pasar por alto este vacío, tratando la hipótesis nula y el conjunto de la nulidad de detección como equivalentes cuando no lo son.

Metodología y Marco de Trabajo
El artículo introduce un marco formal para evaluar la coherencia de detección, construido sobre varias definiciones nuevas:

Detector ( $\hat{D}_n$ ): El componente de un estadístico de calibración ( $T_n$ ) que converge en probabilidad a un funcional de detección ( $\theta(P)$ ). La extracción del detector implica eliminar las secuencias de escala, las normalizaciones de varianza y los estimadores de variables de confusión (nuisance) del desarrollo asintótico de $T_n$ .
Funcional de Detección ( $\theta(P)$ ): El límite en probabilidad del detector.
Conjunto de la Nulidad de Detección ( $\mathcal{D}_0$ ): El conjunto de todas las distribuciones $P$ donde el funcional de detección es igual a su valor nulo ( $\theta^*$ ).
Punto Ciego ( $\mathcal{SP}$ ): La diferencia de conjuntos $\mathcal{D}_0 \setminus \mathcal{H}_0$ .
Coherencia de Detección: Una prueba es de detección coherente con respecto a un dominio $\mathcal{R}$ si su punto ciego dentro de ese dominio es vacío ( $\mathcal{SP} \cap \mathcal{R} = \emptyset$ ). Esto es equivalente a la condición de que la hipótesis alternativa ( $\mathcal{H}_0^c$ ) coincida con el conjunto de detección ( $\mathcal{D}$ ) sobre el dominio.

El artículo propone un procedimiento sistemático (Procedimiento 1) para evaluar la coherencia: identificar el detector y el funcional, determinar el valor nulo de detección, construir el conjunto de la nulidad de detección y verificar si coincide con la hipótesis nula sobre el dominio de interés.

Resultos Clave
El artículo aplica este marco a cuatro de las principales pruebas no paramétricas y a tres alternativas coherentes:

Incoherencia de Detección de Pruebas Sin Restricciones:
Se demuestra que las siguientes pruebas son de detección incoherente cuando se aplican como pruebas sin restricciones (sobre todo el espacio de distribuciones $\mathcal{P}$ ):
- Wilcoxon–Mann–Whitney (WMW): Calibrada bajo $F_1 = F_2$ , pero su detector (eAUC) implica un conjunto de nulidad de detección donde $AUC = 1/2$. El punto ciego incluye distribuciones con medias iguales pero varianzas distintas (por ejemplo, $N(0,1)$ frente a $N(0, \sigma^2)$ para $\sigma \neq 1$ ).
- Kruskal–Wallis (KW): Calibrada bajo $F_1 = \dots = F_K$ , pero el conjunto de nulidad de detección incluye distribuciones con diferentes varianzas o formas que producen rangos medios idénticos.
- Friedman: Calibrada bajo distribuciones iguales dentro de cada bloque, pero el punto ciego incluye escenarios donde los efectos de tratamiento se cancelan entre bloques (por ejemplo, signos alternos de los efectos de tratamiento).
- Logrank: Calibrada bajo funciones de supervivencia iguales ( $S_1 = S_2$ ), pero el punto ciego incluye funciones de riesgo cruzadas donde la integral ponderada de la diferencia de riesgos es cero.
Para estas pruebas, la potencia contra las alternativas del punto ciego no crece con el tamaño de la muestra; converge a un valor fijo (a menudo el nivel de significancia $\alpha$ o ligeramente superior), comportándose indistintamente de una inflación del error Tipo I si el punto ciego no es reconocido.
Coherencia Bajo Restricciones de Dominio:
El artículo identifica restricciones de dominio específicas bajo las cuales estas pruebas pueden lograr la coherencia, aunque enfatiza que estas son condiciones suficientes, no remedios prácticos fiables:
- WMW: Coherente bajo familias de Razón de Verosimilitud Monótona (MLR, por sus siglas en inglés), incluyendo familias de desplazamiento de localización.
- Logrank: Coherente bajo familias de Riesgo Ordenado (Ordered Hazards), una clase más amplia que las de Riesgo Proporcional.
- KW y Friedman: Coherentes bajo desplazamiento de localización y ordenamiento estocástico consistente en bloques, respectivamente.
Pruebas de Detección Universalmente Coherentes:
El artículo demuestra que las siguientes pruebas son universalmente coherentes en su detección (el punto ciego es vacío sobre todo el espacio de distribuciones):
- Kolmogorov–Smirnov (KS): El conjunto de nulidad de detección ( $\sup |F-G|=0$ ) coincide exactamente con la hipótesis nula ( $F=G$ ).
- Prueba de Zaremba: Esta prueba recalibra el estadístico WMW bajo la hipótesis de $AUC = 1/2$ en lugar de $F_1 = F_2$ , alineando así la nula con el conjunto de nulidad de detección.
- Discrepancia de la Media Máxima (MMD): Con un núcleo (kernel) característico, $MMD^2(F, G) = 0$ si y solo si $F=G$ , asegurando la coherencia.

Significancia y Reivindicaciones
El artículo sostiene que la incoherencia de detección es un fallo estructural que conduce a errores inferenciales permanentes (descubrimientos perdidos y espurios) que no pueden resolverse aumentando el tamaño de la muestra. Por consiguiente, el autor afirma que las cuatro principales pruebas incoherentes (WMW, KW, Friedman, Logrank) "deberían ser abandonadas" como pruebas sin restricciones.

El marco proporciona una base teórica para comprender por qué la calibración bajo el conjunto de nulidad de detección es una condición necesaria para una inferencia coherente. Distingue la coherencia de detección de la robustez: mientras que la robustez se refiere al control del error Tipo I bajo violaciones de supuestos, la coherencia de detección se refiere a si la prueba puede realmente detectar todas las violaciones de la hipótesis nula. El artículo sugiere que el trabajo futuro debería consistir en evaluar todas las pruebas no paramétricas actuales para la coherencia de detección y aboga por el uso de alternativas coherentes (como la reformulación de Zaremba de WMW o MMD) sobre las pruebas tradicionales basadas en rangos cuando se requiere una inferencia sin restricciones.

El dilema del detective: Cuando tus pistas mienten

El gran descubrimiento del artículo: El problema del "punto ciego"

Más como este