📊 statistics

Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

Este artículo demuestra que los valores p empíricos derivados de muestras de referencia finitas se desvían de la distribución uniforme esperada debido a la dependencia inducida y a las distorsiones de la varianza, lo que exige métodos de calibración de pruebas de retroceso revisados que tengan en cuenta la estructura de muestreo de dos etapas subyacente en lugar de tratarlos como extracciones uniformes independientes.

Autores originales: Jakub Lis

Publicado 2026-05-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jakub Lis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: El "Mapa Perfecto" vs. el "Boceto Tosco"

Imagina que estás tratando de juzgar qué tan "promedio" es una persona nueva en comparación con un grupo de personas que ya conoces.

En el mundo perfecto de las estadísticas (la Teoría), tienes una "visión de Dios". Conoces el mapa exacto y perfecto de cómo se distribuye todo el mundo. Si tomas a una persona nueva y preguntas: "¿Qué porcentaje de personas es más bajo que tú?", la respuesta es una Transformación Integral de Probabilidad (PIT). Si tu modelo es correcto, estas respuestas deberían ser números perfectamente aleatorios entre 0 y 1, como sacar un número de un sombrero.

El Problema: En el mundo real (la Práctica), no tenemos el mapa perfecto. Solo tenemos una Muestra de Referencia—un pequeño grupo de personas que hemos medido hasta ahora. Para responder a la pregunta "¿Qué porcentaje es más bajo?", tenemos que adivinar basándonos en nuestro pequeño grupo. Creamos un "boceto tosco" de la distribución usando estos datos limitados.

El Descubrimiento del Artículo: El autor, Jakub Lis, señala una trampa oculta. Cuando usamos este "boceto tosco" (la estimación empírica) en lugar del "mapa perfecto", los números que obtenemos dejan de comportarse como números aleatorios. Se distorsionan. Si los tratamos como si fueran números aleatorios perfectos, nuestras pruebas estadísticas nos darán respuestas incorrectas.

Los Tres Escenarios: Cómo Construimos el Boceto

El artículo examina tres formas diferentes en que la gente intenta construir este "boceto tosco" para probar sus modelos. Cada método rompe las reglas de una manera distinta.

1. El Método del "Grupo Fijo Único" (Muestra Común)

La Analogía: Imagina que eres un profesor calificando a 100 estudiantes. Para decidir si un estudiante es "promedio", lo comparas con un solo grupo fijo de 50 estudiantes que mediste al inicio del año. Usas ese mismo grupo de 50 para calificar a cada uno de los 100 estudiantes nuevos.

Qué Sale Mal:
Como estás usando los mismos 50 estudiantes para todos, cualquier error o rareza en ese grupo específico de 50 se copia en las 100 calificaciones nuevas.

Si ese grupo de 50 resultó ser inusualmente alto, tu línea de "promedio" se desplaza hacia arriba para todos.
El artículo muestra que las matemáticas aquí dejan de parecer una "Prueba de Muestra Única" (comprobar un grupo contra una regla perfecta) y empiezan a parecer una "Prueba de Dos Muestras" (comparar dos grupos desordenados entre sí).
El Resultado: Si usas pruebas estándar que asumen que los números son independientes, obtendrás falsas alarmas. Podrías pensar que tu modelo está roto cuando en realidad está bien, o viceversa.

2. El Método del "Grupo Fresco para Todos" (Referencia Independiente)

La Analogía: Ahora, imagina que para cada uno de los 100 estudiantes, sacas un grupo completamente nuevo y diferente de 50 estudiantes para compararlos.

Qué Sale Bien:
Este es el único método que funciona bien. Como el "ruido" o los errores en los grupos de referencia son diferentes para cada estudiante, se cancelan entre sí.

Un grupo podría ser demasiado alto, el siguiente demasiado bajo. Cuando promedias todos, los errores desaparecen.
El Resultado: Los números se comportan casi exactamente como deberían. Las pruebas estándar funcionan aquí porque los "bocetos tosquos" promedian para parecerse al "mapa perfecto".

3. El Método de la "Ventana Deslizante" (Ventana Rodante)

La Analogía: Esto es como una puerta corredera. Comparas a un estudiante con las 50 personas que pasaron por la puerta justo antes que él. Luego, ese estudiante pasa por la puerta y se convierte en parte del grupo para la siguiente persona.

Qué Sale Mal:
Esto crea una reacción en cadena.

El Estudiante A ayuda a definir el grupo para el Estudiante B.
El Estudiante B (que fue influenciado por A) ayuda a definir el grupo para el Estudiante C.
Los números ya no son independientes; son "pegajosos" o autocorrelacionados.
El Resultado: El artículo descubre que este método suprime el "bamboleo" natural o la varianza en los datos. Los números parecen demasiado estables, demasiado perfectos. Si ejecutas una prueba estándar sobre esto, podrías pasar por alto problemas reales porque los datos parecen engañosamente suaves.

La Conclusión Central

El artículo argumenta que hemos estado tratando estos "bocetos tosquos" (valores p empíricos) como si fueran "mapas perfectos".

El Error: Asumimos que, porque la teoría dice que los números deberían ser uniformes (aleatorios), los números que calculamos a partir de datos reales también son uniformes.
La Realidad: El acto de estimar el mapa usando una muestra finita cambia la naturaleza de los números.
- Si usas un grupo fijo, en realidad estás haciendo una comparación de dos grupos, no una verificación de un solo grupo.
- Si usas una ventana deslizante, tus números están enlazados entre sí como una cadena, rompiendo la regla de la independencia.

La Conclusión:
Para solucionar esto, no podemos simplemente usar las pruebas estándar de "bondad de ajuste" (como la prueba de Kolmogorov–Smirnov) que asumen que los datos son independientes y perfectamente uniformes. Necesitamos métodos nuevos y revisados que tengan en cuenta el hecho de que estamos construyendo nuestro mapa con un suministro limitado de ladrillos. Si no nos ajustamos a esto, nuestra retroprueba (comprobar si nuestros modelos de riesgo funcionan) podría ser engañosa.

Resumen Técnico: Por qué los valores p empíricos no son uniformes

Enunciado del Problema
El artículo aborda una discrepancia fundamental entre las propiedades teóricas de la Transformada Integral de Probabilidad (PIT) y su implementación práctica en la validación de modelos y el backtesting. Teóricamente, si $X$ es una variable aleatoria continua con función de distribución acumulada (CDF) $F_X$ , la variable transformada $F_X(X)$ sigue una distribución uniforme en $[0, 1]$ . Esta propiedad sustenta el uso de PITs y valores p empíricos para evaluar la calibración de distribuciones predictivas, una práctica ampliamente adoptada en campos que van desde el pronóstico por conjuntos hasta la gestión de riesgos financieros (por ejemplo, las directrices del Banco Central Europeo).

Sin embargo, en la práctica, la verdadera distribución $F_X$ es desconocida. En consecuencia, los profesionales deben estimar percentiles utilizando muestras de referencia finitas. El artículo argumenta que este paso de estimación altera fundamentalmente la estructura estadística del problema. Específicamente, tratar los percentiles empíricos como muestras independientes de una distribución uniforme es incorrecto; las estadísticas resultantes no siguen la distribución uniforme esperada incluso bajo una especificación correcta del modelo, invalidando así las pruebas clásicas de bondad de ajuste de una sola muestra (como la prueba de Kolmogorov–Smirnov) cuando se aplican directamente a estos valores empíricos.

Metodología
El autor emplea una combinación de descomposición teórica y simulaciones de Monte Carlo para analizar las propiedades distribucionales de los valores p empíricos bajo tres marcos de implementación distintos:

Muestra de Condicionamiento Única (Referencia Fija): Todas las observaciones se evalúan frente a una única muestra de referencia fija de tamaño $n$ . El percentil empírico $\hat{p}(x)$ se construye mediante interpolación de las estadísticas de orden de esta muestra de referencia.
Muestras de Referencia Independientes: Cada observación se evalúa frente a una muestra de referencia distinta e independiente. Este marco imita el enfoque del "histograma de rangos" utilizado en el pronóstico por conjuntos.
Marco de Ventana Deslizante: Los valores p empíricos se calculan utilizando una ventana móvil de observaciones precedentes, donde cada nueva observación entra en el conjunto de referencia para evaluaciones posteriores.

El análisis se basa en descomponer la función de distribución empírica de los valores transformados, $F_m$ , con respecto a la distribución uniforme $F_U$ . El artículo utiliza el teorema de Donsker para caracterizar el comportamiento asintótico de los procesos empíricos y compara las estadísticas de Kolmogorov–Smirnov (KS) y los valores p resultantes con sus contrapartes teóricas.

Contribuciones y Resultados Clave

Descomposición de la Varianza (Referencia Fija):
El artículo demuestra que cuando se utiliza una única muestra de referencia, la distribución empírica de los valores transformados es una superposición de dos fuentes de aleatoriedad:
1. Variabilidad de muestreo de las observaciones evaluadas (orden $O_p(m^{-1/2})$ ).
2. Error de estimación de la muestra de referencia finita (orden $O_p(n^{-1/2})$ ).
La descomposición se expresa como $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$ , donde $\tilde{F}$ es la distribución aleatoria inducida por la muestra de referencia. Los resultados muestran que la estadística KS resultante se comporta asintóticamente como una estadística KS de dos muestras en lugar de una de una sola muestra. Los experimentos numéricos confirman que la dispersión de los valores p empíricos y las estadísticas KS resultantes son casi indistinguibles de las generadas al comparar dos muestras independientes. En consecuencia, aplicar pruebas estándar de uniformidad de una sola muestra conduce a inferencias distorsionadas y tasas de rechazo sistemáticas.
Mitigación mediante Muestras Independientes:
En el marco donde cada observación tiene su propia muestra de referencia independiente, el ruido de estimación asociado a las muestras de referencia se promedia a través de las observaciones. El artículo muestra que en este escenario, la dispersión de los percentiles empíricos sigue de cerca la de los percentiles exactos. Aunque está presente ruido, los valores transformados retienen las propiedades estadísticas de la muestra subyacente, y la correlación entre las estadísticas KS exactas y empíricas permanece evidente.
Dependencia en Ventanas Deslizantes:
La implementación de ventana deslizante introduce autocorrelación y supresión de la varianza. Dado que cada observación determina su propio valor p y posteriormente entra en el conjunto de referencia para evaluaciones futuras, la secuencia de valores p empíricos ya no es independiente. Las simulaciones indican que cuando el número de observaciones evaluadas ( $m$ ) es comparable al tamaño de la ventana ( $n$ ), la correlación entre las estadísticas KS de los valores p exactos y empíricos se rompe. Los valores p empíricos exhiben una volatilidad sistemáticamente reducida en comparación con los valores p reales, lo que hace que los procedimientos estándar de backtesting sean engañosos.

Significado y Afirmaciones
El artículo afirma que la discrepancia estructural entre las PITs teóricas y su estimación empírica invalida la aplicabilidad directa de los procedimientos clásicos de bondad de ajuste en contextos estándar de backtesting. El significado principal de este trabajo radica en identificar que los valores p empíricos no son muestras uniformes independientes, sino que están gobernados por una estructura de muestreo de dos etapas.

El autor concluye que:

Las implementaciones de muestra común convierten efectivamente el problema en una comparación de dos muestras, requiriendo métodos de calibración revisados que tengan en cuenta el tamaño y la variabilidad de la muestra de referencia.
Las implementaciones de ventana deslizante introducen estructuras de dependencia complejas (autocorrelación) que distorsionan aún más la inferencia estadística.
Los procedimientos actuales de backtesting regulatorios y prácticos basados en PITs requieren revisión para tener en cuenta estas distorsiones inducidas por la estimación, particularmente cuando las muestras de referencia son finitas y compartidas entre observaciones.

El artículo no propone una nueva estadística de prueba específica, sino que llama a una reevaluación de la distribución de la hipótesis nula en los marcos existentes para reflejar la naturaleza de dos muestras o dependiente del proceso de generación de datos subyacente.