Order-Induced Variance in the Moving-Range Sigma Estimator: A Total-Variance Decomposition

Este artículo formaliza la dependencia del estimador de desviación estándar en gráficos MR respecto al orden de los datos mediante una descomposición de la varianza total bajo permutaciones aleatorias, revelando que la pérdida de eficiencia asintótica frente al estimador basado en la desviación estándar muestral se debe casi en su totalidad al componente de adyacencia.

Lo esencial

Imagina que tienes una caja llena de piedras de diferentes tamaños. Tu trabajo es medir qué tan "variadas" son esas piedras. En el mundo de la estadística industrial (donde se controla la calidad de los productos), hay dos formas principales de hacer esto:

1. El método del "Promedio de Todas" (S/c4): Tomas todas las piedras, las mezclas en un montón y calculas qué tan diferentes son entre sí en general. Es como decir: "En promedio, ¿qué tan lejos está una piedra de otra?".
2. El método del "Salto Vecino" (I-MR Chart): Tomas las piedras y las colocas en una fila, una tras otra, tal como llegaron. Mides la diferencia solo entre la piedra 1 y la 2, luego entre la 2 y la 3, y así sucesivamente. Es como medir los "saltos" entre vecinos.

El artículo que nos ocupa, escrito por Andrew Karl, se pregunta una cosa muy curiosa: ¿Qué pasa si el orden en que colocamos las piedras cambia el resultado de nuestra medición?

La Gran Revelación: El Orden Importa (y no solo por casualidad)

El autor descubre que el método del "Salto Vecino" es muy sensible al orden. Si tienes las mismas 100 piedras, pero las reorganizas en una fila diferente (sin cambiar qué piedras son, solo su posición), el resultado de tu medición cambiará.

Para entender por qué, el autor usa una idea genial: Imagina que eres un DJ.

• La Música (Los Datos): Son las piedras (los números).
• La Pista de Baile (El Orden): Es el orden en que suenan las canciones.

Si tocas una canción suave seguida de otra suave, el "salto" entre ellas es pequeño. Si tocas una canción de rock fuerte seguida de una balada lenta, el "salto" es enorme. El método del "Salto Vecino" mide esos saltos.

El autor se pregunta: "¿Cuánto de la variación en mi medición se debe a las canciones en sí (los valores) y cuánto se debe simplemente a cómo las he mezclado en la pista (el orden)?"

La Descomposición Mágica: "Valores" vs. "Vecinos"

El autor divide la variabilidad total en dos partes, como si separara el agua de la arena en una botella:

1. La Parte de los "Valores" (La Arena): Esto es lo que pasa si ignoramos el orden por completo. Imagina que mezclas todas las piedras y calculas la diferencia promedio entre cualquier par de piedras, sin importar si son vecinas o no. A esto se le llama Diferencia Media de Gini. Es una medida "justa" que no depende de quién está al lado de quién.
2. La Parte de la "Adyacencia" (El Agua): Esto es la variación extra que aparece solo porque estamos midiendo a los vecinos. Es el "ruido" que introduce el hecho de que las cosas están en una fila.

El Hallazgo Sorprendente

Bajo condiciones normales (como cuando los datos son aleatorios y no tienen un patrón oculto), el autor descubre algo asombroso:

Casi el 38% de la "inestabilidad" o error en el método del "Salto Vecino" no se debe a que los datos sean malos, sino simplemente a que estamos mirando a los vecinos.

Es como si tuvieras una regla para medir la altura de una fila de personas. Si cambias el orden de la fila, la diferencia de altura entre la persona 1 y la 2 cambia, aunque la altura de las personas no haya cambiado. El autor demuestra que casi toda la "ineficiencia" (el hecho de que este método sea menos preciso que el método de "Promedio de Todas") se debe a este efecto de "vecindad".

¿Por qué nos importa esto?

El autor conecta esto con una idea antigua de Walter Shewhart, el padre del control de calidad. Shewhart decía que el orden de los datos es una pista vital.

• Si los datos están desordenados (aleatorios): El método del "Salto Vecino" es un poco "torpe" porque pierde información al ignorar a los no-vecinos.
• Si los datos tienen un patrón (como una máquina que se está desgastando): ¡Entonces el orden es oro! Si ves que los saltos entre vecinos son muy pequeños (la fila es muy suave), significa que los datos están "pegados" entre sí, lo cual puede indicar un problema en la máquina.

La Analogía Final: El Camino de Montaña

Imagina que caminas por una montaña:

• El método "Promedio de Todas" te dice: "En general, esta montaña es muy accidentada".
• El método "Salto Vecino" te dice: "Mira, en este tramo específico de 100 metros, el camino es muy plano".

El artículo nos dice: "Oye, si solo miras el camino plano, no es porque la montaña sea plana, sino porque elegiste caminar en una línea recta específica. Si hubieras caminado en zigzag (cambiado el orden), habrías visto más baches".

Conclusión Simple

Este paper nos enseña que cuando usamos el método del "Salto Vecino" para medir la variabilidad, debemos ser conscientes de que una gran parte de lo que medimos es simplemente un efecto de cómo hemos ordenado los datos, no necesariamente de la naturaleza de los datos en sí.

Es una herramienta útil para detectar cambios rápidos en el tiempo, pero hay que saber que "paga un precio" en precisión porque depende demasiado de la suerte del orden en que caen los datos. Si los datos son aleatorios, el método del "Salto Vecino" está perdiendo casi un 40% de su potencial de precisión solo por culpa de la "vecindad".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Variabilidad Inducida por el Orden en el Estimador de Sigma del Rango Móvil: Una Descomposición de la Varianza Total

Autor: Andrew T. Karl (Karl Statistical Services LLC)

---

1. Planteamiento del Problema

En el Control Estadístico de Procesos (CEP), los gráficos individuales y de rango móvil (I–MR) son herramientas estándar para estimar la desviación estándar del proceso ($\sigma$). La estimación habitual se realiza mediante el rango móvil promedio de longitud 2 ($MR(2)$) dividido por una constante de corrección de sesgo ($d_2$).

El problema central identificado es que, a diferencia de la desviación estándar muestral corregida ($S/c_4$), el estimador basado en el rango móvil depende intrínsecamente del orden de los datos debido a su cálculo basado en diferencias adyacentes.

• Si se permuta un conjunto fijo de observaciones, el valor de $MR(2)$ cambia, aunque los valores subyacentes sean idénticos.
• En aplicaciones de tiempo real, esta sensibilidad al orden es intencional para detectar cambios locales. Sin embargo, incluso bajo muestreo i.i.d. (independiente e idénticamente distribuido) normal, esta dependencia del orden introduce una variabilidad de muestreo adicional que no está presente en estimadores basados en la varianza global.
• Históricamente, se sabe que el estimador $MR(2)/d_2$ es menos eficiente que $S/c_4$, pero la magnitud exacta de cuánto de esta ineficiencia se debe al "orden" versus los "valores" de los datos no había sido cuantificada formalmente hasta este trabajo.

2. Metodología

El autor formaliza la distinción entre "valores" y "orden" mediante un enfoque probabilístico y combinatorio:

• Modelo de Permutación Aleatoria: Se introduce una permutación uniforme aleatoria independiente $\Pi$ sobre el conjunto de índices $\{1, \dots, n\}$. El estimador se trata como una función $T(X, \Pi) = MR(X, \Pi)/d_2$, donde $X$ son los valores observados y $\Pi$ define el orden.

• Ley de la Varianza Total: Se aplica la ley de la varianza total para descomponer la varianza del estimador:
  $$\text{Var}\{T(X, \Pi)\} = E[\text{Var}(T | X)] + \text{Var}(E[T | X])$$
  Esto divide la varianza total en dos componentes:

  1. Componente de Valores (Values Component): $\text{Var}(E[T | X])$. Representa la variabilidad debida a los valores de los datos mismos, independientemente del orden. Se demuestra que la media condicional $E[T | X]$ es invariante al orden y equivale a la Diferencia Media de Gini (GMD) de la muestra dividida por $d_2$.
  2. Componente de Adyacencia (Adjacency Component): $E[\text{Var}(T | X)]$. Representa la variabilidad esperada del estimador dado un conjunto fijo de valores, puramente debido a las diferentes configuraciones de pares adyacentes generadas por las permutaciones.

• Suposiciones: El análisis es libre de distribución bajo muestreo i.i.d., pero se asume una distribución Normal $N(\mu, \sigma^2)$ para obtener formas cerradas exactas y calcular constantes de corrección específicas.

3. Contribuciones Clave

• Descomposición Exacta: Se proporciona la primera descomposición exacta de la varianza del estimador del rango móvil en componentes de "valores" y "orden".
• Relación con la Diferencia Media de Gini: Se establece teóricamente que el promedio del estimador sobre todas las permutaciones posibles es exactamente $GMD/d_2$. Esto conecta el estimador de rango móvil con estadísticos U simétricos de orden 2.
• Cuantificación de la Ineficiencia: Se demuestra que la famosa pérdida de eficiencia relativa del estimador $MR(2)/d_2$ frente a $S/c_4$ es casi enteramente un efecto de adyacencia (orden), no una deficiencia inherente a los valores de los datos.

4. Resultados Principales

Bajo el supuesto de muestreo Normal i.i.d.:

• Fracción de Adyacencia (AdjFrac): Se define como la proporción de la varianza total atribuible al orden.

  • Para muestras finitas, esta fracción depende de $n$.
  • Límite Asintótico: Cuando $n \to \infty$, la fracción de adyacencia converge a:
    $$\lim_{n \to \infty} \text{AdjFrac}(n) \approx 0.3813$$
  • Esto implica que, incluso con datos i.i.d., aproximadamente el 38% de la varianza de muestreo del estimador de rango móvil se debe exclusivamente al orden aleatorio de los datos.

• Eficiencia Relativa Asintótica (ARE):

  • La eficiencia relativa clásica es $\text{ARE}(T, S) \approx 0.605$.
  • El análisis de descomposición muestra que:
    $$\text{ARE}(T, S) \approx \text{ARE}(\bar{T}, S) \times (1 - \text{AdjFrac}(\infty))$$
    Donde $\text{ARE}(\bar{T}, S) \approx 0.978$ (la eficiencia del estimador basado en Gini, que es invariante al orden).
  • Conclusión numérica: La pérdida de eficiencia del 39.5% ($1 - 0.605$) se debe casi en su totalidad (al 97%) al efecto de adyacencia. Si el estimador fuera invariante al orden (como el basado en Gini), la pérdida de eficiencia sería mínima (~2%).

• Tabla de Descomposición: El artículo incluye una tabla con valores exactos para diferentes tamaños de muestra ($n=4$ a $n=100$), mostrando cómo la fracción de adyacencia aumenta con $n$ hasta estabilizarse en ~0.38.

5. Significado e Implicaciones

• Validación Teórica de Shewhart: El trabajo formaliza matemáticamente la distinción que Walter Shewhart (1939) hizo entre los "números" observados y su "orden". Demuestra cuantitativamente cuánto ruido de muestreo se introduce simplemente por la aleatoriedad de la secuencia, incluso cuando no hay causas asignables.
• Interpretación Práctica:
  • En aplicaciones donde el orden es intencional (detección de deriva o oscilación), esta variabilidad es una "penalización de precisión" inherente a la localización.
  • Proporciona un punto de referencia condicional: Al calcular el promedio de permutaciones (Gini/d2), los analistas pueden determinar si el orden observado en sus datos es "demasiado suave" (rango móvil bajo, indicando autocorrelación positiva) o "demasiado rugoso" comparado con un orden aleatorio.
• Diagnóstico de Procesos: Se ilustra con datos de un proceso químico (Cryer y Ryan, 1990) donde la autocorrelación positiva suprimió drásticamente el rango móvil observado en comparación con la media de permutación, validando la utilidad de comparar el orden real contra el "orden aleatorio" como herramienta diagnóstica.

En resumen, el artículo transforma la comprensión de la variabilidad del rango móvil, demostrando que su menor eficiencia no es un defecto de los datos, sino un costo estadístico inevitable de depender de la estructura de adyacencia temporal.