Order-Induced Variance in the Moving-Range Sigma Estimator: A Total-Variance Decomposition

Este artigo formaliza a dependência da ordem no estimador de desvio padrão baseado na amplitude móvel (MR) de gráficos de controle, decompondo sua variância total em componentes de valores e adjacência via permutações aleatórias, e demonstra que a perda de eficiência assintótica em relação ao estimador padrão ($S/c_4$) é quase inteiramente atribuída ao efeito de adjacência.

O essencial

Imagine que você é um chef de cozinha tentando medir a consistência de uma sopa que acabou de cozinhar. Você tem uma panela cheia de pedaços de legumes (os dados) e quer saber o quão "turbulenta" ou "variável" é a sopa.

Existem duas formas principais de fazer essa medição, e este artigo de Andrew T. Karl explica a diferença entre elas de uma maneira muito interessante, focando em como a ordem das coisas importa.

Aqui está a explicação simplificada:

1. As Duas Formas de Medir a "Agitação"

O Método Tradicional (S):
Imagine que você pega todos os legumes da panela, joga tudo em uma pilha bagunçada e mede o tamanho de cada um comparado com a média. Você olha para a "variação geral" dos ingredientes, ignorando onde eles estavam na panela. É como olhar para a foto de uma multidão e medir a altura de cada pessoa sem se importar com quem está ao lado de quem.

O Método do "Range Móvel" (MR) - O Favorito dos Processos:
Agora, imagine que você tira os legumes da panela na ordem em que eles foram colocados (o tempo). Você pega o primeiro e o segundo, mede a diferença entre eles. Depois pega o segundo e o terceiro, mede a diferença. E assim por diante.

• O Pulo do Gato: Este método depende totalmente da ordem. Se você trocar o segundo legume pelo décimo, a sua medição muda completamente, mesmo que os legumes sejam os mesmos.

2. O Grande Mistério: Por que o Método da Ordem é "Ineficiente"?

Os estatísticos sabem há muito tempo que o método tradicional (S) é mais preciso (mais eficiente) do que o método da ordem (MR). Mas por que o método da ordem é tão "ruim" em termos de precisão estatística?

O autor do artigo diz: "A culpa não é dos legumes, é da vizinhança!"

Ele propõe um experimento mental genial:

1. Pegue os seus legumes (os dados) e fixe-os.
2. Agora, imagine que você tem um "robô" que embaralha a ordem desses legumes milhões de vezes, de forma totalmente aleatória.
3. Para cada embaralhamento, você calcula a medição do "Range Móvel".

3. A Decisão Divina: A Decomposição da Variância

O autor usa uma ferramenta matemática chamada "Lei da Variância Total" para dividir o erro do método da ordem em duas partes:

• Parte 1: A Variância dos Valores (O que os legumes são):
  Se você pegar a média de todas as medições feitas pelo robô (embaralhando tudo), você descobre que, no fim das contas, o método da ordem está apenas medindo a diferença média entre todos os pares possíveis de legumes. Isso é chamado de Diferença Média de Gini. É uma medida que não depende da ordem, apenas dos valores.

  • Analogia: É como medir a distância média entre todas as pessoas em uma festa, independentemente de quem está conversando com quem.

• Parte 2: A Variância de Adjacência (Quem está ao lado de quem):
  Aqui está a mágica. Mesmo que você tenha os mesmos legumes, o fato de eles estarem em uma ordem específica (o tempo) faz com que a medição flutue muito mais do que deveria.

  • Analogia: Imagine que você está medindo a temperatura de uma fila de pessoas. Se a fila estiver organizada por altura (todos os altos juntos, todos os baixos juntos), a diferença entre vizinhos será pequena. Se a fila estiver misturada (alto, baixo, alto, baixo), a diferença será grande. O método do "Range Móvel" é sensível a essa proximidade aleatória.

4. A Conclusão Surpreendente

O autor descobriu algo fascinante: Cerca de 38% da "imprecisão" ou "ruído" do método tradicional de medição de processos vem apenas do fato de que os dados estão em uma ordem específica.

Se você pudesse "desembaralhar" a ordem e olhar apenas para a média de todas as combinações possíveis, o método ficaria muito mais preciso. Mas, na vida real, não podemos desembaralhar o tempo. A ordem é fixa.

O que isso significa na prática?

• O método do "Range Móvel" (MR) é intencionalmente sensível à ordem porque queremos detectar mudanças rápidas no tempo (como um defeito na linha de produção).
• No entanto, essa sensibilidade tem um "custo": ele é menos preciso estatisticamente do que o método tradicional (S) porque ele carrega um "peso extra" de variabilidade causado apenas por quem está sentado ao lado de quem na fila.
• O autor mostra que quase toda a diferença de eficiência entre os dois métodos é culpa dessa "vizinhança aleatória" (adjacência).

Resumo em uma frase

O artigo explica que quando usamos o método de "Range Móvel" para medir a variação de um processo, parte da nossa incerteza não vem dos dados em si, mas sim do acaso de quem está ao lado de quem na fila, e que essa "sorte da ordem" é responsável por quase 40% da imprecisão do método.

É como se o autor dissesse: "Não culpe os números pela sua falta de precisão; culpe a fila desorganizada em que eles estão parados!"

Resumo técnico

Resumo Técnico: Variância Induzida pela Ordem no Estimador de Sigma por Amplitude Móvel

1. O Problema

Os gráficos de controle I–MR (Individuals and Moving Range) são amplamente utilizados na Estatística de Controle de Processos (SPC) para estimar o desvio padrão do processo ($\sigma$). A estimativa padrão utiliza a amplitude móvel média de span-2 ($MR(2)$) dividida por uma constante de correção de viés ($d_2$).

O problema central abordado no artigo é a dependência de ordem deste estimador. Diferentemente do desvio padrão amostral ($S$), que é invariante à permutação dos dados (depende apenas dos valores), o estimador $MR(2)/d_2$ depende estritamente da adjacência dos pontos na sequência temporal.

• Consequência: Se os mesmos valores observados forem reordenados (permutados), o valor da amplitude móvel média muda.
• Contexto: Embora essa sensibilidade à ordem seja intencional em aplicações de tempo real (para detectar desvios locais ou autocorrelação), ela introduz uma variabilidade de amostragem adicional mesmo quando os dados são independentes e identicamente distribuídos (i.i.d.). A literatura anterior (ex: Hoel, 1946) já notava que $MR(2)/d_2$ é menos eficiente que $S/c_4$, mas a origem exata dessa perda de eficiência (se é devido aos valores ou à ordem) não havia sido formalmente decomposta.

2. Metodologia

O autor propõe uma abordagem formal para isolar e quantificar a variabilidade induzida pela ordem utilizando a Lei da Variância Total.

• Modelo Probabilístico:
  • Seja $X = (X_1, \dots, X_n)$ uma amostra i.i.d. com desvio padrão $\sigma$.
  • Seja $\Pi$ uma permutação aleatória uniforme e independente de $\{1, \dots, n\}$.
  • Define-se o funcional da amplitude móvel escalonada como $T(X, \Pi) = MR(X, \Pi) / d_2$.
• Decomposição da Variância:
  Aplica-se a Lei da Variância Total para decompor a variância do estimador $T(X, \Pi)$ em duas componentes:
  $$\text{Var}\{T(X, \Pi)\} = \underbrace{E[\text{Var}\{T(X, \Pi) \mid X\}]}_{\text{Componente de Adjacência}} + \underbrace{\text{Var}\{E[T(X, \Pi) \mid X]\}}_{\text{Componente de Valores}}$$
  • Componente de Valores: Representa a variância da média de permutação (que é invariante à ordem).
  • Componente de Adjacência: Representa a variância esperada condicional aos valores fixos, ou seja, quanta variabilidade surge apenas ao reordenar os dados.
• Média de Permutação: O autor demonstra que a média de $T$ sobre todas as permutações possíveis é igual à Diferença Média de Gini da amostra ($GMD$) dividida por $d_2$.
  $$\bar{T}(X) = \frac{GMD(X)}{d_2}$$

3. Principais Contribuições

1. Decomposição Exata: Fornece uma decomposição exata da variância do estimador de amplitude móvel em componentes de "valores" e "adjacência", validada sob amostragem i.i.d. (sem necessidade de normalidade para a decomposição, embora usada para formas fechadas).
2. Conexão com Gini: Estabelece que a média de permutação do estimador de amplitude móvel é proporcional à Diferença Média de Gini, conectando a estatística de controle de processos com a teoria de estatísticas U-simétricas.
3. Formas Fechadas para Normalidade: Deriva expressões analíticas fechadas para as variâncias dos componentes sob a suposição de distribuição Normal $N(\mu, \sigma^2)$.
4. Quantificação da Perda de Eficiência: Demonstra matematicamente que a famosa perda de eficiência relativa de $MR(2)/d_2$ em comparação com $S/c_4$ é quase inteiramente devida ao efeito de adjacência (ordem), e não à natureza dos valores dos dados.

4. Resultados Chave

• Fração de Adjacência (AdjFrac): Define-se a fração da variância total atribuída à ordem aleatória. Sob a distribuição Normal, o limite assintótico ($n \to \infty$) desta fração é:
  $$\lim_{n \to \infty} \text{AdjFrac}(n) \approx 0.3813$$
  Isso significa que, mesmo com dados i.i.d., cerca de 38% da variância de amostragem do estimador de amplitude móvel é devida puramente à aleatoriedade da adjacência.
• Eficiência Relativa Assintótica (ARE):
  • A ARE clássica de $T$ (amplitude móvel) em relação a $S$ (desvio padrão) é $\approx 0.605$.
  • A decomposição mostra que: $\text{ARE}(T, S) = \text{ARE}(\bar{T}, S) \times (1 - \text{AdjFrac}(\infty))$.
  • Como $\text{ARE}(\bar{T}, S) \approx 0.978$ (baseado na Gini) e $(1 - 0.3813) \approx 0.6187$, o produto resulta em $0.605$.
  • Conclusão Numérica: A perda de eficiência de 39,5% (1 - 0.605) é composta por apenas 2% devido à ineficiência estatística da Gini em relação ao desvio padrão, e **97% devido ao efeito de adjacência**.
• Tabela de Decomposição: O artigo fornece tabelas numéricas para tamanhos de amostra $n$ de 4 a 100, mostrando como a fração de adjacência converge para 0.3813 à medida que $n$ aumenta.

5. Significado e Implicações

• Validação do Pensamento de Shewhart: O trabalho formaliza a distinção histórica de Walter Shewhart entre "números" (valores marginais) e "ordem" (sequência). Mostra que a ordem não é apenas um detalhe, mas uma fonte majoritária de variabilidade no estimador de dispersão de curto prazo.
• Custo de Precisão da Localização: O uso de $MR(2)$ para estimar $\sigma$ em gráficos I-MR tem um "custo de precisão" intrínseco. Mesmo em processos estáveis (i.i.d.), a estimativa é menos precisa do que o desvio padrão tradicional porque ela "paga" uma penalidade de variância para focar na variação local (adjacente).
• Diagnóstico de Dependência Serial: A distribuição condicional de permutação serve como uma referência descritiva poderosa. Se a estimativa observada ($T_{obs}$) for significativamente menor que a média de permutação ($\bar{T}$), isso indica forte dependência serial positiva (suavidade excessiva). Se for maior, indica oscilação excessiva.
• Aplicação Prática: O artigo sugere que, em vez de apenas calcular $MR/d_2$ e $S/c_4$, os analistas podem usar a distribuição de permutação para diagnosticar se a ordem observada é "inusitadamente suave" ou "áspera", complementando as recomendações de Cryer e Ryan (1990).

Em suma, o artigo transforma uma observação empírica sobre a ineficiência do estimador de amplitude móvel em uma teoria rigorosa, provando que a maior parte dessa ineficiência é um efeito estrutural da dependência de adjacência, e não uma falha na estimativa dos valores subjacentes.