On the last time and the number of times an estimator is more than epsilon from its target value

Este artigo estabelece as distribuições limite para o último instante e o número total de vezes que um estimador fortemente consistente se desvia de seu valor alvo por uma margem $\varepsilon$ à medida que $\varepsilon \to 0$, cobrindo cenários paramétricos e não paramétricos, e demonstrando aplicações na comparação de estimadores, construção de intervalos de confiança sequenciais e testes estatísticos.

O essencial

Imagine que você é um marinheiro tentando encontrar uma ilha escondida (o valor verdadeiro, que chamaremos de θ₀) no meio de um oceano vasto. Você tem um barco (o seu estimador, bθn) e, a cada dia, você lança uma rede para pegar peixes (dados) e calcular onde a ilha deve estar.

Com o tempo, você percebe que, quanto mais peixes você pega, mais perto do centro da ilha você fica. Isso é o que os estatísticos chamam de "convergência". Mas a pergunta que os autores deste artigo fazem é diferente e muito curiosa:

"Até quando, exatamente, meu barco vai ficar 'perdido' a uma certa distância da ilha?"

Eles não querem saber apenas se você vai chegar lá um dia (o que já sabemos que acontece). Eles querem saber:

1. Qual será o último dia em que você estará longe o suficiente para se preocupar? (Chamado de Nε).
2. Quantas vezes, no total, você vai errar o alvo por essa distância? (Chamado de Qε).

Aqui está uma explicação simples do que o artigo descobre, usando analogias do dia a dia:

1. O Jogo do "Último Erro" (Nε)

Pense no seu barco se aproximando da ilha. Às vezes, uma onda forte empurra você para longe. Às vezes, você acerta o rumo e chega perto.

• A descoberta: Os autores provaram que existe um "dia final" (um número específico de dados) após o qual você nunca mais vai se afastar da ilha por uma certa distância (digamos, 1 milha).
• A mágica: Eles descobriram que, se você olhar para esse "último dia" e multiplicá-lo pelo quadrado da sua distância de erro (ε²), o resultado segue uma padrão matemático previsível, como se fosse uma lei da natureza.
• A analogia: É como se você soubesse que, não importa o quão ruim seja o mar hoje, se você esperar o suficiente, haverá um momento exato em que o caos para e você fica preso dentro de um círculo de segurança. O artigo diz exatamente como esse círculo se comporta.

2. A Corrida de Estimadores (Quem é o melhor?)

Imagine duas pessoas tentando adivinhar a temperatura média de uma cidade.

• Pessoa A usa um termômetro barato e rápido.
• Pessoa B usa um termômetro super sofisticado e caro.

Ambos vão chegar perto da temperatura real com o tempo. Mas quem chega lá "mais rápido" e fica lá "mais estável"?

• O resultado: O artigo mostra que o Máximo Verossimilhança (uma técnica estatística muito comum e poderosa, usada em quase tudo, desde prever eleições até analisar drogas) é o "campeão" dessa corrida.
• A analogia: Se você comparar dois corredores, o artigo diz que o estimador de Máxima Verossimilhança é aquele que, estatisticamente, para de errar antes e erra menos vezes do que qualquer outro concorrente. É como se ele tivesse um GPS que o faz entrar no "caminho seguro" mais rápido que os outros.

3. O "Efeito Borboleta" nos Erros (Qε)

Além de saber quando o erro para, os autores contam quantas vezes o erro acontece.

• Imagine que cada vez que você erra a distância de 1 milha, você ganha uma "maré" (um ponto negativo).
• O artigo descobre que, para estimadores bons, o número total de erros é previsível. E, novamente, o estimador de Máxima Verossimilhança tende a ter o menor número total de marés negativas.

4. Casos Especiais: Mapas e Fotos

O artigo não fala apenas de números simples. Ele aplica essa lógica a situações mais complexas:

• Mapas Inteiros (Função de Distribuição): Em vez de estimar apenas um número (como a temperatura), imagine tentar desenhar o mapa inteiro de onde os peixes estão. O artigo diz que, para o mapa empírico (o desenho feito com os dados), também existe um "último momento" em que o desenho fica muito diferente da realidade. E esse momento segue uma regra matemática bonita envolvendo um processo chamado "Ponte Browniana" (uma espécie de caminhada aleatória no tempo).
• Fotos Desfocadas (Estimativa de Densidade): Imagine tentar desenhar a forma de uma montanha usando apenas pontos soltos. Se você usar uma "lente" muito fina (muitos dados, mas pouco suavizado) ou muito grossa (poucos dados, muito suavizado), a imagem fica ruim. O artigo descobre qual é o tamanho perfeito da lente (o parâmetro de suavização) para que você pare de errar o desenho o mais rápido possível. Surpreendentemente, a lente ideal é um pouco diferente da que os estatísticos usavam tradicionalmente (cerca de 1,008 vezes o tamanho sugerido antes).

5. Por que isso importa? (O Resumo Prático)

Este artigo é como um manual de instruções para quem quer construir testes de confiança ou intervalos de segurança em tempo real.

• Antes: Você tinha que adivinhar quantos dados precisava para ter certeza de que seu cálculo estava bom.
• Agora (com este artigo): Você pode usar essas fórmulas para criar um sistema que diz: "Pare de coletar dados agora! Você já tem certeza de que está dentro da margem de erro desejada."
• Aplicação: Isso é útil para criar testes que têm poder 1 (ou seja, que nunca deixam passar um erro grave) e para construir "redes de segurança" que encolhem conforme você coleta mais dados, garantindo que você nunca fique "perdido" por muito tempo.

Em resumo

Os autores pegaram uma ideia abstrata ("quando paramos de errar?") e transformaram em uma lei matemática clara. Eles mostram que, no mundo da estatística, o Máximo Verossimilhança é o "cavalo de corrida" mais eficiente: ele é o primeiro a entrar na zona de segurança e o que menos tropeça no caminho. E eles deram a fórmula exata para calcular quanto tempo e quantos erros isso vai custar a você, seja você estimando uma média simples ou desenhando um mapa complexo.

Resumo técnico

Título: Sobre a última vez e o número de vezes que um estimador está a mais de $\varepsilon$ do seu valor-alvo

Autores: Nils Lid Hjort e Grete Fenstad
Instituição: Universidade de Oslo e Centro Norueguês de Computação
Data: Abril de 1991

1. O Problema

O artigo aborda uma questão fundamental em estatística assintótica que vai além da simples convergência quase certa (a.s.) de um estimador. Dada uma sequência de variáveis aleatórias i.i.d. $X_1, X_2, \dots$ e um estimador fortemente consistente $\hat{\theta}_n$ para um parâmetro $\theta_0$, a pergunta não é apenas "o estimador converge?", mas sim:

1. Qual é a última vez ($N_\varepsilon$) em que o estimador está a uma distância maior ou igual a $\varepsilon$ do valor verdadeiro?
   $$N_\varepsilon = \sup\{n \ge 1: |\hat{\theta}_n - \theta_0| \ge \varepsilon\}$$
2. Qual é o número total de vezes ($Q_\varepsilon$) em que o estimador falha (está fora da vizinhança $\varepsilon$)?

Embora a consistência forte garanta que $N_\varepsilon$ e $Q_\varepsilon$ sejam finitos com probabilidade 1, a literatura tradicional focava em intervalos de confiança fixos ou taxas de convergência. Este trabalho busca as distribuições limites de $N_\varepsilon$ e $Q_\varepsilon$ quando $\varepsilon \to 0$, fornecendo uma métrica probabilística para comparar a velocidade de convergência de diferentes estimadores.

2. Metodologia

A abordagem central do artigo baseia-se na teoria de processos estocásticos e no Teorema de Donsker (convergência para o Movimento Browniano).

• Representação do Estimador: Assume-se que o estimador admite uma representação linear assintótica:
  $$\hat{\theta}_n - \theta_0 = \sigma_0 \frac{S_n}{n} + R_n$$
  onde $S_n$ é uma soma parcial de variáveis i.i.d. com média zero e variância 1, $\sigma_0$ é o desvio padrão assintótico e $R_n$ é um termo de resíduo que decai suficientemente rápido (condição de regularidade).
• Escalonamento: O artigo analisa o comportamento de $\varepsilon^2 N_\varepsilon$ e $\varepsilon^2 Q_\varepsilon$ (ou potências diferentes em casos não paramétricos) à medida que $\varepsilon \to 0$.
• Conexão com Processos Gaussianos: Utilizando a transformação $t = n/m$ (onde $m \approx 1/\varepsilon^2$), o processo discreto $\sqrt{m}(\hat{\theta}_{[mt]} - \theta_0)$ converge em distribuição para um processo estocástico contínuo, tipicamente da forma $\sigma_0 W(t)/t$, onde $W(t)$ é um Movimento Browniano.
• Mapeamento Contínuo: A variável $N_\varepsilon$ é relacionada ao tempo de saída (ou última saída) desse processo de um intervalo definido por $\varepsilon$. A distribuição limite é, portanto, a distribuição do máximo de um processo gaussiano transformado.

3. Principais Contribuições e Resultados

A. Caso Paramétrico (Unidimensional e Multidimensional)

• Distribuição Limite: Para estimadores que satisfazem condições de regularidade padrão (como funções suaves de médias ou estimadores de máxima verossimilhança - EMV), a variável escalada $\varepsilon^2 N_\varepsilon$ converge em distribuição para:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \sigma_0^2 W_{max}^2$$
  onde $W_{max} = \sup_{0 \le s \le 1} |W(s)|$ e $W(s)$ é um Movimento Browniano padrão.
• Generalização Multidimensional: Para vetores de parâmetros em $\mathbb{R}^p$, a distribuição limite envolve o máximo da norma de um processo gaussiano vetorial. No caso de distância de Mahalanobis (ponderada pela informação de Fisher), a distribuição limite é a do máximo de um processo $\chi^2$ sobre o intervalo $[0,1]$:
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} \chi^2_{p, max} = \max_{0 \le s \le 1} \sum_{i=1}^p W_i(s)^2$$
• Convergência de Momentos: O artigo prova que, sob condições de momentos finitos (ex: $E|Z_i|^{2+\lambda} < \infty$), a esperança também converge:
  $$\varepsilon^2 E[N_\varepsilon] \to \sigma_0^2 E[W_{max}^2] = 2G\sigma_0^2$$
  onde $G \approx 0.916$ é a constante de Catalan.

B. Propriedades de Otimalidade Assintótica

• Comparação de Estimadores: A distribuição limite depende apenas da variância assintótica $\sigma_0^2$ (ou da matriz de covariância $\Sigma_0$ no caso multivariado).
• EMV como Ótimo: O Estimador de Máxima Verossimilhança (EMV) em modelos paramétricos corretos possui a menor matriz de covariância assintótica possível (limite de Cramér-Rao). Consequentemente, o EMV é estocasticamente ótimo: nenhuma outra sequência de estimadores terá sua "cauda" (erros grandes) incluída em uma vizinhança $\varepsilon$ mais rapidamente do que o EMV, independentemente da medida de distância usada.
• Eficiência Relativa Assintótica (ERA): O artigo oferece uma nova motivação para a ERA clássica ($\sigma_1^2/\sigma_2^2$) baseada na razão das medianas ou esperanças de $N_\varepsilon$ e $Q_\varepsilon$.

C. Casos Não Paramétricos

• Teorema de Glivenko-Cantelli: Para a função de distribuição empírica $F_n$, a última vez que $\|F_n - F\| \ge \varepsilon$ tem distribuição limite relacionada ao máximo de um Processo de Kiefer ($K_{max}$) sobre o quadrado unitário.
  $$\varepsilon^2 N_\varepsilon \xrightarrow{d} K_{max}^2$$
• Estimação de Densidade: Para estimadores de densidade por kernel $f_n(x)$, a taxa de convergência é diferente. O artigo mostra que $\varepsilon^{5/2} N_\varepsilon$ possui distribuição limite.
  • Resultado Surpreendente: O parâmetro de suavização ($h_n = c n^{-1/5}$) que minimiza o erro quadrático médio (MSE) tradicional não é o mesmo que minimiza o número esperado de erros $\varepsilon$ ($E[N_\varepsilon]$). O valor ótimo para minimizar $E[N_\varepsilon]$ é aproximadamente 1.008 vezes o valor tradicionalmente sugerido.

D. Número de Erros ($Q_\varepsilon$)

• O número total de vezes que o estimador falha, $Q_\varepsilon$, também possui distribuição limite.
• Para o EMV, o número esperado de erros é proporcional à trilha da matriz de covariância: $E[Q_\varepsilon] \approx \text{Tr}(\Sigma_0)/\varepsilon^2$. Isso reforça a otimalidade do EMV: ele comete o menor número possível de erros $\varepsilon$ assintoticamente.

4. Significado e Aplicações

1. Nova Métrica de Comparação: O trabalho fornece uma ferramenta rigorosa para comparar estimadores não apenas pela variância assintótica, mas pela probabilidade de permanecerem fora de uma faixa de erro específica ao longo do tempo.
2. Intervalos de Confiança Sequenciais: Os resultados permitem a construção de intervalos de confiança sequenciais de volume fixo ou regiões de confiança sequenciais com cobertura garantida (ex: 95%) para todo $n$ após um certo ponto, baseando-se nas distribuições de $N_\varepsilon$.
3. Testes com Potência 1: A teoria suporta a construção de testes sequenciais que garantem poder estatístico igual a 1 sob hipóteses alternativas.
4. Extensão a Situações Não-i.i.d.: Embora focado em i.i.d., o artigo menciona que as técnicas se estendem a regressão linear e situações com autocorrelação, desde que haja convergência do processo estocástico subjacente.
5. Resultados de Segunda Ordem: O artigo aponta que, quando a eficiência relativa assintótica é 1 (estimadores indistinguíveis na primeira ordem), a análise de $N_\varepsilon$ e $Q_\varepsilon$ pode revelar diferenças de segunda ordem, permitindo escolher o estimador com o menor número esperado de erros (ex: em distribuições binomiais, certas correções de Bayes superam o EMV clássico neste critério específico).

Conclusão

Hjort e Fenstad estabelecem uma ligação profunda entre a teoria de processos estocásticos (movimento browniano, processos de Kiefer) e a teoria de estimação estatística. Ao caracterizar a distribuição do "último erro" e do "número total de erros", eles fornecem uma visão mais rica da performance assintótica dos estimadores, confirmando a superioridade do EMV em modelos paramétricos e oferecendo critérios de otimização refinados para estimação não paramétrica e testes sequenciais.