Nonparametric Estimation via Expected Order Statistics

Resumo Técnico: Estimativa Não Paramétrica via Estatísticas de Ordem Esperadas

Enunciado do Problema
O artigo aborda a estimação de uma função de distribuição acumulada (FDA), $F$, baseada em uma amostra independente e identicamente distribuída (i.i.d.) $X_1, \dots, X_n$. O estimador não paramétrico padrão, a FDA empírica (FDE), $F_n$, atribui uma massa de $1/n$ a cada estatística de ordem observada $X_{i:n}$. Embora $F_n$ seja uma pedra angular da inferência não paramétrica, os autores observam que as próprias estatísticas de ordem são variáveis aleatórias com variabilidade inerente. Essa variabilidade contribui para o erro de estimação de $F_n$. A questão central levantada é se o erro de estimação pode ser reduzido substituindo as estatísticas de ordem aleatórias $X_{i:n}$ por estimadores de seus valores esperados, $\mu_{i:n} = E[X_{i:n}]$, criando assim uma aproximação "mais suave" ou menos variável da distribuição subjacente.

Metodologia
Os autores propõem uma nova família de estimadores chamada FDA Hoeffding Empírica (FDEH), denotada como $F_{n,m}$. Este estimador é construído aplicando um "operador FDA Hoeffding", $H_m$, à distribuição empírica $F_n$.

1. O Operador Hoeffding: Para uma dada FDA $G$, o operador $H_m$ constrói uma nova FDA que coloca massa $1/m$ nas estatísticas de ordem esperadas de uma amostra hipotética de tamanho $m$ retirada de $G$. Especificamente, se $\mu_{j:m}(G)$ denota a $j$-ésima estatística de ordem esperada de uma amostra de tamanho $m$ retirada de $G$, então:
   $$H_m(G)(x) = \frac{1}{m} \sum_{j=1}^m \mathbb{1}\{\mu_{j:m}(G) \le x\}$$
   O contraparte determinístico, $F_m = H_m(F)$, foi previamente estudado por Hoeffding (1953) e é referido como FDA Hoeffding (FDH).

2. O Estimador FDEH: Como $F$ é desconhecida, os autores aplicam o operador à FDE, $F_n$. O estimador resultante é:
   $$F_{n,m} = H_m(F_n) = \frac{1}{m} \sum_{j=1}^m \mathbb{1}\{\hat{\mu}_{j:m} \le x\}$$
   onde $\hat{\mu}_{j:m}$ é o estimador de substituição (plug-in) da estatística de ordem esperada, calculado como uma combinação linear das estatísticas de ordem observadas (uma estatística L). O parâmetro $m$ pode ser escolhido arbitrariamente e pode diferir do tamanho da amostra $n$.

3. Representação por Quantis: O artigo utiliza uma abordagem baseada em quantis, definindo um operador quantil-Hoeffding $I_m$ que mapeia a função quantil $G^{-1}$ para uma função degrau. Isso permite aos autores aproveitar propriedades dos espaços $L_p$ e da teoria de convergência fraca.

Principais Contribuições e Resultados Teóricos

• Propriedades de Amostra Finita:

  • Não-expansividade: O operador Hoeffding $H_m$ é provado ser não-expansivo em $L_1$. Consequentemente, a distância entre a FDEH e seu contraparte determinístico ($F_m$) é limitada pelo erro $L_1$ da FDE: $\|F_{n,m} - F_m\|_p^p \le \|F_n - F\|_1$.
  • Fechamento de L-funcionais: O artigo estabelece que aplicar o operador Hoeffding a um L-funcional produz outro L-funcional com pesos atualizados. Especificamente, a FDEH preserva a média amostral, mas contrai deterministicamente medidas de dispersão e forma. Por exemplo, a Diferença Absoluta Média (MAD) é escalada por $(m-1)/m$, e a assimetria L por $(m-2)/m$.

• Convergência Assintótica:

  • Consistência: Os autores estabelecem a convergência quase certa de $F_{n,m}$ para a verdadeira FDA $F$ na norma $L_p$ e na distância de Wasserstein ($W_p$) quando $n, m \to \infty$. Isso vale para $m$ fixo (convergência estocástica para $F_m$ seguida de convergência determinística de $F_m$ para $F$) e no limite conjunto.
  • Convergência Fraca de Processos Quantílicos: O artigo analisa o processo quantílico empírico $Q_{n,m} = \sqrt{n}(F_{n,m}^{-1} - F_m^{-1})$.
    • Para $m$ fixo, $Q_{n,m}$ converge fracamente em $L_p(0, 1)$ para um processo gaussiano degrau.
    • No regime conjunto $n, m \to \infty$ (especificamente se $n = o(m)$), o processo converge fracamente para o limite padrão de ponte browniana associado à FDE clássica, estabelecendo equivalência assintótica com a abordagem clássica sob essas condições.
  • Validade do Bootstrap: A validade do procedimento de bootstrap é estabelecida para a FDEH em ambos os regimes de $m$ fixo e limite conjunto.

• Distribuições Assintóticas de Funcionais:

  • O artigo deriva as distribuições assintóticas para funcionais baseados em distância, incluindo normas $L_p$ e distâncias de Wasserstein entre o estimador e a distribuição verdadeira. Esses resultados facilitam testes de aderência.

Resultados de Simulação
Os autores realizam um estudo numérico comparando a FDEH contra a FDE e estimadores baseados em kernels (EKCDF e EKCDFM) através de várias distribuições (Normal, $t$ de Student, Weibull, Gama, Beta, Misturas) e tamanhos de amostra.

• Desempenho: A FDEH geralmente melhora a FDE em termos de erro de estimação $L_p$ (frequentemente em 5–15%).
• Comparação com Kernels: Embora métodos de kernel possam superar a FDEH em configurações específicas (por exemplo, distribuições Gaussianas com largura de banda ótima), a FDEH demonstra desempenho mais estável através de diferentes cenários distribucionais, particularmente ao lidar com caudas pesadas ou problemas de fronteira onde métodos de kernel podem exigir transformações específicas ou seleção de largura de banda.
• Comportamento do MSE: A redução do erro está localizada principalmente no corpo da distribuição. A estimação nas caudas permanece menos precisa, o que é atribuído à natureza de média do estimador suavizando observações extremas.

Significado e Alegações
O artigo alega que a FDEH oferece uma nova base para inferência não paramétrica que combina uma construção simples com uma teoria assintótica tratável.

• Vantagem Teórica: Ao contrário dos métodos de kernel, cuja análise assintótica frequentemente depende fortemente de configurações específicas (largura de banda, efeitos de fronteira) e pode ser tecnicamente envolvida, a FDEH admite um tratamento mais direto através de sua representação quantil, mantendo ao mesmo tempo fortes propriedades estatísticas.
• Utilidade Prática: O estimador fornece uma alternativa robusta que melhora a FDE bruta e permanece competitiva com métodos de kernel, oferecendo maior estabilidade através de cenários distribucionais diversos sem a necessidade de seleção complexa de largura de banda ou correções de fronteira.
• Novidade: Segundo o conhecimento dos autores, $F_{n,m}$ é um novo estimador. Embora Hoeffding (1953) tenha estudado a versão determinística ($F_m$), este artigo estende o quadro para o cenário estocástico e empírico e fornece a primeira teoria assintótica abrangente e análise de amostra finita para esta família de estimadores.