Finite-sample nonparametric mean tests: Leave-one-out duality and asymptotic optimality

Resumo Técnico: Testes de média não paramétricos de amostra finita: Dualidade leave-one-out e otimalidade assintótica

Problema
O artigo aborda o problema da testagem de hipóteses válida para amostras finitas da média de variáveis aleatórias não negativas. Especificamente, dadas observações i.i.d. $X_1, \dots, X_n$ de uma distribuição desconhecida em $\mathbb{R}_+$ com média $\mu$, o objetivo é testar a hipótese unilateral:
$$H_0: \mu \le 1 \quad \text{versus} \quad H_1: \mu > 1.$$
A inferência não paramétrica padrão para a média é geralmente impossível sem restrições distributivas, conforme estabelecido por Bahadur e Savage [1956], que mostraram que para a classe de todas as distribuições com média finita, qualquer teste uniformemente de nível-$\alpha$ tem poder no máximo $\alpha$ em toda alternativa. Essa impossibilidade surge porque a média não é robusta; uma pequena massa de probabilidade em uma direção desfavorável pode alterar drasticamente a média, tendo um efeito negligenciável em estatísticas de amostra finita.

Os autores restringem o problema às variáveis aleatórias não negativas ($X_i \ge 0$). Embora isso permita a construção de testes válidos, as ferramentas existentes são limitadas. Testes de permutação e de postos (rank tests) padrão não se aplicam diretamente. Aproximações normais e métodos de bootstrap oferecem apenas validade assintótica. Métodos baseados em concentração (ex: Hoeffding, Bernstein) tipicamente exigem suporte limitado conhecido, controle de variância ou suposições de momentos mais fortes, que muitas vezes não estão disponíveis em configurações com dados não negativos de cauda pesada ou altamente assimétricos (ex: perdas de seguros, receita por cliente).

Metodologia: Estrutura de Certificado Dual Leave-One-Out
A principal contribação metodológica é uma estrutura de "certificado dual leave-one-out". Os autores definem uma classe nula leave-one-out $\mathcal{P}^n_{loo}$, que inclui distribuições onde a média condicional satisfaz $E_P[X_i | X_{-i}] \le 1$ quase certamente. Esta classe é mais ampla que a nula i.i.d. padrão, mas permite um argumento de dualidade rigoroso.

Para provar que uma estatística $T: \mathbb{R}^n_+ \to [0, 1]$ é um p-valor válido (ou seja, $P(T(X) \le \alpha) \le \alpha$ para todo $P \in \mathcal{P}^n_{loo}$), os autores formulam um problema de otimização sobre a classe de distribuições viáveis. Eles utilizam o dual Lagrangiano deste problema. Ao introduzir multiplicadores de Lagrange não negativos $\lambda^{(i)}_\alpha$, eles derivam uma condição de desigualdade pontual (denotada como cert):
$$\alpha + \sum_{i=1}^n \lambda^{(i)}_\alpha(x_{-i})(x_i - 1) \ge \mathbb{1}\{T(x) \le \alpha\} \quad \forall x \in \mathbb{R}^n_+.$$
Se tais funções não negativas $\lambda^{(i)}_\alpha$ existirem, a dualidade fraca garante que $T$ é um p-valor válido. Esta abordagem reduz a otimização de dimensão infinita sobre distribuições à busca por funções que satisfaçam desigualdades pontuais.

Uma extensão fundamental desta estrutura é o princípio de "troca dual" (Teorema 5.1). Se dois p-valores $S$ e $T$ admitem certificados duais com propriedades específicas de monotonicidade e ordenação, o seu mínimo pontual $\min\{S, T\}$ também é um p-valor válido. Isso permite a combinação de diferentes estratégias de teste para melhorar o poder sem sacrificar a validade.

Principais Contribuições e Resultados

1. Validação da Razão de Verossimilhança Não Paramétrica ($T_{nplr}$):
   O artigo fornece uma prova rigorosa da validade de amostra finita da estatística $T_{nplr}$ proposta por Wang e Zhao [2003]. Esta estatística é definida via uma razão de verossimilhança não paramétrica:
   $$T_{nplr}(x) = \min_{t \in [0,1]} \prod_{i=1}^n (1 - t + t x_i)^{-1}.$$
   Embora Wang e Zhao tenham conjecturado sua validade, e o trabalho concomitante de Ming et al. [2026] a tenha verificado via uma representação diferente, este artigo estabelece a validade sob a nula leave-one-out usando a estrutura de certificado dual.

2. P-valor Binomial Generalizado ($T_{bin+}$):
   Os autores introduzem uma nova estatística, $T_{bin+}$, que estende o teste binomial exato de Clopper-Pearson para variáveis aleatórias não negativas gerais. Ela é construída considerando um cenário de "pior caso", onde as observações assumem valores em $\{0, x_{max}\}$. A estatística é definida como:
   $$T_{bin+}(x) = \frac{\int_{-1/(x_{max}-1)}^0 \prod_{i \ne j} (1 + s(x_i - 1)) ds}{\int_{-1/(x_{max}-1)}^1 \prod_{i \ne j} (1 + s(x_i - 1)) ds},$$
   onde $j$ é um índice tal que $x_j = x_{max}$. O artigo prova que $T_{bin+}$ é um p-valor válido para $\mathcal{P}^n_{loo}$ e fornece uma representação eficiente envolvendo integrais de funções de produto.

3. Estatística Combinada:
   Usando o princípio de troca dual, os autores mostram que o mínimo pontual $\min\{T_{nplr}, T_{bin+}\}$ é um p-valor válido. Esta estatística combinada é mais poderosa que cada componente isoladamente, pois $T_{nplr}$ é mais sensível a evidências espalhadas por múltiplas observações, enquanto $T_{bin+}$ é mais sensível a evidências concentradas em poucos outliers grandes.

4. Otimalidade Assintótica:
   O artigo estabelece resultados de otimalidade nítidos em dois regimes sob a nula i.i.d. $\mathcal{P}^n_{iid}$:

   • Detectabilidade Zero-Um: No regime totalmente não paramétrico sem suposições de momentos, a distância de Hellinger ao quadrado $H^2(Q_n, \mathcal{P}_0)$ determina a detectabilidade. Se $n H^2 \to \infty$, os testes $T_{nplr}$, $T_{bin+}$ e o seu mínimo alcançam poder assintótico 1. Se $n H^2 \to 0$, nenhum teste alcança poder superior a $\alpha$.
   • Poder Assintótico Local: Sob alternativas locais regulares aproximando-se da nula à taxa $n^{-1/2}$, o poder não paramétrico ótimo coincide com o de um experimento de deslocamento de média Gaussiana. O artigo prova que $T_{bin+}$ e $\min\{T_{nplr}, T_{bin+}\}$ atingem este poder ótimo. Em contraste, mostra-se que $T_{nplr}$ é estritamente conservador e falha em atingir o poder assintótico local ótimo.

Significância e Alegações
O artigo afirma resolver a questão aberta da validade de amostra finita da estatística de razão de verossimilhança não paramétrica $T_{nplr}$ sob uma ampla nula leave-one-out. Introduz uma nova estatística, $T_{bin+}$, que preenche uma lacuna na testagem não paramétrica para dados não negativos ao estender métodos binomiais exatos para suportes não limitados.

A significância do trabalho reside em:

• Rigor Teórico: Fornecer uma estrutura dual unificada que prova a validade sem exigir suporte limitado ou suposições de variância, que são comuns em desigualdades de concentração, mas muitas vezes irreais na prática.
• Otimalidade: Demonstrar que, embora $T_{nplr}$ seja válido, ele é subótimo em regimes assintóticos locais, enquanto $T_{bin+}$ atinge o limite inferior de poder não paramétrico.
• Utilidade Prática: A combinação destas estatísticas resulta em um método que é tanto válido em amostra finita quanto assintoticamente ótimo, oferecendo ganhos de poder substanciais sobre métodos existentes (como métodos de banda de CDF, métodos de apostas/betting e limites de Bernstein empíricos) em experimentos numéricos.

Os autores enfatizam que seus resultados são específicos para variáveis aleatórias não negativas e para a estrutura de nula leave-one-out, distinguindo sua abordagem dos métodos sequenciais de apostas (ex: Waudby-Smith e Ramdas [2024]), que se aplicam a uma nula sequencial mais ampla, mas podem não oferecer as mesmas propriedades de poder em amostra finita sob a suposição i.i.d.