Resumo Técnico: Data Augmented Bootstrap (DAB)

Declaração do Problema

A construção de intervalos de confiança (CIs) válidos frequentemente depende de suposições estruturais específicas sobre os dados. Uma classe proeminente de métodos, incluindo predição conformal, testes de permutação e certas variantes de bootstrap, depende da invariância de grupo exata. Esses métodos garantem validade de amostra finita e livre de distribuição ao explorar o fato de que um estatístico $f(X)$ é distribuiçãoalmente invariante sob um grupo de transformações $\Phi$ (ou seja, $f(X) \stackrel{d}{=} f(\Phi_b(X))$).

No entanto, o requisito de invariância exata é frequentemente restritivo demais para aplicações práticas. Muitas técnicas amplamente utilizadas em aprendizado de máquina, como o aumento de dados (data augmentation, por exemplo, rotações aleatórias, embaralhamento ou injeção de ruído), satisfazem apenas a invariância aproximada. Além disso, métodos clássicos de bootstrap, embora assintoticamente válidos, dependem da invariância aproximada do conjunto de dados sob reamostragem de índices conforme $n \to \infty$, em vez de simetrias exatas de amostra finita. Há uma carência de um framework unificado que possa lidar rigorosamente tanto com simetrias de grupo exatas quanto com invariâncias não de grupo e aproximadas (como as provenientes de aumento de dados) para construir intervalos de confiança com cobertura garantida.

Metodologia: Data Augmented Bootstrap (D dot DAB)

O artigo propõe o Data Augmented Bootstrap (DAB), um framework que unifica a construção de intervalos de confiança ao alavancar a invariância aproximada.

Framework Central

Dado um conjunto de dados $X = (X_{obs}, X_{unobs})$ e um estatístico $f: \mathcal{X}^n \to \mathcal{Y}$, o DAB constrói um conjunto de predição $C_\alpha$ para $X_{unobs}$ ranqueando o estatístico original contra $B$ versões transformadas:
$$C_\alpha := \left\{ \tilde{x}_n \in \mathcal{X}^n_{unobs} \mid \frac{\text{Rank}_T(f(X_{obs}, \tilde{x}_n); (f(\Phi_b(X_{obs}, \tilde{x}_n)))_{b=1}^B)}{B+1} \in S_\alpha \right\}$$
onde $\Phi_b$ são transformações aleatórias (potencialmente não invertíveis e não pertencentes a um grupo) e $\text{Rank}_T$ é uma função de ranking com desempate.

A validade do DAB baseia-se na suposição de que a sequência $(f(X), f(\Phi_1(X)), \dots, f(\Phi_B(X)))$ é aproximadamente permutável (approximately exchangeable).

Pilares Teóricos

O artigo estabelece garantias de cobertura através de uma hierarquia de resultados teóricos:

1. Permutabilidade Aproximada (Teorema 2):
   O erro de cobertura é limitado pela distância de Kolmogorov ($\Delta^r_{Kol}$) entre a distribuição de ranking da sequência real e uma sequência substituta exatamente permutável. Se as transformações satisfizerem a invariância de grupo exata, $\Delta^r_{Kol} = 0$, recuperando as garantias conhecidas de amostra finita. Se elas satisfizerem apenas a invariância aproximada, o erro é controlado pela magnitude da violação da permutabilidade.

2. Invariância Aproximada (Teorema 3):
   O artigo reduz o erro de permutabilidade a uma medida de invariância aproximada:
   $$\Delta_{inv}(X) := \sup_{t \in \mathbb{R}} |P(f(\Phi_1(X)) \le t \mid X) - P(f(X) \le t)|$$
   O Teorema 3 fornece um limite de cobertura que interpola entre garantias de amostra finita (quando $\Delta_{inv}$ é pequeno) e garantias assintóticas (quando $\Delta_{inv} \to 0$ conforme $n \to \infty$). Isso se aplica mesmo quando $\Phi_b$ não são extraídos de uma estrutura de grupo.

3. Universalidade Gaussiana e Correspondência de Momentos (Teorema 5):
   Para tornar a verificação da invariância aproximada tratável para estatísticos complexos e não lineares (comuns em estatística de alta dimensão e aprendizado de máquina), o artigo emprega a universalidade Gaussiana.

   • Insight Chave: Se o estatístico $f$ satisfaz a universalidade Gaussiana, a aproximação de distribuição $f(X) \approx f(Z)$ (onde $Z$ é Gaussiano) é válida.
   • Condição: Sob essa suposição, a invariância aproximada é garantida se a transformação $\Phi_1$ corresponde aos dois primeiros momentos (média e variância condicionais) dos dados originais. Especificamente, se $\| \text{Var}[\Phi_1(X) \mid X] - \text{Var}[X] \|_\infty$ for pequeno e a média condicional coincidir, o erro de cobertura desaparece assintoticamente.
   • Isso permite a incorporação de técnicas padrão de aumento de dados (ex: transformações ortogonais, rotações aleatórias) no DAB, desde que elas aproximem a preservação da estrutura de média e variância dos dados.

Principais Contribuições

1. Unificação de Métodos: O DAB fornece um framework teórico único que recupera:

   • Métodos de Invariância Exata: Predição conformal, testes de permutação, SymmPI e wild bootstrap para U-estatísticas.
   • Métodos Assintóticos: O bootstrap clássico e o wild bootstrap para U-estatísticas degeneradas.
   • Novas Capacidades: Permite o uso de aumento de dados (invariância aproximada sem estrutura de grupo) na quantificação de incerteza.

2. Garantias Teóricas para Invariância Aproximada:
   O artigo estabelece limites de cobertura rigorosos que dependem da força da invariância. Diferente de trabalhos anteriores que exigiam permutabilidade exata ou dependiam apenas de argumentos assintóticos, o DAB fornece limites de erro de amostra finita que interpolam entre regimes exatos e assintóticos baseados na distância de Kolmogorov da violação da invariância.

3. Conexão com a Universalidade Gaussiana:
   Ao vincular a invariância aproximada à universalidade Gaussiana, o artigo simplifica a verificação das condições de cobertura. Demonstra que, para uma ampla classe de estimadores (incluindo aqueles em estatística de alta dimensão), garantir que uma transformação corresponda à média e variância dos dados é suficiente para garantir CIs válidos.

4. Validação Empírica:
   Os autores testam empiricamente o DAB incorporando aumentos de dados em:

   • Bootstrap: Adicionando transformações ortogonais para estimativa de média.
   • Wild Bootstrap: Adicionando transformações para testes de Diferença de Média Quadrática Máxima (MMD) para problemas de duas amostras.
   • Predição Conformal: Adicionando aumentos à predição conformal dividida (split-conformal) para regressão e predição de energia molecular.

   Os resultados mostram que o DAB frequentemente melhora a cobertura (especialmente em amostras pequenas) e o poder de teste em comparação com métodos tradicionais, mantendo a eficiência.

Significância e Alegações

O artigo afirma que o DAB preenche a lacuna entre as garantias rigorosas de amostra finita de métodos invariantes de grupo e a utilidade prática da invariância aproximada encontrada no aprendizado de máquina.

• Impacto Prático: Permite que profissionais incorporem técnicas padrão de aumento de dados (ex: rotações, embaralhamento) em procedimentos de inferência estatística para melhorar a qualidade dos intervalos de confiança, particularmente em cenários onde simetrias exatas não existem ou são computacionalmente intratáveis.
• Escopo Teórico: O framework estende a aplicabilidade de métodos do tipo bootstrap para estimadores que não são assintoticamente normais, desde que satisfaçam a universalidade Gaussiana.
• Modéstia: Os autores reconhecem que, embora o DAB melhore o desempenho em várias tarefas (como imagens e dados científicos), os ganhos são limitados quando poucas simetrias estão disponíveis (ex: dados de texto ou conjuntos de dados de Higgs boson). Eles também observam que a escolha da transformação ótima permanece dependente do domínio e é uma questão em aberto.

Em resumo, o DAB oferece uma maneira fundamentada de "unificar" a construção de intervalos de confiança, tratando o aumento de dados não apenas como um heurístico para melhorar estimativas de ponto, mas como um mecanismo válido para construir intervalos de quantificação de incerteza sob invariância aproximada.