Optimal Inference with Black-box Predictions

Resumo Técnico: Inferência Ótima com Predições de Caixa-Preta

Enunciado do Problema
Este trabalho aborda o desafio de realizar testes de hipóteses estatísticas válidos e eficientes em cenários de alta dimensão quando estão disponíveis predições auxiliares de caixa-preta da distribuição dos dados. Especificamente, os autores estudam o modelo de sequência Gaussiana onde se observam $n$ amostras $X_1, \dots, X_n \sim N(\theta, I_d/n)$ e $m$ predições de caixa-preta fixas $\{\hat{\theta}_1, \dots, \hat{\theta}_m\}$ da média desconhecida $\theta \in \mathbb{R}^d$. O objetivo é testar a hipótese nula $H_0: \theta = 0$ contra uma hipótese alternativa $H_1: \|\theta\|_2 \geq \epsilon$.

Existe uma tensão central: enquanto predições informativas podem concentrar o poder estatístico em direções específicas, predições ruins podem induzir ao erro um teste. Crucialmente, na prática, a precisão (raio de erro) dessas predições é desconhecida. O artigo busca caracterizar os limites de informação-teórica para a inferência neste cenário e desenvolver testes que se adaptem a precisões de predição desconhecidas sem sacrificar a validade.

Metodologia e Estrutura
Os autores empregam um framework minimax para analisar a dificuldade de distinguir $H_0$ de $H_1$. Eles definem o cenário "oráculo", onde as precisões das predições $r = (r_1, \dots, r_m)$ são conhecidas, e o cenário "adaptativo", onde elas são desconhecidas.

1. Inferência Oráculo: Quando as precisões são conhecidas, a hipótese alternativa é localizada na interseção de bolas $B_r = \bigcap_{i=1}^m B(\hat{\theta}_i, r_i)$. Os autores caracterizam a taxa de separação ótima $\epsilon^*(r)$ baseada na geometria da interseção $S_\epsilon \cap B_r$ (onde $S_\epsilon$ é a esfera de raio $\epsilon$).

   • Eles introduzem $\gamma_*(\epsilon, r)$, o comprimento da menor projeção da média alternativa sobre o subespaço das predições.
   • Eles definem uma "similaridade de cosseno de pior caso" $CS(\epsilon, r)$ para medir o alinhamento entre a média dos dados e o subespaço das predições.
   • O teste oráculo ótimo alterna entre um teste padrão de qui-quadrado (quando as predições não são informativas) e um teste baseado em razão de verossimilhança ou projeção (quando as predições são informativas).

2. Inferência Adaptativa (Predições Ortogonais): Quando as predições são ortogonais e as precisões são desconhecidas, os autores propõem um teste adaptativo que agrega projeções em todas as direções das predições usando uma estatística de qui-quadrado no subespaço das predições. Eles analisam o "gap de adaptabilidade" — o custo em tamanho de amostra exigido porque o teste não pode ponderar as direções de acordo com suas precisões desconhecidas.

3. Inferência Adaptativa (Predições Arbitrárias): Para predições não ortogonais (por exemplo, provenientes do mesmo modelo via reamostragem), testes de projeção padrão são subótimos porque tratam todas as direções no subespaço de forma igual. Os autores propõem um teste de projeção intrínseca. Este método pondera as projeções com base nos valores singulares da matriz de predição $\hat{U}$, utilizando especificamente a matriz de similaridade de cosseno ao quadrado $\Sigma = \hat{U}^T \hat{U}$. O teste depende da dimensão intrínseca de $\Sigma^2$, definida como $Int(\Sigma^2) = \text{Tr}(\Sigma^2) / \|\Sigma^2\|_{op}$, em vez da dimensão ambiente do subespaço de predição.

Principais Contribuições e Resultados

• Limites Oráculo (Teoremas 1 & 2): Os autores caracterizam a complexidade de amostragem ótima para um teste oráculo. A taxa depende da similaridade de cosseno de pior caso entre a verdadeira média e o subespaço de predição.

  • Se a similaridade for baixa ($CS \lesssim d^{-1/4}$), a predição não oferece benefício, e a taxa permanece a da predição-independente de $n \gtrsim \sqrt{d}/\epsilon^2$.
  • Se a similaridade for alta, o oráculo atinge taxas independentes de dimensão $n \gtrsim 1/\gamma_*^2$, efetivamente reduzindo o problema a um teste unidimensional.
  • Se a predição for extremamente precisa (esferas disjuntas), taxas paramétricas $n \gtrsim 1/\|\theta^*\|^2$ são alcançadas.

• Custo de Adaptação para Predições Ortogonais (Teoremas 3 & 4): Para predições ortogonais, os autores estabelecem que um teste adaptativo requer um tamanho de amostra maior por um fator de $\sqrt{m}$ em comparação ao oráculo.

  • A taxa adaptativa é $n \gtrsim \sqrt{m}/\gamma_*^2$.
  • Este gap surge porque o teste adaptativo deve buscar desvios em todas as $m$ direções ortogonais, enquanto o oráculo pode agregá-las em uma única direção ótima.
  • Os autores provam que essa dependência de $\sqrt{m}$ é ótima entre curvas de separação que satisfazem uma propriedade de invariância natural (Propriedade 1), mostrando que o "almoço grátis" é impossível para predições ortogonais.

• Adaptação para Predições Arbitrárias (Teorema 5): Para predições não ortogonais, os autores mostram que o custo de adaptação depende da dimensão intrínseca ($Int(\Sigma^2)$) em vez do número de predições $m$ ou do posto do subespaço.

  • O teste adaptativo usando projeção intrínseca atinge taxas $n \gtrsim \sqrt{Int(\Sigma^2)}/\tilde{\gamma}_*^2$.
  • Como $Int(\Sigma^2) \leq \text{rank}(\hat{U})$, predições não ortogonais (que frequentemente se agrupam) podem reduzir significativamente o custo de adaptabilidade em comparação ao caso ortogonal.
  • O artigo demonstra que, quando as predições compartilham informação substancial (baixa dimensão intrínseca), métodos adaptativos podem superar métodos concorrentes que ignoram essa estrutura.

Significância e Alegações
O artigo afirma fornecer um princípio unificador para integrar predições de caixa-preta em testes de hipóteses. Suas principais contribuições são:

1. Caracterização de Limites: Estabelece os limites de informação-teórica para a inferência com predições de caixa-preta, distinguindo entre regimes onde as predições são úteis versus inúteis com base no alinhamento geométrico.
2. Quantificação de Custos de Adaptabilidade: Quantifica rigorosamente o "custo de adaptação" (a penalidade no tamanho da amostra por não conhecer a precisão da predição). Revela que, para predições ortogonais, esse custo escala com $\sqrt{m}$, mas para predições correlacionadas, escala com a dimensão intrínseca do conjunto de predições.
3. Algoritmos Práticos: Propõe testes adaptativos práticos (baseados em projeção e em projeção intrínseca) que ajustam automaticamente a alocação de potência. Esses testes são válidos independentemente da qualidade da predição (mantendo o controle do erro do Tipo I), mas alcançam potência ótima quando as predições são informativas.

Os autores posicionam este trabalho dentro do contexto mais amplo de inferência agnóstica à estrutura e inferência impulsionada por predição, estendendo esses conceitos para o teste de hipóteses. Eles enfatizam que, embora as predições possam melhorar a eficiência, a estratégia ótima depende criticamente da relação geométrica entre a predição e a verdade desconhecida, e que a adaptabilidade à qualidade desconhecida acarreta um custo específico e quantificável.