Empirical Likelihood for Nonsmooth Functionals

Resumo Técnico: Empirical Likelihood para Funcionais Não Suaves

1. O Problema e Motivação

O artigo aborda um desafio central na inferência estatística para tomada de decisão baseada em dados: a avaliação do valor ótimo de políticas (policy evaluation). O objetivo é inferir sobre o valor médio da melhor política disponível entre um conjunto de candidatos, definido como:
$$\tau(P_0) = \max_{1 \le j \le J} \{ \theta_j(P_0) \}$$
onde $\theta_j$ é o valor esperado da política $j$.

Desafios Principais:

• Não Suavidade (Nonsmoothness): A função "máximo" é não suave. A suavidade (diferenciabilidade de Hadamard) só é garantida se houver uma política estritamente ótima e única. No entanto, em cenários práticos (como saúde ou economia), as melhorias de políticas personalizadas são frequentemente modestas, levando a situações de "empate" ou quase-empate entre várias políticas.
• Falha dos Métodos Existentes:
  • A Empirical Likelihood (EL) clássica e suas extensões semiparamétricas exigem suavidade do funcional alvo.
  • Métodos que assumem unicidade da política ótima falham quando há empates, resultando em subcobertura severa (intervalos de confiança muito estreitos que não contêm o valor real).
  • Métodos conservadores, como construir uma região de confiança conjunta para todas as políticas e projetar no máximo, pagam uma penalidade dimensional excessiva (o intervalo torna-se artificialmente largo).
  • O bootstrap padrão falha em funcionais não suaves porque, em amostras finitas, a probabilidade de empates exatos é zero, fazendo com que o bootstrap sempre estime a geometria local como um hiperplano (suave), ignorando a estrutura cônica real do problema.

2. Metodologia Proposta

O autor desenvolve um novo método de Empirical Likelihood (EL) baseada em perfis de escores (score-profile empirical likelihood) que lida diretamente com a não suavidade.

Componentes Chave:

1. Entrada via Escores AIPW: O método assume que os dados foram processados através de Double/Debiased Machine Learning (DML). Isso gera um vetor de escores Augmented Inverse Probability Weighting (AIPW) para cada política, que satisfazem um Teorema Central do Limite e eliminam o viés da estimação de funções de incômodo (nuisance functions).
2. Redução Geométrica Primal (Teorema 1):
   • Em vez da abordagem dual tradicional (expansão de Taylor de multiplicadores de Lagrange), o autor utiliza uma prova geométrica no espaço de pesos.
   • Demonstra-se que a estatística de perfil de EL é assintoticamente equivalente à distância de Mahalanobis quadrática entre a média dos escores amostrais e o conjunto de nível (level set) do funcional alvo.
   • A distribuição assintótica depende da geometria desse conjunto de nível:
     • Se a política ótima é única: o conjunto de nível é um hiperplano $\to$ distribuição $\chi^2_1$.
     • Se há empates: o conjunto de nível é um cone (tangent cone) $\to$ distribuição não-pivotal (mistura ponderada de $\chi^2$).
3. Bootstrap Corrigido (Teorema 9):
   • Como o bootstrap padrão falha ao estimar a geometria do cone (sempre estimando um hiperplano), o autor propõe um bootstrap multiplicador corrigido.
   • O método estima o conjunto de políticas "quase-ótimas" (o conjunto ativo) a partir dos dados usando um limiar adaptativo.
   • Com base nessa estimativa, constrói-se um cone estimado e calcula-se a distância de Mahalanobis dos escores reamostrados até esse cone estimado.
   • Isso permite calibrar o valor crítico corretamente, seja para casos suaves ou não suaves, sem que o pesquisador precise saber a priori se há empates.

3. Contribuições Técnicas Principais

• Prova Geométrica Primal: Substitui a tecnologia de prova clássica baseada em expansões de Taylor no dual por uma redução geométrica determinística no espaço de pesos. Isso permite lidar diretamente com funcionais não suaves (diferenciáveis apenas na direção de Hadamard).
• Inferência Adaptativa Automática: O método não requer que o usuário assuma unicidade da política ótima. Ele detecta automaticamente a geometria (hiperplano vs. cone) estimando o conjunto de políticas competitivas a partir dos dados.
• Eficiência Computacional:
  • Diferente de métodos de bootstrap semiparamétricos tradicionais que exigem re-estimar modelos de nuisance (como regressores ou escores de propensão) em cada reamostragem, este método opera apenas no nível dos escores já calculados.
  • Isso reduz a complexidade computacional de múltiplas ordens de magnitude, tornando a inferência viável para grandes conjuntos de políticas.
• Limites de Confiança Otimizados: Utiliza uma representação de simplex (Proposição 4) para obter limites inferiores de confiança em forma fechada, que exploram a diversificação entre políticas quase-ótimas (efeito de portfólio), resultando em intervalos mais estreitos do que métodos de projeção conjunta.

4. Resultados Empíricos (Simulações)

O artigo apresenta quatro conjuntos de experimentos validando o método:

1. Penalidade Dimensional: Mostra que o método de "projeção conjunta" (joint projection) produz intervalos de confiança até 3 vezes mais largos que o método proposto quando o número de políticas ($J$) é grande, devido ao uso de valores críticos $\chi^2_J$ em vez de $\chi^2_1$.
2. Robustez em Empates: Em cenários com múltiplas políticas empatadas, o método de "política selecionada" (Wald) sofre de subcobertura severa (abaixo de 90%), enquanto o método proposto mantém a cobertura nominal (95%), adaptando-se à geometria do cone.
3. Pipeline Semiparamétrico: Em um cenário realista de avaliação de políticas com modelos de nuisance estimados via Random Forests e cross-fitting, o método proposto mantém cobertura válida e é significativamente mais preciso (limites 3x mais estreitos) do que a projeção conjunta.
4. Comparação com Métodos Não-EL: Comparado ao bootstrap corrigido de Fang e Santos (2017), o método proposto oferece limites de confiança mais estreitos quando as políticas empatadas têm baixa correlação, graças à capacidade de explorar a diversificação via otimização no simplex.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica na inferência estatística para problemas de decisão sob incerteza.

• Viabilidade Prática: Permite que decisores avaliem o valor da melhor política com rigor estatístico, mesmo quando não se sabe se uma política é estritamente superior às outras.
• Superação de Limitações Teóricas: Demonstra que a suposição de unicidade da política ótima, comum na literatura, é circular e frequentemente irrealista. O novo método elimina essa necessidade.
• Escalabilidade: Ao operar no nível dos escores e evitar re-estimação de modelos complexos no loop de bootstrap, o método torna a inferência robusta aplicável a problemas de grande escala com centenas de políticas candidatas.

Em suma, o artigo oferece uma estrutura unificada, geometricamente fundamentada e computacionalmente eficiente para a inferência de valores ótimos em cenários onde a não suavidade e a incerteza de seleção são predominantes.