Data-Driven Influence Functions for Optimization-Based Causal Inference

1. Problema e Motivação

A inferência causal em aprendizado de máquina frequentemente visa estimar funcionais estatísticos da distribuição de dados, como efeitos médios de tratamento ou valores de políticas em aprendizado por reforço offline. A estimação desses funcionais é vulnerável a viéses introduzidos pela estimação de funções de incômodo (nuisance functions), como regressões de resultados ou probabilidades de propensão.

Para mitigar isso, utilizam-se estimadores ajustados por viés, como os estimadores duplamente robustos (Doubly Robust - DR) e métodos de aprendizado de máquina duplo/deviésado (Double/Debiased Machine Learning). Tradicionalmente, a construção desses estimadores depende da derivação analítica das Funções de Influência (IF) ou derivadas de Gateaux.

O Desafio:

• Derivar analiticamente as funções de influência para funcionais complexos (ex: regimes de tratamento dinâmico, otimização de políticas em MDPs de horizonte infinito, ou análise de sensibilidade) exige esforço analítico significativo e conhecimento especializado.
• Praticantes que desejam modificar estimadores ou trabalhar com classes restritas de funcionais (ex: com restrições de otimização específicas) enfrentam a necessidade de reanálise caso a caso para estabelecer propriedades estatísticas desejadas (como robustez dupla).
• Existe uma lacuna entre a disponibilidade de solvers de otimização convexa (que são flexíveis e computacionais) e a capacidade de gerar automaticamente correções de viés estatístico para esses solvers.

Objetivo do Artigo:
Desenvolver uma abordagem construtiva e numérica para aproximar derivadas de Gateaux (e, consequentemente, funções de influência) usando diferenças finitas, permitindo a geração automática de estimadores ajustados para viés sem a necessidade de derivação analítica manual, focando em funcionais baseados em otimização.

---

2. Metodologia

Os autores propõem um framework analítico que conecta aproximações numéricas (diferenças finitas) a propriedades estatísticas rigorosas.

A. Aproximação por Diferenças Finitas e Suavização

Em vez de derivar analiticamente a função de influência $\phi(O; P)$, o método calcula numericamente a derivada direcional de um funcional $\Psi(P)$ em relação a uma perturbação na distribuição de probabilidade $P$.

• Perturbação: A distribuição $P$ é perturbada para $P_{\epsilon, \lambda} = (1-\epsilon)P + \epsilon \tilde{\delta}^\lambda_{o_i}$, onde $\tilde{\delta}^\lambda$ é uma distribuição suavizada (ex: kernel) centrada na observação $o_i$.
• Derivada Numérica: A função de influência empírica é aproximada por:
  $$\tilde{\phi}(O_i) \approx \frac{1}{\epsilon} \left( \Psi(\tilde{P}^i_{\epsilon}) - \Psi(\tilde{P}) \right)$$
  Onde $\tilde{P}$ é a estimativa empírica da distribuição (plug-in).

B. Framework Analítico de Estabilidade

O núcleo da contribuição teórica é o desenvolvimento de regras de cálculo para erros de aproximação por diferenças finitas.

• Os autores estabelecem regras de produto e quociente para propagar erros de aproximação através de composições de funcionais.
• Eles demonstram que, sob certas condições de regularidade, a derivada de Gateaux empírica (baseada em dados estimados) converge para a derivada analítica (baseada na distribuição verdadeira) com uma taxa de erro controlada.
• Teorema Chave (Linearidade Assintótica): O estimador de um passo ajustado pela derivada de Gateaux empírica mantém a linearidade assintótica e a propriedade de robustez dupla (rate double robustness), desde que as taxas de aproximação numérica ($\epsilon$ e $\lambda$) satisfaçam condições específicas em relação às taxas de convergência das estimativas de densidade.

C. Aplicação a Otimização Estocástica

O método é estendido para funcionais definidos como soluções de problemas de otimização estocástica (ex: Programação Linear em MDPs).

• Utiliza-se o Teorema da Função Inversa e a estabilidade de bases ótimas em Programação Linear para mostrar que a derivada de Gateaux de um valor ótimo de LP pode ser aproximada por diferenças finitas.
• Isso permite calcular funções de influência para problemas onde a solução ótima não tem uma forma fechada simples, mas é obtida via solvers numéricos.

---

3. Principais Contribuições

1. Caracterização Exata de Derivadas de Gateaux Orientadas a Dados:
   O papel fornece caracterizações exatas de como as diferenças finitas aproximam as derivadas analíticas para funcionais causais, indo além das aproximações computacionais puras. Isso serve como "testes unitários analíticos" para inferência causal automatizada.

2. Condições de Taxa para Preservação de Propriedades Estatísticas:
   Derivam condições rigorosas sobre os parâmetros de perturbação ($\epsilon$) e suavização ($\lambda$). Mostram que, para o estimador AIPW (Augmented Inverse Propensity Weighting), a estrutura estatística permite taxas de aproximação mais fracas do que as exigidas por análises gerais de diferenças finitas, preservando a robustez dupla.

3. Generalização para Funcionais de Otimização:
   Estendem a teoria para funcionais complexos, incluindo:

   • Regimes de Tratamento Dinâmico (DTR): Compostos por múltiplas expectativas condicionais e densidades.
   • Otimização de Políticas em MDPs Infinitos: Formulados como Programação Linear (LP).
   • Análise de Sensibilidade (Marginal Sensitivity Model): Onde o estimador é definido como a solução de um problema de otimização adversarial (limites de viés não observado).

4. Algoritmo Construtivo:
   Apresentam um algoritmo (Algoritmo 1) que, dado um solver de otimização ou um avaliador de funcional "caixa-preta", gera automaticamente o termo de ajuste de viés (função de influência) via diferenças finitas, sem exigir que o usuário derive a fórmula analítica.

---

4. Resultados

Teóricos

• AIPW: Demonstraram que a aproximação por diferenças finitas do estimador AIPW é equivalente ao estimador AIPW clássico (com regressão de Nadaraya-Watson e estimativa de kernel de propensão) até um viés aditivo controlado por $\lambda^\beta$ e $\epsilon$.
• Otimização: Provaram que, para problemas de otimização linear com coeficientes incertos, a derivada de Gateaux pode ser aproximada com erro $O(\epsilon)$, desde que a base ótima permaneça estável localmente.
• Sensibilidade: Derivaram a função de influência para limites de tratamento sob o modelo de sensibilidade marginal, mostrando que a abordagem numérica captura termos de perturbação da solução ótima (quantil) que seriam difíceis de derivar analiticamente em variações do modelo.

Empíricos

• Validação (AIPW): Gráficos de $(\epsilon, \lambda)$ confirmam que o erro de aproximação pode ser finamente controlado e que a escolha de parâmetros não degrada o desempenho do estimador em comparação com métodos analíticos.
• Análise de Sensibilidade: Em experimentos simulados (1D e 10D), o método baseado em perturbação (Binning/Perturb.) superou a estimativa plug-in padrão (Baseline) em termos de viés e Erro Quadrático Médio (RMSE).
• Comparação: O método numérico mostrou-se competitivo ou superior à implementação da função de influência analítica total, especialmente em amostras finitas, possivelmente devido à variância reduzida nas estimativas de densidade e à manutenção da viabilidade das restrições de otimização (evitando violações de restrições que ocorrem em derivadas analíticas aproximadas).

---

5. Significado e Impacto

• Automação da Inferência Causal: O trabalho é um passo significativo em direção à "inferência causal automatizada". Permite que pesquisadores apliquem correções de viés sofisticadas (como robustez dupla) a novos estimadores ou restrições de otimização sem precisar de especialistas para derivar funções de influência manualmente.
• Ponte entre Otimização e Estatística: Conecta o campo de solvers de otimização convexa (usados em RL e MDPs) com a teoria estatística de inferência semiparamétrica. Mostra que "caixas pretas" de otimização podem ser usadas para gerar correções estatísticas válidas.
• Flexibilidade: Oferece uma ferramenta para explorar variações de estimadores (ex: adicionar novas restrições de segurança em políticas de RL) mantendo garantias estatísticas, algo que seria proibitivamente difícil analiticamente.
• Limitações e Futuro: O método ainda depende da estimação de densidades (que sofre da maldição da dimensionalidade) e assume diferenciabilidade de caminho (pathwise differentiability). O trabalho sugere futuras investigações sobre métodos adaptativos e redução da dependência da dimensão nos parâmetros de suavização.

Em resumo, o artigo propõe uma mudança de paradigma: em vez de derivar analiticamente a correção de viés para cada novo estimador causal, usa-se a computação numérica (diferenças finitas) para extrair essa correção diretamente da estrutura do estimador, garantindo propriedades estatísticas rigorosas através de uma nova análise teórica.