Adaptive Off-Policy Inference for M-Estimators Under Model Misspecification

Resumo Técnico: Inferência Off-Policy Adaptativa para M-Estimadores sob Especificação Incorreta do Modelo

Título Original: Adaptive Off-Policy Inference for M-Estimators Under Model Misspecification
Autores: James Leiner, Robin Dunn, Aaditya Ramdas
Data: 10 de fevereiro de 2026

---

1. O Problema (Contexto e Motivação)

Em cenários de coleta de dados adaptativa (como em algoritmos de bandits ou aprendizado por reforço), os dados não são independentes e identicamente distribuídos (i.i.d.), pois as escolhas de tratamento no tempo $t$ dependem do histórico de recompensas anteriores. Isso cria dois desafios principais para a estatística clássica:

1. Instabilidade da Variância: Algoritmos de bandit (como UCB ou Thompson Sampling) tendem a concentrar ações em certas opções, o que pode levar a variâncias instáveis e não convergentes, invalidando estimadores de variância tradicionais.
2. Especificação Incorreta do Modelo (Misspecification): A maioria das técnicas atuais de inferência para dados adaptativos assume que o modelo de recompensa está correto. No entanto, na prática, o modelo de trabalho (ex: uma regressão linear) raramente reflete a verdade geradora de dados. Quando o modelo é incorreto, o parâmetro de interesse pode nem ser bem definido, pois a distribuição de recompensas é não-estacionária.

O objetivo deste trabalho é permitir a construção de intervalos de confiança válidos para M-estimadores (como OLS ou GLMs) em ambientes adaptativos, mesmo quando o modelo utilizado é incorreto e a política de tratamento é instável.

2. Metodologia Proposta

Os autores introduzem uma abordagem que foca na inferência sobre um parâmetro de projeção off-policy ($\theta^\star$). Em vez de tentar estimar o parâmetro da política que coletou os dados (que é instável), eles definem o alvo como o parâmetro que seria otimizado sob uma política de avaliação fixa ($\pi_e$), tornando o alvo de inferência interpretável e estável.

Componentes Principidos da Metodologia:

• MAIPWM-Estimator: O Misspecified Augmented Inverse Propensity Weighted M-estimator. Este estimador utiliza pesos de propensão inversos para garantir que o estimador seja não enviesado para o alvo $\theta^\star$, mas incorpora um modelo preditivo ($f_t$) para aumentar o poder estatístico (semelhante ao estimador AIPW em causalidade).
• Estabilização da Variância via Matrizes de Pesos: Para lidar com a variância instável, os autores propõem o uso de matrizes de normalização $\Sigma_t$ que ajustam o segundo momento do score function em cada passo de tempo.
• Estimativa de Covariância de Dois Passos: Como a variância real é desconhecida, eles propõem dois métodos práticos para estimá-la:
  1. Uso de Dados Externos: Utilizar um conjunto de dados independente para estimar as médias e variâncias condicionais.
  2. Divisão de Amostra Sequencial (Sequential Sample Splitting): Dividir o fluxo de dados em duas histórias paralelas, usando uma para treinar modelos preditivos e a outra para estimar a variância.

3. Principais Contribuições

1. Teorema Central do Limite (CLT) para M-estimadores Adaptativos: O principal resultado matemático (Teorema 1) estabelece a normalidade assintótica do estimador sob condições de especificação incorreta e adaptatividade não-vanishing (ou seja, a política não precisa convergir para uma política fixa).
2. Robustez à Instabilidade de Políticas: Diferente de trabalhos anteriores (como Guo & Xu, 2025), o método não exige que as políticas de tratamento convirjam, permitindo o uso de algoritmos de bandit padrão que oscilam entre braços.
3. Framework de M-estimadores: A solução é generalista, aplicando-se tanto a modelos lineares simples quanto a modelos lineares generalizados (GLMs) complexos.

4. Resultados Empíricos

Os autores testaram o método utilizando dados semi-sintéticos baseados no Osteoarthritis Initiative (OAI). Os experimentos simularam diversos cenários:

• Cenários de Especificação Correta: O método manteve a cobertura nominal (ex: 90% de cobertura para um intervalo de 90%).
• Cenários de Especificação Incorreta e Heterocedasticidade: Enquanto métodos tradicionais (como IPW e SQ-IPW) falharam drasticamente (subestimando a incerteza e resultando em cobertura muito baixa), o método proposto (MAIPWM) manteve o controle do erro de Tipo I.
• Comparação de Estratégias: Demonstrou-se que o uso de dados externos é mais eficiente (intervalos mais estreitos) do que a divisão de amostra (sample splitting), embora ambos sejam estatisticamente válidos.

5. Significância e Impacto

Este trabalho preenche uma lacuna crítica na literatura de aprendizado por reforço e inferência causal. Ele permite que pesquisadores e profissionais de saúde utilizem algoritmos de decisão adaptativa (que maximizam recompensas no curto prazo) e, ao mesmo tempo, realizem inferências estatísticas rigorosas e confiáveis sobre os efeitos de tratamentos, mesmo que os modelos matemáticos utilizados para descrever esses efeitos sejam simplificações da realidade. É uma ferramenta essencial para a transição de algoritmos de "caixa-preta" para sistemas de decisão que exigem transparência e quantificação de incerteza.