Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities

1. O Problema

Experimentos aleatórios adaptativos (como ensaios clínicos adaptativos, contextual bandits e experimentação em plataformas de grande escala) atualizam as probabilidades de atribuição de tratamento ($\pi_t$) conforme os dados são acumulados, visando equilibrar aprendizado e implantação. No entanto, muitas plataformas ainda exigem relatórios convencionais ao final do estudo para estimadores causais clássicos, como o Efeito Médio do Tratamento (ATE) em uma população super, calculado em um horizonte de tempo pré-especificado.

O desafio central identificado no artigo é a calibração de intervalos de confiança (inferência de Wald) sob atribuição adaptativa:

• Sob adaptação, o processo de propensão $\{\pi_t\}$ é dependente dos dados.
• Consequentemente, a variação quadrática previsível dos incrementos de pontuação (scores) do estimador AIPW (Augmented Inverse Propensity Weighted) ou DML (Double Machine Learning) pode permanecer aleatória e não convergir para um único limite determinístico de variância de longo prazo.
• Quando não existe um limite de variância determinístico, estatísticas de Wald normalizadas por uma única variância de longo prazo podem estar miscalibradas condicionalmente ao regime de variância realizado, mesmo que a cobertura marginal pareça próxima do nominal. Isso ocorre porque a variância real pode oscilar entre diferentes regimes (ex: alta vs. baixa variância) dependendo do caminho realizado do experimento.

2. Metodologia Proposta

O autor propõe uma abordagem de inferência Wald auto-normalizada baseada em martingales que não exige que a variância se estabilize em um limite determinístico.

Premissas e Contratos Auditáveis

A metodologia baseia-se em duas condições de "contrato de dados" auditáveis que devem ser garantidas pela plataforma:

1. Log de Propensões Executadas: A plataforma deve registrar a probabilidade de atribuição executada ($\pi_t$) usada para randomizar cada unidade $t$, garantindo que o log reflita exatamente o que foi passado ao dispositivo de randomização.
2. Construção Preditiva de Nuisance: As regressões de nuisance (funções de resultado) usadas para pontuar a unidade $t$ devem ser construídas exclusivamente com dados passados (antes de $t$). Isso é implementado via Cross-Fitting Direto (Forward Cross-Fitting), onde os dados são divididos em blocos contíguos e os modelos são treinados apenas em blocos anteriores.

Estrutura de Martingale

Sob essas condições, os incrementos de pontuação centrados do estimador AIPW/DML formam uma Sequência Exata de Diferenças de Martingale (MDS).

• O estimador utiliza a pontuação AIPW padrão, mas com propensões logadas e nuisance preditiva.
• A estatística de teste é construída utilizando a variação quadrática realizada (realized quadratic variation) como estimador de variância, em vez de um alvo determinístico.

O Estimador e a Estatística

• Estimador: Média amostral das pontuações pseudo-outcomes AIPW/DML calculadas com nuisance preditiva.
• Estatística de Studentização: O intervalo de confiança é construído normalizando a soma dos scores pela raiz quadrada da variância amostral calculada a partir dos dados realizados (variação quadrática realizada).
• Teorema Principal: O artigo prova que, sob um horizonte fixo pré-especificado, essa estatística studentizada converge para uma distribuição Normal padrão $N(0,1)$, mesmo na ausência de estabilização de variância.

3. Principais Contribuições

1. Contrato de Pontuação Auditável: Formaliza a necessidade de logs de propensões executadas e ajuste de nuisance apenas com dados passados para garantir que os scores formem uma MDS exata.
2. Inferência Wald Auto-Normalizada em Horizonte Fixo: Demonstra teoricamente que a estatística de Wald, normalizada pela variação quadrática realizada, é assintoticamente válida ($N(0,1)$) sem exigir que a variância previsível convirja para um limite determinístico. Isso lida com regimes onde as propensões oscilam ou convergem para limites aleatórios.
3. Viabilidade do Studentizer: Mostra que a estimativa de variância padrão (plug-in) usada na prática é consistente para a variação quadrática realizada, permitindo a construção de intervalos de confiança viáveis.
4. Benchmarking de Oracle e Efeitos de Aprendizado de Nuisance: Fornece uma decomposição do segundo momento condicional que isola um termo de inflação de variância devido ao erro de regressão (nuisance). O artigo destaca que, embora a consistência do nuisance não seja necessária para a validade do intervalo (cobertura), ela é crucial para a precisão (largura do intervalo).

4. Resultados e Simulações

O artigo apresenta simulações que validam a teoria e contrastam com métodos existentes:

• Cenário de Variância Aleatória (Design A): Quando a variância de longo prazo depende do regime realizado (ex: depende de uma estimativa inicial aleatória), os intervalos de Wald tradicionais (com variância fixa) apresentam cobertura condicional desastrosa (subcobertura em regimes de alta variância e sobrecobertura em regimes de baixa variância). O método proposto (SN - Self-Normalized) mantém a cobertura próxima de 95% em todos os regimes.
• Cenário de Estabilização (Design B): Quando a variância se estabiliza (caso clássico), o método proposto e os métodos tradicionais são assintoticamente equivalentes.
• Teste de Vazamento (Leakage - Design C1): Simulações mostram que violar a previsibilidade (usando dados futuros ou atuais para treinar o nuisance) quebra a propriedade de martingale, levando a uma cobertura severamente abaixo do nominal (ex: 82% em vez de 95%).
• Integridade do Log (Design D): Se a análise usar uma propensão assumida (ex: 0.5) em vez da propensão executada logada, o viés é catastrófico e a cobertura colapsa, reforçando a importância crítica do log auditável.

5. Significado e Implicações

• Para Plataformas de Experimentação: O trabalho oferece um protocolo prático e auditável para relatórios de fim de estudo em ambientes adaptativos. Ele permite que plataformas continuem usando políticas de atribuição agressivas e adaptativas sem sacrificar a validade estatística dos relatórios finais, desde que sigam o contrato de log e previsibilidade.
• Mudança de Paradigma: Move o foco da necessidade de "estabilização de design" (forçar as propensões a não variar muito) para o uso de normalização auto-estocástica. Isso é mais robusto a políticas que reagem a estimativas intermediárias ruidosas.
• Limitações: O método é estritamente de horizonte fixo. Não fornece garantias de "parada opcional" (anytime-valid). Se o experimento for monitorado continuamente e parar com base nos dados, métodos de sequências de confiança (confidence sequences) ainda são necessários.
• Validade vs. Precisão: O artigo esclarece que a validade da inferência (cobertura correta) depende apenas da previsibilidade e do log correto, enquanto a precisão (tamanho do intervalo) depende da qualidade do aprendizado de máquina (nuisance).

Em resumo, o artigo resolve um problema fundamental na inferência causal adaptativa: como obter intervalos de confiança válidos quando a variância do estimador não se estabiliza, propondo uma solução baseada em teoria de martingales que é tanto teoricamente rigorosa quanto operacionalmente viável através de logs auditáveis.