Estimate Level Adjustment For Inference With Proxies Under Random Distribution Shifts

Resumo Técnico: Ajuste de Nível de Estimativa para Inferência com Proxies sob Deslocamentos de Distribuição Aleatórios

Declaração do Problema
Em experimentação científica e industrial, pesquisadores frequentemente dependem de resultados proxy (por exemplo, métricas de curto prazo, pontos finais substitutos ou previsões de modelos) para tirar conclusões sobre resultados primários que são difíceis, caros ou demorados de medir. Embora os proxies facilitem a tomada de decisões mais rápida, as garantias estatísticas derivadas de dados proxy (como ausência de viés ou intervalos de confiança válidos) não se transferem automaticamente para o estimando primário.

Métodos existentes para corrigir o viés de proxy — como suposições de substituição, ajustes de deslocamento de covariáveis ou inferência alimentada por previsão (PPI) — dependem de suposições de identificação estritas. Essas suposições são frequentemente difíceis de validar e podem ser violadas por deslocamentos de distribuição não observados (por exemplo, deriva de conceito). Quando tais suposições falham, os intervalos de confiança baseados em proxy podem ser sistematicamente mal calibrados, levando a estimativas de parâmetros enviesadas e subcobertura do parâmetro primário verdadeiro. Uma restrição prática crítica é que os dados históricos em nível individual necessários para reajustar ou recalibrar esses modelos são frequentemente indisponíveis; tipicamente, apenas estimativas de métricas agregadas e resumos de incerteza são mantidos.

Metodologia
Os autores propõem um framework genérico em nível de estimativa para calibrar empiricamente a inferência baseada em proxy sem exigir dados históricos em nível individual. A abordagem central trata o viés residual entre a proxy e a métrica primária como uma variável aleatória latente.

1. Modelo de Viés Latente:
   O método assume que, através de $K$ domínios (onde $K-1$ são domínios de treinamento históricos e $K$ é o domínio alvo), a discrepância entre o estimador proxy ($\hat{\theta}^*_k$) e o estimador primário ($\hat{\theta}_k$) segue um modelo de viés gaussiano aditivo:
   $$\phi_k := \theta^*_k - \theta_k \sim N(\rho, \gamma^2)$$
   Aqui, $\rho$ representa o viés médio e $\gamma^2$ representa a variância entre domínios do viés. Esta formulação permite que o método modele a distribuição do viés residual da proxy usando apenas estimativas agregadas históricas e suas estruturas de covariância.

2. Estimação via Método dos Momentos:
   Usando domínios históricos, os autores definem a diferença dentro do domínio $d_k = \hat{\theta}^*_k - \hat{\theta}_k$. Eles derivam um estimador de método dos momentos para os parâmetros da distribuição de viés $(\rho, \gamma^2)$:

   • $\hat{\rho} = \frac{1}{K-1} \sum d_k$
   • $\hat{\gamma}^2 = \frac{1}{K-1} \sum (d_k - \hat{d})^2 - \frac{1}{K-1} \sum \tilde{\sigma}^2_k$
     onde $\tilde{\sigma}^2_k$ é a variância estimada da diferença $d_k$. A estimativa $\hat{\gamma}^2$ é truncada em zero para lidar com ruído de amostra finita.

3. Inferência e Ajuste:

   • $K$ Grande (Plug-in): Quando o número de domínios históricos é grande, os parâmetros de viés estimados são tratados como conhecidos. O método constrói um intervalo de confiança estilo Wald para a métrica primária alvo $\theta_K$ centrando o intervalo na estimativa corrigida de viés $(\hat{\theta}^*_K - \hat{\rho})$ e inflando a variância para incluir a variância de viés entre domínios estimada ($\hat{\gamma}^2$).
   • $K$ Pequeno (Bootstrap de Domínio): Quando o número de domínios históricos é limitado, a incerteza em $(\hat{\rho}, \hat{\gamma}^2)$ pode afetar a cobertura. Os autores propõem um procedimento de bootstrap de domínio que reamostra domínios históricos para propagar essa incerteza, gerando uma distribuição empírica para o parâmetro alvo.

4. Protocolo de Avaliação:
   O artigo introduz um diagnóstico "Leave-One-Domain-Out" (LOO) para avaliar a calibração do intervalo. Ao tratar cada domínio histórico como um alvo (escondendo seu resultado primário) e verificando se o intervalo proxy ajustado se sobrepõe ao intervalo primário verdadeiro, o método fornece um proxy observável e conservador para não-miscalibração.

Principais Contribuições

1. Framework Genérico para Viés de Proxy: O artigo formaliza o viés inerente aos estimadores proxy como um problema de variável latente, assumindo normalidade conjunta das distribuições de amostragem. Isso permite a caracterização do viés residual sem suposições de identificação rigorosas.
2. Procedimento de Ajuste Escalável: Os autores introduzem um estimador de método dos momentos de forma fechada e um procedimento de bootstrap de domínio que dependem exclusivamente de estimativas agregadas históricas. Isso permite a implantação escalável em cenários onde dados em nível individual estão indisponíveis.
3. Inflação Seletiva e Validação Empírica: O método atua como uma etapa de pós-processamento que infla seletivamente os intervalos de confiança apenas quando diagnósticos históricos indicam subcobertura. Simulações extensas e aplicações do mundo real demonstram que essa abordagem melhora a calibração e a cobertura em vários procedimentos de proxy e deslocamentos de distribuição.

Resultados

• Simulações: Em simulações multedomínio envolvendo deslocamento de covariáveis e deriva de conceito, estimadores proxy não ajustados consistentemente subcobriram. Embora correções padrão (como PPI ponderada) tenham melhorado a calibração em cenários estáveis, elas degradaram sob forte deriva de conceito. O ajuste de viés aleatório proposto estabilizou a cobertura em todos os níveis de deriva. Notavelmente, para estimadores com alto viés residual, os comprimentos dos intervalos estabilizaram à medida que o tamanho da amostra aumentou, refletindo corretamente que a incerteza era dominada pelo viés entre domínios e não pelo ruído de amostragem.
• Aplicações do Mundo Real:
  • Conjunto de Dados Civil Comments: Na estimativa da prevalência de comentários tóxicos em publicações web, os intervalos proxy ajustados aumentaram a taxa de sobreposição com os intervalos primários verdadeiros de 0,64 para 0,96 (em $\alpha=0,05$), com um aumento correspondente na largura do intervalo normalizada de 0,5 para 1,3.
  • Experimentos de Longo Prazo: Na estimativa de Efeitos Médios de Tratamento (ATE) usando proxies previstos por modelos, o ajuste aumentou a taxa de sobreposição de 0,68 para 1,0. O método inflou efetivamente a incerteza em experimentos onde o viés residual era grande em relação à variabilidade de amostragem.

Significado e Alegações
O artigo alega oferecer uma solução prática e modular para melhorar a confiabilidade da inferência baseada em proxy na ausência de dados históricos em nível individual. Ao modelar o viés residual como um efeito aleatório, o método fornece uma "rede de segurança" que ajusta violações de suposições de identificação padrão (como deslocamento de covariáveis ou substituição).

Os autores enfatizam que essa abordagem não melhora o próprio estimador proxy, mas sim melhora a quantificação de incerteza associada a ele. É projetado para ser aplicado sobre métodos de correção existentes (como PPI ou ponderação por importância). O significado reside em sua capacidade de prevenir falsos positivos decorrentes de inferência proxy excessivamente confiante, permitindo assim uma tomada de decisão mais segura e rigorosa em experimentação em grande escala e domínios científicos onde os resultados primários são atrasados ou não observáveis. Os autores notam modestamente que a eficácia do método depende da informatividade dos domínios históricos e que a suposição de viés gaussiano é uma aproximação de trabalho que pode exigir modelos mais ricos para padrões de viés complexos.