Resumo Técnico: proxymate: Diagnóstico e Ajuste de Estimativas de Proxy para Inferência Confiável

Declaração do Problema

Em configurações científicas e industriais, os resultados primários de interesse são frequentemente difíceis de medir devido a atrasos (ex: janelas de atribuição longas), altos custos (ex: rotulagem humana) ou observabilidade limitada. Os profissionais frequentemente os substituem por resultados de proxy prontamente disponíveis (endpoints substitutos, sinais de curto prazo ou previsões de modelos). No entanto, uma inferência válida em um proxy não garante uma inferência válida no resultado primário. As estimativas baseadas em proxy podem sofrer de vieses sistemáticos que são difíceis de prever, levando a intervalos de confiança impropriamente calibrados e tomadas de decisão falhas.

A literatura existente aborda tipicamente ou o ajuste (correção de falhas do proxy) ou a validação (diagnóstico da adequação do proxy) de forma isolada, raramente conectando ambos. Além disso, a maioria dos frameworks assume configurações experimentais controladas, tornando-os inadequados para cenários de medição genéricos, como estimativa de nível populacional ou monitoramento observacional. Existe uma lacuna persistente no uso eficaz de resultados de proxy: a falta de uma camada diagnóstica unificada para determinar se e qual ajuste é necessário antes da aplicação.

Metodologia: O Framework proxymate

O artigo apresenta o proxymate, um framework e um pacote Python de código aberto que organiza a validação e o ajuste de proxies em quatro níveis distintos. Cada nível corresponde a uma pergunta estatística específica, estrutura de dados e um conjunto de diagnósticos e ajustes.

1. Nível de Representatividade (Validade Populacional)

• Pergunta: Os dados de validação devem ser reponderados antes do uso?
• Contexto: Os dados de validação ($V_k$) contendo pares de observações primárias ($Y$) e de proxy ($Y^*$) podem não ser representativos da população alvo ($P_k$) devido a viés de amostragem ou ausência de dados (missingness).
• Diagnósticos: Verificações de lacunas na distribuição de covariáveis (Diferenças Médias Padronizadas, Kolmogorov-Smirnov), estabilidade de pesos de importância (Tamanho de Amostra Efetivo), extremidade de pesos e cobertura.
• Ajustes:
  • Sem Lacuna: Prosseguir sem correção.
  • Ajuste de IW: Aplicar Ponderação de Importância (IW) para reponderar os dados de validação para a distribuição da população alvo.
  • Lacuna Muito Severa: Sinalizar a validação como não confiável; recomendar aquisição direcionada de rótulos ou estreitamento da população alvo.

2. Nível de Unidade (Qualidade de Medição)

• Pergunta: O proxy acompanha o primário no nível individual?
• Contexto: Avalia a discrepância entre $Y_i$ e $Y^*_i$ dentro de um domínio histórico.
• Diagnósticos:
  • Acurácia: Viés sistemático (teste t de Welch).
  • Precisão: Níveis de ruído ($R^2$, RMSE, correlação de Pearson).
  • Acordo: Alinhamento com a linha de identidade (Bland-Altman, CCC de Lin).
  • Calibração: Probabilidades previstas vs. frequências observadas (ECE, escore de Brier).
  • Discriminação: Capacidade de ranking (ROC AUC, $\tau$ de Kendall).
  • Fidelidade Distribucional: Correspondência de distribuição marginal (teste KS, distância TV).
• Ajustes:
  • Viés Sistemático: Ajuste de viés aditivo.
  • Miscalibração: Calibragem de Platt, regressão isotônica ou Multicalibração (MCGrad).
  • Baixa Discriminação: Substituição do proxy ou retreinamento do modelo (não pode ser corrigido post-hoc).

3. Nível de Estimativa (Validade de Decisão)

• Pergunta: O proxy leva à mesma conclusão agregada que o primário dentro de um único domínio?
• Contexto: Avalia a confiabilidade para inferência agregada (estimativas pontuais e intervalos de confiança). Erros individuais podem se acumular ou se cancelar de forma imprevisível.
• Diagnósticos: Viés agregado (Erro Absoluto Relativo), validade inferencial (cobertura de IC) e acordo de sinal.
• Ajustes:
  • Viés Agregado: A Inferência Impulsionada por Predição (PPI) corrige a estimativa do proxy usando dados de validação: $\hat{\theta}_{PPI} = \hat{\theta}^*_{all} + (\hat{\theta}_V - \hat{\theta}^*_V)$.
  • Miscalibração de IC: Os intervalos de confiança da PPI contabilizam explicitamente a incerteza do ajuste de viés.
  • Sem Viés: Nenhum ajuste necessário (o Teorema 1 observa que aplicar PPI a um proxy já adequado aumenta estritamente o MSE).

4. Nível de Domínio (Transportabilidade entre Domínios)

• Pergunta: A relação proxy-primário se mantém através de muitos domínios?
• Contexto: Testa a estabilidade do viés proxy-primário ($\phi_k$) através de domínios históricos ($k=1, \dots, K-1$) para garantir a transportabilidade para um domínio alvo ($K$).
• Diagnósticos: Associação agregada ($R^2$), Heterogeneidade (Q de Cochran, $I^2$, $\tau^2$) e acurácia de predição (MSE Leave-One-Out).
• Ajustes:
  • Viés Sistemático entre Domínios: A Calibração de Regressão ajusta um mapeamento linear ($\hat{\theta}_{cal} = \hat{\gamma}_0 + \hat{\gamma}_1 \hat{\theta}^*$) através dos domínios históricos.
  • Viés Residual: O ajuste de nível de estimativa modela o viés residual como um efeito aleatório.
  • Alta Heterogeneidade: Alargar os intervalos de predição; a predição pontual é considerada não confiável.

Principais Contribuições

Os autores identificam quatro contribuições primárias:

1. Um Framework de Validação de Quatro Níveis: Organizando a validação de proxy nos níveis de Representatividade, Unidade, Estimativa e Domínio, garantindo que questões estatísticas distintas sejam abordadas com diagnósticos apropriados.
2. Uma Ponte Diagnóstico-Ajuste Teórica: Mapeando modos de falha específicos para ajustes direcionados cujas suposições são satisfeitas, fechando formalmente a lacuna entre o diagnóstico e a correção em produção.
3. Aplicação Empírica em Escala: Demonstrando o valor do framework em múltiplas aplicações de produção na Meta, identificando falhas de proxy, selecionando candidatos e guiando ajustes.
4. Um Pacote de Código Aberto: Uma biblioteca Python modular que expõe verificações de validação, planejadores configuráveis, estimadores customizados e relatórios estruturados.

Resultados e Aplicações na Meta

O framework foi aplicado a seis casos de uso de produção na Meta, abrangendo experimentação, monitoramento de prevalência e treinamento de modelos de ML. Essas aplicações abordaram quatro gargalos principais: janelas de maturação longas, medição restrita, baixa detectabilidade e baixa sensibilidade.

• Estudo de Caso A (Predição de Não Pagamento): Validou um modelo de ML que prediz resultados de não pagamento de 60 dias. Embora a precisão do nível de unidade tenha falhado (esperado para distribuições de cauda pesada de receita), o proxy mostrou forte associação agregada ($R^2=0,82$) e alinhamento direcional através de 22 experimentos. O proxy foi aprovado para tomada de decisão direcional (go/no-go), mas não para estimativa precisa de magnitude, permitindo cerca de 300 experimentos anuais.
• Estudo de Caso B (Prevalência de Scam/Golpe): Avaliou proxies para detecção de golpes contra rótulos humanos. O Nível de Representatividade sinalizou um problema grave de qualidade de dados (baixo Tamanho de Amostra Efetivo devido à sobre-representação de conteúdo sinalizado). Após a reponderação, todos os candidatos a proxy falharam na validação do Nível de Unidade (baixa sensibilidade na população mais ampla). Consequentemente, todos os proxies foram rejeitados, impedindo o deploy de um modelo de personalização enviesado e redirecionando o desenvolvimento para uma abordagem de ensemble.

Impacto Geral:

• Proxies validados permitiram cerca de 7.500 experimentos anualmente em quatro fluxos de trabalho.
• Em dois casos, o framework rejeitou com sucesso proxies enviesados, prevenindo danos subsequentes.
• Milhões de comparações de unidade proxy-primário foram avaliadas e corrigidas.

Significância e Alegações

O artigo afirma que o proxymate preenche uma lacuna prática crítica ao fornecer um fluxo de trabalho unificado de "diagnosticar-então-corrigir". Sua significância reside em:

• Prevenir o Ajuste Cego: Ao impor uma camada de diagnóstico, evita a aplicação de ajustes (como PPI) quando estes não são apropriados ou quando os dados subjacentes não são representativos, o que poderia inflar o Erro Quadrático Médio (MSE) ou ampliar o viés.
• Modularidade e Generalização: O framework é aplicável uniformemente a surrogates de A/B, classificadores de prevalência e proxies de monitoramento, independentemente do domínio específico.
• Prontidão para Produção: Ele vai além da metodologia teórica para um sistema implantado que lida com restrições de dados do mundo real (ausência de dados, mudança de covariável, maturação longa) e integra-se aos stacks de experimentação existentes.

Os autores mantêm a modéstia, observando que o framework valida o acordo estatístico em vez de mecanismos causais e atualmente valida um proxy contra um resultado primário por vez. Trabalhos futuros incluem validação sequencial e seleção automatizada de proxies.