Resumo Técnico: Quando Você Pode Confiar na Avaliação Offline de Alocação de Top-$k$ de Custo Igual?

Declaração do Problema

Organizações enfrentam rotineiramente problemas de alocação com restrição de orçamento, como selecionar o top $k$ percentual de clientes para uma oferta de retenção ou pacientes para um tratamento, com base em efeitos de tratamento estimados. Antes de implantar uma nova política determinística "top-$k$" ($\pi_e$), os profissionais dependem da Avaliação Fora da Política (OPE - Off-Policy Evaluation) usando dados registrados de uma política anterior ($\pi_b$) para estimar o valor da política.

A dificuldade central surge da natureza determinística da política alvo. Ao contrário das políticas estocásticas, uma regra top-$k$ determinística atribui probabilidade 1 a uma única ação e 0 às outras. Isso elimina a média sobre ações, fazendo com que os pesos de importância ($w = \pi_e(a|x)/\pi_b(a|x)$) tornem-se extremos (0 ou $1/\pi_b$) onde o registrador raramente tomou a ação que o alvo demanda. Embora a literatura padrão de OPE aborde a sobreposição fraca em configurações estocásticas, este artigo investiga se a avaliação offline permanece confiável quando o alvo é uma política top-$k$ determinística, especificamente sob pesos limitados (propensidades com piso de 0,02).

Metodologia

O autor constrói um benchmark controlado e reproduzível para avaliar seis estimadores (DM, IPS, SNIPS, DR, Switch-DR, mIPS) através de cinco conjuntos de dados e duas varreduras de endurecimento de efeitos conhecidos (known-effect hardening sweeps).

• Conjuntos de Dados: O estudo utiliza cinco conjuntos de dados abrangendo três regimes:
  1. Sintético: Resultados potenciais conhecidos ($\mu_0, \mu_1$) com efeitos ajustáveis, fornecendo a verdade fundamental exata.
  2. Semi-sintético: IHDP (desfecho contínuo, efeitos conhecidos) e Jobs (desfecho binário, subconjunto randomizado).
  3. RCTs Reais: Experimentos de marketing Hillstrom e Lenta com probabilidades de tratamento constantes conhecidas.
  4. Camada de Endurecimento (Hardening Layer): Seis Processos Geradores de Dados (DGPs) no estilo ACIC-2017 sobre covariáveis reais do IHDP para testar a robustez através de superfícies de resposta.
• Design de Registro (Logging Design): O feedback registrado é sintetizado via amostragem por rejeição de um ensaio randomizado ou uma propensão conhecida. A política de registro é um softmax escalonado por temperatura sobre uma pontuação candidata. Crucialmente, o artigo varia o alinhamento entre o registrador e o alvo:
  • Auto-alinhado: Registrador construído a partir da própria pontuação do alvo (mas não do seu limite específico de top-$k$).
  • Desalinhado: Registrador construído a partir de uma pontuação de um candidato diferente.
  • Independente: Registrador construído a partir de uma pontuação independente de candidatos.
• Protocolo de Avaliação: Cada estimativa é pareada com um valor de referência explícito. Para dados sintéticos/IHDP, este é o valor real exato. Para ensaios randomizados, é uma estimativa de Horvitz–Thompson ruidosa. O estudo separa explicitamente esses tipos de referência para evitar confundir o erro do estimador com o ruído da referência.
• Variáveis Chave: O estudo realiza varreduras sobre a temperatura de registro ($\tau$), orçamento ($k$) e políticas candidatas (T-learner, S-learner, baseline aleatório). Também testa o impacto de propensões estimadas ($\hat{\pi}_b$) versus propensões exatas ($\pi_b$) e a qualidade do modelo de desfecho ($\hat{\mu}$).

Contribuições Principais

1. A Sobreposição é Governada pelo Alinhamento de Ações, Não pela Nitidez do Registro

O artigo corrige um equívoco comum de que "afiar" (sharpening) uma política de registro (reduzindo a temperatura $\tau$) melhora inerentemente a sobreposição para alvos determinísticos.

• Descoberta: Para um alvo top-$k$ determinístico, a sobreposição é determinada pela probabilidade do registrador das ações específicas que o alvo seleciona, não pela nitidez da distribuição de pontuação.
• Mecanismo: Se um registrador é "alinhado à pontuação" (centrado na média da pontuação), mas o alvo corta em um limiar de orçamento, o afiar o registrador apenas concentra a massa longe das ações do alvo, colapsando o Tamanho de Amostra Efetivo (ESS). Por outro lado, um registrador "alinhado à ação" (centrado no ponto de corte) afina em direção ao suporte total.
• Diagnóstico: O ESS e a deficiência de suporte podem classificar o risco entre diferentes ambientes de registro (ex: escolher entre logs), mas são fracos para classificar candidatos dentro de um único log fixo.

2. A Maldição do Otimizador e Estratégias de Divisão (Splitting)

O artigo aborda a "maldição do otimizador", onde uma política aprendida nos mesmos dados usados para avaliação apresenta viés otimista.

• Descoberta: O cross-fitting apenas do modelo de vizinhança (nuisance model) do desfecho (mantendo a política congelada) não remove o viés de reuso; de fato, muitas vezes torna o otimismo pior em comparação com a estimativa Doubly Robust (DR) simples.
• Raciocínio: O otimizador seleciona unidades com pontuações infladas devido ao ruído de estimativa. Um modelo de vizinhança honesto (fora da dobra/out-of-fold) falha em reduzir esses resíduos, reintroduzindo o otimismo.
• Solução: A divisão de nível de política "honesta" (reaprendendo a política em dados fora da dobra e avaliando em dobras retidas) é necessária para eliminar o viés de reuso. Isso visa o valor do processo de aprendizado em vez da política específica de amostra total, alterando o estimando, mas fornecendo uma avaliação válida do processo de implantação.

3. O Erro de Estimativa de Propensão é o Modo de Falha Dominante

Substituir propensões exatas por propensões estimadas ($\hat{\pi}_b$) causa a maior degradação no desempenho.

• Descoberta: Para o IPS (Inverse Propensity Scoring), o erro de estimativa aumenta as taxas de falha (viés relativo > 10%) de ~6% para 37–63%.
• Inversão de Diagnósticos: Um modelo de propensão ruim pode inverter o diagnóstico de ESS. Se a propensão estimada é quase constante, ela não carrega informação de dispersão, fazendo com que o ESS estimado colapse para a cobertura. Isso leva a altos escores de ESS em regiões onde a propensão real é extrema (alto risco), tornando o diagnóstico ativamente enganoso.
• Robustez: Estimadores Doubly Robust (DR) permanecem estáveis sob erro de estimativa de propensão porque o termo do modelo de desfecho absorve o erro.

Resultados

• Precisão do Estimador (RQ1): Estimadores baseados em modelos (DM, DR) geralmente superam estimadores de ponderação pura (IPS, SNIPS) em conjuntos de dados de valor exato, com o DR mostrando mais estabilidade. Em conjuntos de dados com referências ruidosas (RCTs), a lacuna de desempenho se comprime e as classificações tornam-se pouco confiáveis devido ao ruído da referência.
• Diagnósticos de Sobreposição (RQ2): O risco de sobreposição fraca é classificável entre ambientes de registro usando ESS, desde que exista um modelo de propensão crível. No entanto, dentro de um único log, o ESS não pode classificar de forma confiável qual política candidata é segura para implantação.
• Seleção de Política (RQ4): Ao selecionar entre candidatos, usar um "log comum" (um histórico de log para todos os candidatos) é essencial. Usar logs específicos para cada candidato (onde cada candidato é avaliado em um log alinhado consigo mesmo) confunde a seleção ao comparar pares política-registrador em vez de políticas. O IPS tende a selecionar excessivamente candidatos que são mais fáceis de avaliar (menor variância), não necessariamente os melhores.
• Verificação Não-Simulada: Uma verificação no conjunto de dados "Twins" (resultados pareados reais) confirmou que os mecanismos (efeitos de alinhamento, sinais de cross-fitting) se replicam, embora os pontos de corte calibrados não sejam transferíveis.

Significância e Alegações

O artigo afirma fornecer um guia operacional para profissionais, enfatizando que a avaliação offline de políticas top-$k$ determinísticas é altamente sensível ao alinhamento entre o registrador e o alvo.

• Orientação Prática:
  1. Verifique o Alinhamento: Antes de confiar em uma estimativa ponderada por importância, verifique se a política do registrador concorda amplamente com as ações do alvo.
  2. Use DR sob Incerteza: A estimativa Doubly Robust é o padrão mais seguro quando a adequação do modelo de desfecho é incerta ou quando a estimativa de propensão é necessária.
  3. Divisão Honesta (Honest Splitting): Para evitar a maldição do otimizador, use divisão de nível de política em vez de apenas cross-fitting de vizinhança.
  4. Logs Compartilhados para Seleção: Ao comparar múltiplas políticas candidatas, avalie todas em um único log histórico compartilhado para evitar viés de seleção.
• Limitações: O estudo é limitado à alocação top-$k$ de custo igual e ação binária. As descobertas sobre pontos de corte são específicas das distribuições de dados do benchmark e não se transferem diretamente para outros domínios sem recalibração. O artigo afirma explicitamente que não resolve o problema de estimar propensões a partir de dados observacionais, mas destaca o custo severo de fazê-lo de forma inadequada.

O artigo conclui que, embora a OPE seja uma ferramenta necessária para alocação com restrição de orçamento, sua confiabilidade é condicional a escolhas de design específicas (alinhamento do registrador, modelagem de propensão e estratégias de divisão) que são frequentemente negligenciadas na prática.