Resumo Técnico: Projeto de Política de Registro para Avaliação Off-Policy

Declaração do Problema

A avaliação off-policy (OPE) é um mecanismo crítico para estimar o valor de uma política de tratamento alvo (por exemplo, um novo sistema de recomendação) usando dados coletados por uma política de "registro" diferente. Embora a OPE permita experimentação de alto risco sem implantação ao vivo, sua precisão depende fortemente da política de registro usada para gerar os dados. A literatura existente frequentemente trata a política de registro como uma política de comportamento fixa, potencialmente desconhecida, focando, em vez disso, em melhorar os estimadores (por exemplo, Ponderação por Propensão Inversa, Duplamente Robusto). No entanto, na prática, a escolha da política de registro afeta dramaticamente o viés e a variância das estimativas de OPE, particularmente em regimes de amostra finita com grandes espaços de ação e recompensas esparsas.

O problema central abordado é como projetar a política de registro (especificamente, as propensões de ação $\pi_l(a|x)$) para minimizar o Erro Quadrático Médio (MSE) de uma estimativa de Ponderação por Propensão Inversa (IPW) para uma política alvo dada $\pi_t$. Este projeto deve navegar em um tradeoff fundamental recompensa-cobertura: concentrar a massa de probabilidade em ações de alta recompensa reduz a variância decorrente da realização da recompensa, enquanto garantir cobertura em ações que a política alvo pode selecionar é necessário para controlar o viés e a variância decorrentes da amostragem de ações.

Metodologia

Os autores enquadram o problema em um setting de bandito contextual (Processo de Decisão de Markov sem dinâmicas de transição) onde contextos $X$ chegam de uma distribuição $p_X$, e ações $A$ são selecionadas por uma política de registro $\pi_l$. A recompensa $R$ é binária, retirada de $Bernoulli(\mu(a, x))$.

1. Função Objetivo

O objetivo principal é minimizar o MSE do estimador IPW $\hat{V}_{IPW}(\pi_t | \pi_l)$:
$$MSE = E[(\hat{V}_{IPW} - V(\pi_t))^2] = Viés^2 + Variância$$
Os autores derivam a decomposição viés-variância explicitamente como uma função da política de registro $\pi_l$. Eles estabelecem que, embora a sobreposição (garantir $\pi_l(a|x) > 0$ para todo $a$ onde $\pi_t(a|x) > 0$) elimine o viés, isso não necessariamente minimiza o MSE, especialmente quando os tamanhos de amostra são pequenos.

2. Regimes Informacionais

O artigo analisa políticas de registro ótimas em um espectro de restrições informacionais, categorizadas pelo conhecimento da política alvo ($\pi_t$) e da distribuição de recompensas ($\mu$):

• $\pi_t$ Desconhecido e $\mu$ Desconhecido: Na ausência de informações, a estratégia minimax ótima é randomização uniforme. Isso se alinha com a intuição de que um prior não informativo é ótimo quando o estimando é desconhecido.
• $\mu$ Conhecido, $\pi_t$ Desconhecido: A política ótima aloca massa proporcional a $\frac{\mu(a,x)}{c + \mu(a,x)^2}$, priorizando ações de alta recompensa enquanto mantém uma margem de segurança.
• $\mu$ Desconhecido, $\pi_t$ Conhecido: A estratégia ótima é registrar dados diretamente sob a própria política alvo $\pi_t$.
• $\pi_t$ Conhecido e $\mu$ Conhecido: Este é o caso ideal. A política de registro ótima segue uma alocação de Neyman direcionada à política alvo:
  $$\pi_l^*(a|x) \propto \pi_t(a|x)\sqrt{\mu(a,x)}$$
  Esta solução pondera ações pelo produto da massa da política alvo e da raiz quadrada da probabilidade de recompensa.

3. Configurações Intermediárias e Restrições Práticas

Reconhecendo que informações perfeitas raramente estão disponíveis, o artigo estende o framework para configurações intermediárias:

• Distribuição sobre Políticas Alvo: Quando o alvo exato é desconhecido, mas uma distribuição $Pr(\pi_t)$ é conhecida, a política de registro ótima visa um "pseudo-alvo de segundo momento" $\tilde{\pi}_t(a|x) = \sqrt{E[\pi_t(a|x)^2]}$.
• Estimativas de Recompensa Ruidosas: Quando $\mu$ é estimado via um modelo $\hat{\mu}$ com ruído, inserir diretamente $\hat{\mu}$ infla a variância. Os autores propõem contração posterior, contraindo estimativas ruidosas em direção a uma média por contexto. Sob um prior hierárquico Gaussiano, o peso ótimo de contração é derivado, levando a uma interpretação de "Bayes Empírico" onde o parâmetro de contração é estimado a partir de dados retidos.
• Classes Soft-Greedy: Para configurações onde ótimos teóricos são inviáveis devido a restrições de engenharia ou organizacionais, o artigo propõe três classes de políticas indexadas por um parâmetro de "ganância": Top-k, Softmax e Normalizado por Potência. Estas classes interpolam entre randomização uniforme e seleção determinística gananciosa, permitindo que empresas equilibrem o tradeoff recompensa-cobertura via um único hiperparâmetro.

Resultados Chave

1. Optimalidade do Registro Modificado: No caso onde tanto $\pi_t$ quanto $\mu$ são conhecidos, a política de registro ótima $\pi_l^*$ (alocação de Neyman) produz um MSE menor para a estimativa IPW do que executar a política alvo $\pi_t$ diretamente (avaliação on-policy). Além disso, $\pi_l^*$ acumula uma recompensa esperada maior durante o período de registro do que o próprio $\pi_t$. Isso demonstra que a OPE otimizada pode simultaneamente melhorar a precisão estatística e a experiência do usuário em comparação com testes A/B ao vivo.
2. Tradeoff Recompensa-Cobertura: O artigo formaliza que o registro ótimo raramente é idêntico à política alvo. Mesmo que a política alvo seja conhecida, a política de registro deve equilibrar a amostragem de itens de alta recompensa (para reduzir a variância da recompensa) contra a amostragem de itens que a política alvo seleciona (para reduzir a variância de amostragem).
3. Impacto do Ruído: Usar previsões de recompensa ruidosas sem contração leva a políticas de registro subótimas que podem performar pior do que a randomização uniforme. A contração posterior mitiga significativamente esse risco, frequentemente permitindo que o registro otimizado supere a avaliação on-policy mesmo com modelos de recompensa imperfeitos.
4. Desempenho de Heurísticas: Simulações mostram que políticas "soft-greedy" simples (especificamente Top-k e Normalizado por Potência) podem aproximar o MSE do ótimo teórico. Em regimes de pequena amostra, truncar intencionalmente o suporte de ação (induzindo um leve viés) pode reduzir o MSE geral em comparação com políticas que impõem sobreposição estrita.

Significado e Contribuições

O artigo afirma fornecer um framework unificador para o projeto de políticas de registro, indo além de heurísticas ad-hoc ou restrições apenas de segurança. Seu significado reside em:

• Fundamentação Teórica: Conecta o projeto de políticas de registro a problemas clássicos em projeto experimental ótimo (alocação de Neyman) e amostragem por importância, fornecendo soluções ótimas tratáveis sob várias restrições informacionais.
• Orientação Acionável: Oferece estratégias concretas para empresas escolhendo entre sistemas candidatos, particularmente quando a política alvo é desconhecida ou as estimativas de recompensa são ruidosas. Os métodos de contração propostos e as classes soft-greedy fornecem ferramentas práticas para implementação.
• Benefício Duplo: Desafia a noção de que a coleta de dados para avaliação deve sacrificar a experiência do usuário. Os resultados mostram que políticas de registro teoricamente ótimas podem produzir tanto avaliações off-line mais precisas quanto recompensas imediatas mais altas do que as políticas sendo avaliadas.
• Clarificação de Tradeoffs: Ao caracterizar explicitamente o tradeoff recompensa-cobertura e a decomposição viés-variância no contexto do projeto de registro, o artigo esclarece quando e por que diferentes estratégias de registro (por exemplo, uniforme vs. gananciosa vs. Neyman) são apropriadas.

Os autores concluem que, embora seus resultados teóricos dependam de suposições (como o uso de IPW e sobreposição fraca), eles fornecem uma base principiante para empresas melhorarem seus esforços de experimentação off-line, substituindo fallbacks conservadores como randomização uniforme por estratégias de registro orientadas por dados e teoricamente otimizadas.