Resumo Técnico: Amostragem de Importância com Pesos de Kernel para Avaliação Off-Policy em Bandidos Contextuais

1. Definição do Problema

O artigo aborda o desafio da Avaliação Off-Policy (OPE) em bandidos contextuais. O objetivo é estimar o desempenho esperado (valor) de uma política alvo, $\pi_e$, utilizando dados coletados de uma política de registro (comportamento) diferente, $\pi de \pi_l$.

Abordagens padrão baseiam-se em Amostragem de Importância (IS). O estimador de IS vanilla (VIS) é não viesado, mas sofre de alta variância e não é limitado, particularmente quando as políticas alvo e de comportamento divergem. O estimador de IS Ponderada (WIS) mitiga a variância ao normalizar os pesos, induzindo limitação, mas introduz viés e estruturas de dependência complexas entre as amostras que são difíceis de controlar teoricamente.

Os autores identificam uma lacuna: métodos existentes têm dificuldade em alcançar simultaneamente a linearidade/independência do VIS e a limitação/redução de variância do WIS, especialmente sob condições de misspecificação da política de comportamento.

2. Metodologia

2.1 O Estimador Kernel-WIS

Os autores propõem o Kernel-WIS, um novo estimador projetado para unificar os benefícios do VIS e do WIS. Ele é motivado pela observação de que o WIS pode ser visto como o uso de uma covariável de controle condicional, $E[W|S]$, onde $W$ é o peso de importância.

O estimador é definido como:
$$\hat{J}_{\text{Kernel-WIS}} = \frac{1}{n} \sum_{i=1}^n r_i w_i \left( \frac{\sum_{j=1}^n k_h(s_i, s_j) w_j}{\sum_{j=1}^n k_h(s_i, s_j)} \right)^{-1}$$

Onde:

• $r_i$ é a recompensa observada.
• $w_i = \frac{\pi_e(a_i|s_i)}{\pi_l(a_i|s_i)}$ é o peso de importância.
• $k_h(s_i, s_j)$ é uma função kernel com largura de banda $h$.
• O termo do denominador atua como um regressor de kernel de Nadaraya–Watson estimando a expectativa condicional $E[W|S=s_i]$.

2.2 Propriedades Teóricas

• Consistência Assintótica: O artigo prova (Teorema 1) que, sob suposições suaves (incluindo identificação correta do modelo de propensão, positividade e esquemas específicos de largura de banda onde $h \to 0$ conforme $n \to \infty$), o estimador Kernel-WIS é assintoticamente consistente.
• Conexão com State-WIS: Os autores introduzem um estimador "State-WIS" (um caso limite onde $h=0$) que utiliza o emparelhamento exato de estados. Embora o State-WIS tenha sido mostrado como excessivamente viesado em espaços contínuos, ele serve como uma ponte teórica para compreender o Kernel-WIS.

2.3 Seleção de Largura de Banda (Bandwidth)

Um componente crítico do método é a seleção da largura de banda $h$. Os autores tratam o denominador como um problema de aprendizado supervisionado (predizendo $W$ dado $S$) e utilizam validação cruzada K-fold para minimizar o Erro Quadrático Médio (MSE) da predição do peso.

• Eles derivam um gradiente analítico para o MSE em relação à largura de banda (assumindo um kernel de Função de Base Radial) para facilitar a otimização usando algoritmos como L-BFGS-B.
• Experimentos utilizaram múltiplas inicializações para a largura de banda para evitar mínimos locais.

3. Principais Contribuições

1. Novo Estimador: Introdução do Kernel-WIS, que combina a natureza limitada do WIS com as propriedades de independência do VIS através de suavização por kernel.
2. Garantia Teórica: Prova de consistência assintótica para o estimador Kernel-WIS sob suposições padrão de inferência causal.
3. Validação Empírica: Avaliação abrangente em 10 conjuntos de dados (incluindo dados médicos e de classificação do mundo real) demonstrando desempenho sob políticas de comportamento oracle (corretamente especificadas) e não-oracle (miss-especificadas).

4. Resultados Experimentais

A avaliação utilizou 10 conjuntos de dados do OpenML, reformulados como problemas de bandido contextual. Os autores compararam o Kernel-WIS contra VIS, WIS, State-WIS e CLPD VIS.

4.1 Políticas de Comportamento Oracle

• Quando a política de registro estava corretamente especificada (configuração oracle), o Kernel-WIS apresentou desempenho (estatisticamente) idêntico ao WIS na maioria dos cenários.
• Em uma minoria de casos, o Kernel-WIS mostrou uma melhoria estatisticamente significativa sobre o WIS, particularmente conforme os tamanhos de amostra variavam.

4.2 Políticas de Comportamento Não-Oracle (Miss-Especificadas)

• Este é o principal domínio de melhoria. Sob misspecificação da política de comportamento, o Kernel-WIS superou (estatisticamente) de forma significativa o WIS na maioria dos cenários.
• O estimador demonstrou variância aproximada menor ou equivalente ao WIS, controlando efetivamente o comportamento de cauda que afeta o WIS padrão.

4.3 Sensibilidade de Recompensa Contínua

• Os autores testaram uma configuração de recompensa contínua (usando um VAE para definir recompensas com base na distância do espaço latente).
• Resultado: Nesta configuração específica, o Kernel-WIS desempenhou-se significativamente abaixo do WIS. O artigo nota essa degradação, mas não fornece uma explicação teórica definitiva, deixando-a para trabalhos futuros.

4.4 Sensibilidade da Largura de Banda

• Experimentos compararam uma Largura de Banda Compartilhada (escalar $h$) versus Larguras de Banda Únicas (vetor $h$ por dimensão).
• A abordagem de Largura de Banda Compartilhada geralmente produziu resultados melhores ou equivalentes. As larguras de banda únicas levaram a um comportamento de "overfitting", onde algumas dimensões tinham larguras de banda extremamente grandes e outras pequenas, fazendo com que o estimador degenerasse para o comportamento viesado do State-WIS.

5. Significância e Alegações

O artigo afirma que o Kernel-WIS oferece utilidade prática para OPE, particularmente em cenários não-oracle onde as políticas de comportamento são miss-especificadas — um cenário comum no mundo real.

• Trade-off: O método permite que praticantes troquem uma queda potencial (estatisticamente insignificante) de desempenho sob condições oracle perfeitas por um aumento estatisticamente significativo de desempenho sob misspecificação.
• Limitação (Boundedness): Ao combinar a natureza limitada do WIS com a suavização por kernel, o estimador controla a variância e o comportamento de cauda melhor que o WIS padrão sem introduzir o viés extremo do State-WIS.
• Limitações: Os autores reconhecem que o Kernel-WIS não supera uniformemente o WIS (especialmente em configurações de recompensa contínua) e que a otimização da largura de banda continua sendo um desafio prático. A abordagem atual de validação cruzada é descrita como "tangencial" ao objetivo final de minimizar o erro do valor da política em si, em vez do erro da predição do peso.

O artigo conclui que, embora mais pesquisas sobre a seleção de largura de banda (por exemplo, limites PAC-Bayes) e extensões para configurações dependentes do tempo sejam necessárias, o Kernel-WIS representa um passo significativo à frente na avaliação off-policy robusta.