Resumo Técnico: CANDOR – Avaliação de Política Fora de Política Duplamente Robusta com Anotações Contrafactuais

Declaração do Problema

A avaliação de política fora de política (OPE) é essencial para a implantação segura de algoritmos de bandito contextual em domínios de alto risco, como a saúde, onde novas políticas de tratamento devem ser avaliadas usando dados retrospectivos antes da implementação no mundo real. No entanto, as técnicas padrão de OPE são fundamentalmente limitadas pela cobertura do conjunto de dados comportamental disponível. Se os dados históricos carecem de observações para certos pares estado-ação (por exemplo, um novo medicamento nunca prescrito), os métodos de OPE não podem estimar com confiabilidade o valor de uma política que recomenda essas ações.

Abordagens recentes, como o estimador IS+, tentam mitigar isso aumentando os conjuntos de dados comportamentais com amostras contrafactuais anotadas por especialistas (recompensas previstas para ações não observadas). No entanto, esses métodos geralmente assumem que as anotações são perfeitas. Na prática, as anotações de especialistas (ou aquelas geradas por Modelos de Linguagem Grandes) são frequentemente imperfeitas, contendo viés ou ruído. Incorporar ingenuamente tais anotações imperfeitas em estimadores existentes pode degradar o desempenho, às vezes produzindo resultados piores do que ignorar as anotações completamente. O desafio central abordado por este trabalho é determinar como integrar anotações contrafactuais imperfeitas em estimadores de OPE sem compor erros, particularmente na presença de modelos de recompenda mal especificados.

Metodologia

Os autores propõem uma família de estimadores de OPE fundamentada no framework Duplamente Robusto (DR), que combina Amostragem por Importância (IS) e um modelo de recompensa do Método Direto (DM). O framework DR é escolhido por sua garantia teórica de não viés se, seja os escores de propensão (IS) ou o modelo de recompensa (DM), estiverem corretamente especificados.

O artigo investiga três estratégias específicas para incorporar anotações contrafactuais ($g_i$) no estimador DR, definidas pela forma como as anotações são utilizadas nos componentes DM e IS:

1. DM+-IS: O modelo de recompensa ($\hat{R}^+$) é treinado no conjunto de dados aumentado (factual + contrafactual), mas o componente IS utiliza apenas os dados factuais originais e escores de propensão padrão.
   $$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$$
2. DM-IS+: O modelo de recompensa ($\hat{R}$) é treinado apenas em dados factuais, enquanto o componente IS é aumentado usando as anotações contrafactuais com reponderação (semelhante à abordagem IS+).
   $$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$$
3. DM+-IS+: Tanto o modelo de recompensa quanto o componente IS utilizam o conjunto de dados aumentado.
   $$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$$

Análise Teórica

Os autores fornecem uma análise rigorosa de viés-variância sob três regimes de anotação:

• Anotações Perfeitas: Todos os três estimadores são não viesados.
• Anotações Viesadas: Os autores provam que DM+-IS permanece um estimador não viesado do valor da política-alvo, mesmo quando as anotações são sistematicamente viesadas. Em contraste, DM-IS+ e DM+-IS+ introduzem um termo de viés proporcional ao erro de anotação ($\epsilon_G$), tornando-os suscetíveis à degradação de desempenho.
• Anotações Ruidosas: Embora todos os estimadores experimentem aumento de variância devido ao ruído de anotação, a derivação teórica mostra que DM+-IS isola o impacto da variância na estimação do modelo de recompensa, enquanto os outros métodos compõem o ruído através do termo IS reponderado.

Resultados Experimentais

Os métodos propostos foram avaliados em três domínios:

1. Heartsteps: Um simulador semi-sintético de saúde móvel para intervenções de atividade física.
2. Sepse: Um simulador semi-sintético para tratamento de sepse (adaptado de um cenário de MDP para um bandito contextual).
3. MIMIC-IV: Um conjunto de dados real de registros eletrônicos de saúde (EHR) focado na reposição intravenosa de potássio. As anotações contrafactuais para este conjunto de dados foram geradas usando o modelo "o1" da OpenAI.

Principais Descobertas:

• Robustez ao Viés: Em cenários com anotações viesadas, DM+-IS consistentemente alcançou o menor Erro Quadrático Médio (RMSE). O RMSE de DM+-IS permaneceu estável conforme o viés de anotação aumentou, enquanto DM-IS+ e DM+-IS+ mostraram degradação significativa de desempenho.
• Robustez à Má Especificação: Quando combinado com modelos de recompensa mal especificados (um cenário comum no mundo real), DM+-IS permaneceu como o estimador mais robusto. Ele aproveitou efetivamente os dados contrafactuais para melhorar a cobertura sem herdar o viés das anotações.
• Desempenho no Mundo Real: No conjunto de dados MIMIC-IV, DM+-IS superou todas as linhas de base (incluindo IS padrão, DM, DR e variantes aumentadas por anotação) através de números variados de anotações contrafactuais. Notavelmente, à medida que o número de anotações aumentava, o desempenho de DM+-IS melhorava e depois se estabilizava, enquanto outros estimadores (como IS+ e DM-IS+) viram suas taxas de erro aumentarem ou permanecerem altas.
• Qualidade da Anotação: Os experimentos demonstraram que o viés de anotação tem um impacto negativo muito maior no desempenho do estimador do que a variância de anotação (ruído).

Significado e Contribuições

O artigo faz as seguintes contribuições:

1. Família de Estimadores Novos: Introduz e analisa teoricamente uma família de estimadores inspirados em DR projetados especificamente para lidar com anotações contrafactuais imperfeitas.
2. Insight Teórico: Identifica que incorporar anotações contrafactuais apenas no componente do Método Direto (DM) (a estratégia DM+-IS) é a abordagem ótima. Essa estratégia preserva a não viés do estimador mesmo quando as anotações são viesadas, uma propriedade não compartilhada por métodos que aumentam o componente IS.
3. Validação Empírica: Através de experimentos extensivos em dados sintéticos, semi-sintéticos e de saúde do mundo real, os autores demonstram que DM+-IS é a escolha mais robusta para avaliação de política quando tanto a precisão do modelo de recompensa quanto a qualidade da anotação são desconhecidas.

Conclusão

Este trabalho aborda a lacuna crítica entre a promessa teórica do aumento de dados contrafactuais e a realidade prática de anotações imperfeitas. Ao propor o estimador DM+-IS, os autores fornecem um método que amplia a aplicabilidade da OPE em cenários de alto risco, como a saúde. A abordagem permite que profissionais utilizem com segurança anotações imperfeitas de especialistas ou geradas por IA para avaliar políticas para ações não bem cobertas em dados históricos, sem arriscar a introdução de viés sistemático que poderia levar à implantação de políticas inseguras. O artigo conclui que, sob condições realistas onde a qualidade da anotação é desconhecida, DM+-IS oferece o caminho mais confiável para a avaliação de política fora de política.