Resumo Técnico: Otimização Bayesiana Segura com Políticas Contrafatuais

Definição do Problema

O artigo aborda o desafio de realizar uma Otimização Bayesiana Segura (SafeOpt) em cenários onde as restrições de segurança dependem de resultados contrafatuais. Em muitos cenários de tomada de decisão sequencial (ex: ensaios clínicos), uma nova intervenção $x_t$ é considerada segura apenas se o seu resultado $Y(x_t)$ não for significativamente inferior ao resultado de uma política estabelecida de padrão de cuidado (standard-of-care), $Y(x_{soc,t})$.

A dificuldade central surge porque $x_{soc,t}$ é um contrafatual: a política de padrão de cuidado não é aplicada no tempo $t$, portanto $Y(x_{soc,t})$ não é observado. Os métodos tradicionais de SafeOpt dependem de valores de restrição observados para manter um conjunto seguro de ações. Quando a restrição $q(x_t)$ depende de um contrafatual não observado, estimativas pontuais simples de $Y(x_{soc,t})$ são insuficientes, pois podem levar a violações das restrições de segurança que excedem a taxa de tolerância $\alpha$ especificada pelo usuário.

Metodologia: SafeOpt-CPC

Os autores propõem o SafeOpt com Restrições de Política Contrafatual (SafeOpt-CPC), um framework que integra a predição conformal dividida (split conformal prediction) ao loop do SafeOpt para lidar com contrafatuais não observados.

1. Estimativa Conformal de Contrafatuais

Em vez de usar uma estimativa pontual para o resultado contrafatual, o método constrói um intervalo de incerteza válido (especificamente, um limite superior unilateral $\hat{U}^{soc}_t$ ou um limite inferior $\hat{L}^{soc}_t$) usando predição conformal dividida.

• Divisão de Dados: Os dados pré-coletados são divididos em um conjunto de treinamento $D_{train}$ (para treinar um preditor pontual $\hat{Y}$) e um conjunto de calibração $D_{cal}$.
• Pontuação (Scoring): Uma função de pontuação $S(x, Y(x))$ é definida como a diferença entre o resultado real e a predição (ex: $Y(x) - \hat{Y}(x)$ para problemas de maximização).
• Construção do Intervalo: O limite superior é calculado como:
  $$\hat{U}^{soc}_t(x_{soc,t}) = \hat{Y}(x_{soc,t}) + Q_{soc}\left(1 - \epsilon; \sum \tilde{w}_i \delta_{S_i} + \tilde{w}_t \delta_{+\infty}\right)$$
  onde $Q_{soc}$ é o quantil dos scores, $\epsilon$ é uma taxa de falha especificada pelo usuário e $\tilde{w}$ são pesos normalizados.

2. Lidar com Mudança de Covariáveis (Covariate Shift)

O método contabiliza mudanças distributivas entre os dados de calibração e o ambiente de teste (onde o SafeOpt é implantado) usando predição conformal ponderada:

• Cenário 1 (Política Diferente): Se os dados de calibração foram coletados sob uma política diferente daquela do padrão de cuidado, utilizam-se pesos de Pontuação de Propensão Inversa (IPS): $w_i = \pi_{soc}(x_i) / \pi_{cal}(x_i)$.
• Cenário 2 (Mudança de Covariável): Se a população de teste difere da população de calibração (ex: diferentes demografias hospitalares), os pesos são derivados da razão entre as densidades de covariáveis de teste e calibração: $w_i = P_{test}(x_i) / P_{cal}(x_i)$.
• Não-estacionariedade: O artigo descreve algoritmos (Algoritmos 3 e 4) para lidar com pontos de mudança (changepoints) (mudanças súbitas) e deriva (drift) (mudanças graduais) através do recálculo de pesos ou aplicação de pesos com decaimento temporal, respectivamente.

3. Ajuste da Garantia de Segurança

Como o método aninha a predição conformal dentro do SafeOpt, a taxa de violação alvo deve ser ajustada. Seja $\epsilon'$ a probabilidade de falha combinada das estimativas conformais (derivada via limite superior para múltiplos termos estimados), o algoritmo visa uma taxa de violação interna mais rigorosa $\alpha'$ para garantir que a taxa de violação geral permaneça abaixo de $\alpha$:
$$\alpha' \leq \frac{\alpha - \epsilon'}{1 - \epsilon'}$$
Este ajuste considera a probabilidade de o verdadeiro resultado contrafatual cair fora do intervalo conformal.

4. Integração com SafeOpt

Em cada passo de tempo $t$:

1. Se a ação proposta $x_t$ for o padrão de cuidado, a restrição é trivialmente satisfeita.
2. Caso contrário, o algoritmo computa o limite superior conformal $\hat{U}^{soc}_t$ para o resultado contrafatual.
3. A restrição de segurança é avaliada como $q(x_t) = Y(x_t) - \hat{U}^{soc}_t(x_{soc,t}) + \omega \geq 0$, onde $\omega$ é um parâmetro de tolerância.
4. A lógica padrão do SafeOpt (usando Processos Gaussianos e atualizações conformais online para $\beta_t$) seleciona a próxima ação para maximizar o objetivo enquanto mantém o conjunto seguro.

Principais Contribuições

1. Framework SafeOpt-CPC: Um método inovador que garante que as ações de otimização bayesiana segura não tenham um desempenho pior do que uma política segura conhecida em mais de $100(1-\alpha)\%$ das amostras, mesmo quando os resultados da política não são observados.
2. Robustez à Mudança de Covariável: O método demonstra como adaptar as estimativas conformais a diferentes cenários de mudança de covariável (descompasso de política e deriva de população) através de mecanismos de reponderação.
3. Provas Formais de Segurança: O artigo fornece uma prova (Teorema 4.1) de que o método satisfaz as restrições de segurança sob a suposição de trocabilidade ponderada (weighted exchangeability). Também limita a lacuna de cobertura quando essa suposição é violada (Apêndice B).
4. Validação Empírica: Experimentos em um simulador de reação química (onde os contrafatuais reais são conhecidos) e no conjunto de dados MovieLens (onde os contrafatuais são simulados) validam que o método mantém as taxas de violação abaixo de $\alpha$ enquanto otimiza o objetivo.

Resultados

• Taxas de Violação: Nos experimentos, o SafeOpt-CPC mantém consistentemente a taxa de violação real abaixo do limiar especificado $\alpha$ (ex: 0.1). Em contraste, a otimização bayesiana padrão sem restrições de segurança viola o limiar significativamente.
• Comparação com o Oráculo: O SafeOpt-CPC é ligeiramente mais conservador do que uma linha de base "oráculo" (que conhece o contrafatual real), resultando em um valor de objetivo máximo ligeiramente menor, mas garante a segurança onde o oráculo não o faz.
• Sensibilidade à Tolerância: À medida que o parâmetro de tolerância $\omega$ aumenta, o algoritmo retorna ao padrão de cuidado com menos frequência e alcança valores de objetivo mais altos.
• Não-estacionariedade: O método adapta-se com sucesso a pontos de mudança e deriva quando os pesos são corretamente recalculados. Ignorar essas mudanças leva a uma quebra nas garantias de cobertura.
• Sensibilidade: O método é robusto a dados ruidosos e viés/variância do estimador, embora esses fatores aumentem o número de passos de retorno ao padrão de cuidado.

Significância e Alegações

O artigo alega que o SafeOpt-CPC fornece uma solução rigorosa para aplicações de alto risco (como tratamentos médicos) onde a segurança é definida em relação a um padrão de cuidado, em vez de um limiar absoluto. Os autores enfatizam que:

• Controlar a taxa de violação é crítico para a segurança, mas o método é projetado para ser livre de distribuição (distribution-free) em relação às observações da restrição de segurança.
• A abordagem é generalizável para qualquer restrição que exija uma quantidade estimada, não apenas contrafatuais.
• O método opera sob suposições mínimas (trocabilidade ponderada) e fornece limites formais sobre as violações de segurança.

Os autores notam modestamente as limitações: se os quantis conformais forem muito amplos ou se o $\omega$ for muito baixo, o algoritmo pode tornar-se excessivamente conservador, retornando frequentemente ao padrão de cuidado. Além disso, se múltiplos termos estimados estiverem presentes na restrição, a taxa de violação efetiva $\alpha'$ torna-se muito pequena, potencialmente restringindo a exploração. O artigo conclui que, embora foque no controle da taxa de violação, o framework pode ser estendido para outras funções de restrição, uma direção deixada para trabalhos futuros.