Resumo Técnico: Aprendizado de Políticas de Conjunto

Declaração do Problema

O aprendizado de políticas de tratamento convencionais na medicina de precisão geralmente mapeia covariáveis de pacientes para uma única intervenção recomendada, a fim de maximizar os resultados clínicos esperados. No entanto, essa abordagem de valor pontual enfrenta limitações significativas:

1. Sensibilidade à Incerteza: As recomendações são altamente sensíveis à incerteza de estimação, especificação do modelo e variabilidade de amostras finitas.
2. Falta de Orientação de Confiança: Políticas padrão fornecem pouca indicação de quão confiante se deve estar na ação recomendada.
3. Ignorância da Ambiguidade: Quando múltiplos tratamentos produzem resultados comparáveis, políticas de valor pontual falham em capturar essa ambiguidade, potencialmente conflitando com as preferências dos praticantes em relação a custos não quantificados ou eventos adversos.
4. Indisponibilidade da Verdade Terrena: Na inferência causal, apenas o resultado do tratamento administrado é observado; os resultados contrafactuais (e, portanto, o tratamento ótimo verdadeiro) são não observados, complicando a construção de políticas com garantias formais.

Os autores propõem um paradigma de aprendizado de políticas de conjunto para configurações de múltiplos tratamentos ($K > 1$). Em vez de uma única recomendação, a política gera um subconjunto de tratamentos plausíveis. O objetivo principal é construir políticas $C$ tais que o conjunto contenha pelo menos um tratamento ótimo com alta probabilidade:
$$P(\Pi^\star(X) \cap C(X) \neq \emptyset) \geq 1 - \alpha$$
onde $\Pi^\star(X)$ é o conjunto de tratamentos ótimos para as covariáveis $X$, e $\alpha$ é um nível de erro especificado pelo usuário. Isso altera o papel do modelo de prescrever uma decisão para apoiá-la, fornecendo um conjunto filtrado de opções, quantificando naturalmente a incerteza via cardinalidade do conjunto.

Metodologia

O artigo introduz dois quadros principais para aprender políticas de conjunto com garantias formais de cobertura:

1. Método do Limite Inferior Máximo (GLB)

Esta abordagem estende o quadro de "aprender para adiar" para múltiplos tratamentos usando estimadores de resultados médios condicionais.

• Mecanismo: Baseia-se em limites de confiança inferiores ($\ell_n$) e superiores ($u_n$) confiáveis para os resultados médios condicionais $\mu(x, a)$.
• Construção:
  1. Identificar o tratamento $a_{maxmin}$ que maximiza o limite inferior: $a_{maxmin}(x) \in \arg\max_a \ell_n(x, a)$.
  2. Construir o conjunto $C_\alpha(x)$ incluindo todos os tratamentos cujo limite superior excede a referência do limite inferior máximo:
     $$C_\alpha(x) = \{a \in A : u_n(x, a) \geq \ell_n(x, a_{maxmin}(x))\}$$
• Garantia: Sob a suposição de que limites de confiança válidos existem, este método alcança cobertura condicional, implicando cobertura marginal.
• Limitação: Requer a construção não trivial de limites válidos e é sensível a imprecisões de estimação.

2. Aprendizado Conformal de Políticas de Conjunto (Regime de Rótulos Ruidosos)

Reconhecendo que tratamentos ótimos não são observados, os autores enquadram o aprendizado de políticas como uma tarefa de classificação sob um regime de rótulos ruidosos, onde tratamentos ótimos estimados servem como proxies para a verdade terrena.

• Meta-Algoritmo:

  1. Geração de Rótulos de Caixa-Preta: Treinar um aprendiz de política (por exemplo, Q-learning, árvores de política) em um subconjunto de dados para gerar rótulos ruidosos $\hat{A}^*$ (estimativas de tratamentos ótimos).
  2. Pontuação de Não Conformidade: Aprender uma função de pontuação $s_n(x, a)$ (por exemplo, baseada em margem) usando um subconjunto de treinamento para quantificar o alinhamento de um tratamento candidato em relação aos dados de calibração.
  3. Calibração Ruidosa: Calcular pontuações em um conjunto de calibração usando os rótulos ruidosos $\hat{A}^*$ e derivar um limiar de quantil $\hat{q}_{1-\alpha}$.
  4. Conjunto de Previsão: Definir $C_\alpha(x) = \{a : s_n(x, a) < \hat{q}_{1-\alpha}\}$.

• Abordando Lacunas de Cobertura: A previsão conformal padrão em rótulos ruidosos não garante cobertura para os tratamentos ótimos reais sem suposições. Os autores propõem duas estratégias para garantir cobertura marginal:

  1. Suposição de Preservação de Ordem: Assume que o estimador preserva a ordenação das médias dos tratamentos. Se satisfeita, a cobertura é garantida.
  2. Injeção de Aleatoriedade: Uma abordagem inovadora para impor dominância estocástica sem suposições estruturais estritas.
     • Perturbar os rótulos ruidosos misturando-os com rótulos puramente aleatórios com probabilidade $r$: $\hat{A}^*_{r,i} = R_i \cdot A^{rd}_i + (1-R_i) \cdot \hat{A}^*_i$.
     • Essa aleatoriedade controlada aumenta as pontuações de não conformidade estocasticamente, garantindo que os conjuntos de previsão sejam conservadores o suficiente para cobrir os tratamentos ótimos reais. O Teorema 1 fornece uma condição sobre $r$ para garantir a cobertura.

Métricas de Avaliação

O artigo introduz o Valor da Política de Conjunto para avaliar essas políticas, pois métricas padrão de valor de política são insuficientes para conjuntos.

• Função de Escolha ($\delta$): Um mapeamento que seleciona um único tratamento do conjunto.
• Valor Uniforme da Política de Conjunto ($\bar{V}_P(C)$): O resultado esperado se um tratamento for selecionado uniformemente ao acaso do conjunto. Isso serve como um limite inferior para o valor alcançado por um tomador de decisão que performa melhor que a seleção aleatória.

Resultados Chave

Experimentos Sintéticos

• Cobertura: Os experimentos demonstram que, sem injeção de aleatoriedade ($r=0$), as garantias de cobertura são frequentemente violadas devido a erros de estimação. Introduzir um nível moderado de aleatoriedade (por exemplo, $r=0.2$) restaura com sucesso a cobertura marginal.
• Compensações: O aumento de $r$ aumenta a cardinalidade média dos conjuntos previstos (tornando-os maiores e mais conservadores) para garantir a cobertura. O método GLB também alcança cobertura, mas tende a supercobrir devido à sensibilidade a erros de estimação.
• Valor: Níveis de confiança mais altos (menor $\alpha$) ou níveis de aleatoriedade mais altos são necessários para manter altos valores de política de conjunto, equilibrando a compensação entre o tamanho do conjunto (informatividade) e a confiabilidade da cobertura.

Aplicação no Mundo Real: Fertilização In-Vitro (FIV)

• Conjunto de Dados: 18.538 ciclos de estimulação ovariana com dosagens de gonadotrofinas ordinais e resultados (rendimento folicular e níveis de estradiol).
• Descobertas:
  • Políticas de conjunto filtram com sucesso doses extremas, preservando a estrutura ordinal dos tratamentos.
  • Suporte à Decisão: O quadro permite a integração de objetivos secundários. Por exemplo, uma estratégia de "dose mínima" ($\delta_{lower}$) aplicada à saída de política de conjunto controlou efetivamente os níveis de estradiol (reduzindo o risco de OHSS) com apenas uma redução marginal no rendimento folicular em comparação com a amostragem uniforme.
  • Cardinalidade: Como em configurações sintéticas, níveis mais altos de aleatoriedade levaram a conjuntos maiores, oferecendo espaços de decisão mais seguros, mas potencialmente mais onerosos.

Significado e Alegações

O artigo alega ser o primeiro a aprender políticas de conjunto com garantias formais de cobertura dentro do quadro de aprendizado de políticas causais. Seu significado reside em:

1. Mudança de Paradigma: Mover-se de "prescrever" uma única decisão para "apoiar" os tomadores de decisão com um conjunto de opções plausíveis, generalizando assim o quadro de "aprender para adiar" para configurações de múltiplos tratamentos.
2. Quantificação Intrínseca de Incerteza: O tamanho do conjunto previsto reflete naturalmente o grau de ambiguidade da decisão, fornecendo aos clínicos níveis de confiança acionáveis.
3. Agnosticismo de Modelo: A abordagem conformal é agnóstica ao modelo e pode ser combinada com métodos arbitrários de aprendizado de políticas de caixa-preta sem exigir modificações especializadas de robustez.
4. Tratamento de Verdade Terrena Não Observada: Ao alavancar insights da literatura de rótulos ruidosos e introduzir injeção de aleatoriedade, o método preenche a lacuna entre tratamentos ótimos não observados e regras estimadas, fornecendo garantias rigorosas de cobertura sem depender das propriedades de robustez do estimador subjacente.
5. Relevância Clínica: A aplicação em FIV demonstra que esses métodos produzem políticas robustas e acionáveis que podem incorporar restrições clínicas (por exemplo, desescalada de dose) e equilibrar desempenho com segurança.

Os autores concluem que a tomada de decisão individualizada confiável requer métodos que permaneçam confiáveis na presença de incerteza estatística e erro de modelagem. Seu quadro apoia, em vez de substituir, os tomadores de decisão humanos, facilitando escolhas conscientes do contexto que incorporam objetivos secundários e julgamento clínico.