Latent Utility Q-Learning for Preference-Adaptive Dynamic Treatment Regimes

Resumo Técnico: Q-Learning de Utilidade Latente para Regimes de Tratamento Dinâmicos Adaptáveis às Preferências

Definição do Problema
Regimes de Tratamento Dinâmicos (DTRs) são métodos estatísticos projetados para otimizar decisões sequenciais de tratamento para condições crônicas. Os métodos padrão de DTR normalmente assumem um único desfecho univariado, o que falha em abordar a realidade de que os pacientes frequentemente ponderam múltiplos desfechos concorrentes (ex: redução da dor vs. melhora funcional) de formas distintas. Métodos baseados em preferências existentes são frequentemente limitados a cenários de dois estágios, dependem de modelos paramétricos restritivos ou exigem que os pacientes classifiquem explicitamente trajetórias de tratamento — uma tarefa muitas vezes inviável em ensaios clínicos onde os pacientes experienciam apenas uma trajetória. Além disso, abordagens de aprendizado por reforço profundo geralmente exigem grandes amostras, incompatíveis com estudos de amostra moderada como os Ensaios Clínicos Randomizados de Múltiplas Atribuições Sequenciais (SMARTs). O desafio central é aprender uma política que otimize combinações de desfechos multivariados ($Y \in \mathbb{R}^d$) ponderadas pelas preferências de cada paciente ao longo de $K$ pontos de decisão, sem exigir classificações explícitas de desfechos ou dados de larga escala.

Metodologia: Q-Learning de Utilidade Latente (LUQ-Learning)
Os autores propõem o LUQ-Learning, uma extensão de variável latente do Q-learning que estima DTRs que otimizam uma função de utilidade latente $U^* = E^\top Y^*$, onde $E$ é um vetor de preferência $(d-1)$-dimensional não observado sobre um simplex de probabilidade, e $Y^*$ representa os desfechos potenciais.

• Estrutura de Variável Latente: As preferências dos pacientes ($E$) não são observadas diretamente, mas inferidas através de medições indiretas ($W_k$), tais como questionários de escolha discreta, escalas de satisfação ou subescalas de qualidade de vida, coletadas em vários estágios.
• Fatoração da Média Condicional: O insight metodológico central é uma fatoração da média condicional. Sob uma suposição de "Independência de Preferência Sequencial" (Suposição A5), a utilidade esperada pode ser desacoplada:
  $$E[U^* | H_k, A_k] = E[E | H_k]^\top E[Y | H_k, A_k]$$
  Esta fatoração separa o problema em dois componentes modulares:
  1. Estimativa de Preferência: Estimar a distribuição posterior das preferências latentes $P(E | H_k)$ com base nos instrumentos de preferência observados $W_k$ e covariáveis.
  2. Regressão de Desfecho: Estimar a média condicional dos desfechos $E[Y | H_k, A_k]$.
• Algoritmo: O algoritmo procede via indução reversa (semelhante ao Q-learning padrão). Em cada estágio $k$, ele estima a média posterior da preferência $\hat{E}[E | H_k]$ e a regressão do desfecho, então calcula o valor-Q como o produto interno dessas estimativas. Isso reduz o problema de múltiplos desfechos e adaptável às preferências a uma sequência de problemas de Q-learning escalares.
• Variantes Sensíveis à Incerteza: Reconhecendo que a estimativa de preferência introduz incerteza, os autores propõem duas variantes de política:
  • Política Modal ($\hat{\pi}^{mod}$): Seleciona a ação que é ótima para a maior proporção da distribuição de preferência posterior.
  • Política Robusta ($\hat{\pi}^{rob}$): Seleciona a ação que maximiza a utilidade esperada mínima dentro de uma região de incerteza elipsoidal definida pela covariância posterior.

Principais Contribuições

1. Garantias Teóricas:
   • Consistência: Os autores estabelecem que a função de valor estimada converge em probabilidade para o verdadeiro valor ótimo sob condições de regularidade fracas nos estimadores de preferência e de desfecho. O hiato de valor é mostrado como sendo impulsionado pelo acúmulo aditivo do erro do modelo de preferência, do erro de regressão de desfecho e do erro propagado da função de valor.
   • $\epsilon$-Otimalidade Unificada: O artigo deriva limites para a perda de valor da política em termos da incerteza da preferência posterior. Esses limites fornecem critérios interpretáveis e baseados em dados (ex: limiares para o raio de incerteza $\delta$ ou massa posterior $\alpha$) para a seleção entre políticas de média, modal e robusta.
2. Design Modular e Flexível: O framework acomoda formatos heterogêneos de dados de preferência (ex: escolhas binárias, rankings, escalas Likert) sem exigir o alinhamento de escala entre os instrumentos. Não requer que os pacientes classifiquem explicitamente desfechos ou trajetórias.
3. Tratamento de Incerteza: Ao utilizar uma estrutura Bayesiana, o método propaga a incerteza da estimativa de preferência latente diretamente para as recomendações de tratamento e estimativa de valor, permitindo a tomada de decisão voltada para o risco (robusta) ou para a cobertura (modal).

Resultados
Os autores avaliaram o LUQ-Learning usando simulações calibradas para o ensaio Biomarkers for Evaluating Spine Treatments (BEST), um SMART de dois estágios para dor lombar crônica.

• Desempenho: O LUQ-Learning superou consistentemente:
  • Q-Learning Padrão: Que agrega desfechos multivariados via uma média simples.
  • Satisfação do Último Relato ($\hat{\pi}^{W_{last}}$): Que otimiza com base apenas na classificação de satisfação final, sem dados longitudinais de preferência.
  • Métodos de Preferência Existentes: Especificamente, o método mostrou menor erro de estimativa de preferência e maiores ganhos de valor em comparação com a abordagem de Butler et al. (2018) em um cenário de estágio único.
• Estabilidade: Embora a política "Oráculo" (conhecendo as verdadeiras preferências) tenha alcançado o maior valor, o LUQ-Learning aproximou-se de tal desempenho. Em contraste, métodos que ignoram dados de preferência longitudinais ($\hat{\pi}^{W_{last}}$) exibiram maior variância e instabilidade, particularmente conforme a trajetória ($K$) aumentava.
• Comprimento da Trajetória: Em simulações estendidas com $K \in \{2, 4, 6, 8\}$, a diferença de desempenho entre o LUQ-Learning e o Oráculo diminuiu conforme $K$ aumentava, sugerindo que trajetórias mais longas fornecem informações mais ricas para estimar as preferências latentes. Por outro lado, métodos que dependem apenas de proxies terminais deterioraram-se conforme $K$ crescia.

Significância e Alegações
O artigo alega que o LUQ-Learning fornece uma base estatisticamente fundamentada para a tomada de decisão adaptável às preferências em ambientes clínicos complexos com múltiplos desfechos. Sua significância reside em:

• Preenchimento da Lacuna: Oferece uma solução para incorporar preferências heterogêneas de pacientes em DTRs sem os requisitos de dados do aprendizado por reforço profundo ou as restrições de classificação de trajetória do RL baseado em preferências.
• Interpretabilidade: Os limites de $\epsilon$-otimalidade derivados oferecem critérios concretos e baseados em dados para a seleção de políticas, ajudando clínicos e reguladores a navegar pelos compromissos entre o desempenho médio e a robustez à incerteza de preferência.
• Fundação de Inferência Causal: Diferente do aprendizado por reforço padrão a partir de feedback humano, o LUQ-Learning trata os instrumentos de preferência como proxies identificáveis para utilidades latentes dentro de um framework de inferência causal (usando desfechos potenciais e conceitos de inferência causal proximal), tornando-o adequado para contextos de ensaios randomizados onde nenhuma política especialista única governa as atribuições de tratamento.

Os autores concluem que, embora o framework seja robusto, seu sucesso no deployment exige um desenho de estudo cuidadoso, instrumentos de preferência validados e o alinhamento entre a população de desenvolvimento e a população alvo para garantir que as preferências capturadas reflitam trocas (trade-offs) estáveis e de longo prazo, em vez de satisfação transitória.