Counterfactual Survival Q-learning via Buckley-James Boosting, with Applications to ACTG 175 and CALGB 8923

Resumo Técnico: Q-learning de Sobrevivência Contrafactual via Boosting de Buckley-James

Definição do Problema
O artigo aborda o desafio de estimar regimes de tratamento dinâmico (DTRs) ótimos a partir de ensaios clínicos randomizados longitudinais cujos desfechos são tempos de sobrevivência com censura à direita. Uma dificuldade primária neste domínio é a presença de dados de acompanhamento incompletos devido ao abandono de pacientes ou censura administrativa, o que complica a estimação dos desfechos potenciais. Além disso, os métodos padrão frequentemente dependem da suposição de riscos proporcionais (PH) (ex: regressão de Cox), que pode não se sustentar quando os efeitos das covariáveis são não lineares ou quando as razões de risco são difíceis de interpretar clinicamente. As abordagens existentes, como o Q-learning de Buckley–James (BJ) linear, enfrentam dificuldades com relações não lineares e podem apresentar problemas de convergência quando o mecanismo real de geração de dados é complexo. Os autores visam desenvolver um framework flexível que evite a suposição de PH, lide com efeitos não lineares de covariáveis e forneça uma estimativa robusta de funções Q específicas de cada estágio sob censura.

Metodologia
O método proposto, BJ Boost Q-learning, integra o Q-learning contrafactual com o algoritmo de boosting de Buckley–James (BJ) dentro de um framework de tempo de falha acelerado (AFT).

1. Configuração do Framework: O estudo considera um ensaio sequencialmente randomizado com $K$ estágios de decisão. Utiliza a notação de desfecho potencial para definir as durações por estágio ($T_{i,k}$) e os tempos de sobrevivência cumulativos. O objetivo é aprender regras de decisão $d_k^*$ que maximizem o tempo de sobrevivência cumulativo via recursão retroativa das funções Q.
2. Boosting de Buckley–James para Imputação: Para lidar com desfechos censurados à direita, o método emprega o boosting de BJ para imputar tempos de sobrevivência censurados. Em vez de modelar funções de risco, ele modela diretamente a média condicional do logaritmo do tempo de sobrevivência transformado.
   • Mecanismo de Imputação: Para um determinado estágio e braço de tratamento, uma função de regressão $f_{k,a}(\cdot)$ é ajustada. Para observações censuradas, a distribuição dos resíduos é estimada usando o estimador de Kaplan–Meier. O desfecho censurado é imputado como o valor ajustado mais a média condicional do resíduo dado que este excede o tempo observado.
   • Base de Aprendizes Flexíveis: O artigo implementa duas estratégias de boosting para estimar a função de regressão $f_{k,a}$:
     • BJ-LS: Utiliza mínimos quadrados por componentes com refinamento de twin boosting (Algoritmo 1).
     • BJ-Tree: Utiliza árvores de regressão (Algoritmo 2).
   • Processo Iterativo: A imputação e o ajuste do modelo são realizados iterativamente. A validação cruzada é usada dentro de cada estágio e braço de tratamento para selecionar o número de etapas de boosting, com os desfechos imputados sendo usados para pontuação para contabilizar a censura.
3. Q-Learning Retroativo: Uma vez que os desfechos censurados são imputados, o método procede com a recursão retroativa padrão. No estágio final $K$, a função Q é estimada diretamente a partir dos desfechos imputados. Para os estágios precedentes $k < K$, pseudo-desfechos são construídos adicionando o desfecho imputado do estágio ao valor Q máximo estimado do estágio subsequente. Esses pseudo-desfechos são então regredidos sobre o histórico e o tratamento atual usando os mesmos aprendizes de boosting para estimar $Q_k$.
4. Identificabilidade: A abordagem baseia-se em suposições padrão para ensaios sequencialmente randomizados: consistência, randomização sequencial, positividade e ausência de interferência.

Principais Contribuições

• Framework Inovador: O artigo introduz um framework de Q-learning contrafactual que combina o modelo AFT com boosting iterativo, especificamente adaptado para dados de sobrevivência com censura à direita.
• Flexibilidade e Robustez: Ao utilizar aprendizes base flexíveis (mínimos quadrados por componentes e árvores de regressão) dentro do framework BJ, o método captura interações não lineares entre covariáveis e tratamento sem depender da suposição de riscos proporcionais.
• Modelagem Direta do Tempo: Diferente do Q-learning baseado em Cox, que modela riscos, esta abordagem modela diretamente o tempo de sobrevivência condicional, gerando contrastes de escala de tempo clinicamente interpretáveis.
• Implementação Algorítmica: Os autores fornecem algoritmos detalhados (Algoritmos 1 e 2) para implementar o twin boosting de BJ e o tree boosting de BJ com imputação de Buckley–James iterativa.

Resultados
O desempenho do BJ Boost Q-learning foi avaliado através de estudos de simulação e aplicações em dados reais.

• Estudos de Simulação:
  • Configuração de Estágio Único: Em um cenário com 50% de censura e efeitos de covariáveis não lineares, o BJ-Tree alcançou a maior precisão de decisão de tratamento (mediana >91% para $n=1000$), superando significativamente o BJ-Q linear e o Q-learning baseado em Cox (mediana <45%). O BJ-LS também teve um bom desempenho, mas foi ligeiramente menos preciso que o BJ-Tree.
  • Configuração de Dois Estágios: Em um cenário de múltiplos estágios, os erros de estimativa podem se acumular. O BJ-Tree manteve a maior precisão (mediana >84%), enquanto o Q-learning baseado em Cox teve um desempenho ruim (mediana <20%). Os resultados destacaram que modelos não paramétricos flexíveis são cruciais para capturar estruturas complexas em regimes de múltiplos estágios.
• Aplicação ao ACTG 175 (Ensaio de HIV):
  • Analisou 2.139 pacientes comparando monoterapia com ddI versus terapia de combinação AZT+ddI.
  • Tanto o BJ-LS quanto o BJ-Tree recomendaram fortemente a terapia de combinação para a vasta maioria dos participantes.
  • As regras aprendidas identificaram covariáveis clinicamente interpretáveis (ex: escore de Karnofsky, status de sintomas, uso prévio de antirretrovirais) associadas às recomendações de tratamento, consistentes com a literatura prévia.
• Aplicação ao CALGB 8923 (Ensaio de Leucemia):
  • Analisou um ensaio de dois estágios (indução e terapia pós-remissão) com 388 participantes.
  • Ao contrário dos resultados do ACTG 175, os modelos Cox, BJ e BJ-LS produziram diferenças pareadas estatisticamente significativas favorecendo um tratamento, levando a recomendações decisivas.
  • Em contraste, o BJ-Tree gerou recomendações equilibradas, sem diferença média estatisticamente significativa na sobrevivência contrafactual, alinhando-se mais proximamente com a falta de benefício de sobrevivência média relatada pelo ensaio. Isso sugere que o BJ-Tree pode ser menos propenso ao overfitting ou à inflação de contrastes em cenários com efeitos de tratamento fracos.

Significância e Alegações
O artigo afirma que o BJ Boost Q-learning oferece uma alternativa robusta e flexível ao Q-learning baseado em Cox para aprender regimes de tratamento dinâmico a partir de dados de sobrevivência censurados. Sua principal significância reside em:

1. Evitar Erros de Especificação de Modelo: Ao evitar a suposição de riscos proporcionais e usar aprendizes flexíveis, reduz o viés em cenários com efeitos não lineares.
2. Melhor Precisão de Decisão: Resultados de simulação demonstram que o método, particularmente sua variante baseada em árvores, melhora significativamente a precisão das decisões de tratamento em comparação com abordagens lineares ou baseadas em risco.
3. Estabilidade em Cenários de Múltiplos Estágios: O método mostra-se particularmente valioso em ensaios de múltiplos estágios onde erros em estágios iniciais podem se acumular, forneando contrastes contrafactuais mais estáveis.
4. Interpretabilidade Clínica: A modelagem direta do tempo de sobrevivência permite a derivação de regras de decisão individualizadas que são interpretáveis em termos de benefícios de tempo até o evento.

Os autores notam modestamente as limitações, incluindo a necessidade de avaliações adicionais sob altas taxas de censura, o potencial de propagação de viés nos estágios iniciais de boosting e a restrição atual a ensaios randomizados (exigindo extensões para dados observacionais).