📊 statistics

Counterfactual Q Learning via the Linear Buckley James Method for Longitudinal Survival Data

Este artigo propõe uma estrutura de Counterfactual Buckley-James Q-Learning que integra o método de imputação Buckley-James com aprendizado por reforço para estimar regimes de tratamento dinâmicos ideais para maximizar o tempo de sobrevivência na presença de dados longitudinais censurados.

Autores originais: Jeongjin Lee, Jong-Min Kim

Publicado 2026-07-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jeongjin Lee, Jong-Min Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um treinador tentando construir um cronograma de treinamento ideal para uma equipe de atletas. Seu objetivo é simples: manter os jogadores em campo pelo maior tempo possível. No entanto, há um porém. Alguns atletas abandonam a equipe precocemente (eles desistem), alguns se lesionam e param de jogar antes do fim da temporada, e outros simplesmente saem do estádio antes do apito final. Em estatística, isso é chamado de censura. Você sabe que eles estavam jogando até certo ponto, mas não sabe quanto tempo eles poderiam ter durado se tivessem ficado.

Este artigo apresenta uma nova estratégia de treinamento chamada Aprendizado por Reforço Q-Learning com Buckley-James Contrafactual. Veja como funciona, dividido em partes simples:

1. O Problema: Os Atletas "Fantasmas"

Nos estudos médicos tradicionais (como o modelo de Cox mencionado no artigo), quando um atleta sai cedo, os estatísticos costumam tratá-los como se nunca tivessem existido ou tentam adivinhar seu futuro com base em uma regra rígida (como "todos desaceleram na mesma taxa"). Isso pode levar a conselhos ruins. Se você não sabe quanto tempo um atleta poderia ter jogado, pode escolher um plano de treinamento errado para a próxima temporada.

2. A Solução: A Imputação da "Bola de Cristal"

Os autores utilizam um truque inteligente chamado método Buckley-James. Pense nisso como uma bola de cristal que não prevê o futuro magicamente, mas usa matemática para fazer um palpite muito bem fundamentado.

Como funciona: Se um atleta sai cedo, o método observa todos os outros que são semelhantes (mesma idade, mesmo histórico de lesões, mesmas estatísticas iniciais) e pergunta: "Com base nas pessoas que ficaram, quanto tempo mais essa pessoa provavelmente teria jogado?"
O Resultado: Ele preenche o tempo "fantasma" perdido com uma estimativa calculada. Agora, em vez de ter um conjunto de dados quebrado com buracos, o treinador tem uma imagem completa do tempo de vida potencial de cada atleta.

3. A Estratégia: Aprender Rebobinando (Q-Learning)

Uma vez que os dados são "preenchidos", o artigo utiliza uma técnica chamada Q-Learning. Imagine jogar um videogame onde você quer encontrar o caminho para a pontuação mais alta.

O Jogo: O "jogo" é a vida de um paciente ao longo do tempo.
As Jogadas: Em cada ponto de controle (como uma visita médica), o paciente recebe um tratamento (Medicamento A ou Medicamento B).
A Recompensa: A "pontuação" é quanto tempo o paciente sobrevive.
O Truque: O algoritmo trabalha de trás para frente. Ele começa no final do jogo, olha para quem sobreviveu por mais tempo e depois rebobina para descobrir: "Se eu tivesse escolhido o Medicamento A no início, esse jogador teria terminado com uma pontuação mais alta?"

Ao combinar a "Bola de Cristal" (Buckley-James) com o "Rebobinar para Trás" (Q-Learning), o sistema aprende a melhor sequência de jogadas para manter o jogador no jogo pelo maior tempo possível.

4. A Prova: A Corrida de Simulação

Os autores testaram este novo método contra o padrão antigo (o modelo de Cox) em uma grande simulação de computador.

A Configuração: Eles criaram 1.000 pacientes falsos com diferentes tipos de corpos e tamanhos de tumores. Eles deram tratamentos e, então, "censuraram" 50% deles (fez-os sair do estudo precocemente).
A Corrida: Eles perguntaram: "Quem consegue descobrir o melhor plano de tratamento?"
O Vencedor: O novo método Buckley-James Q-Learning foi como um estrategista mestre. Ele identificou corretamente o melhor tratamento cerca de 97% das vezes com grandes grupos de pessoas. O método antigo (Cox) foi como um treinador novato, acertando apenas cerca de 77% das vezes. O método antigo teve dificuldades porque não conseguiu lidar tão bem com os dados "fantasmas".

5. O Teste no Mundo Real: O Conjunto de Dados de HIV

Os autores aplicaram seu método em dados reais de um famoso estudo de HIV (ACTG175).

O Desafio: Esses dados eram bagunçados. 75% dos pacientes foram "censurados" (eles deixaram o estudo antes que o evento ocorresse) e alguns dados estavam faltando.
A Descoberta: Quando usaram seu método para preencher os tempos ausentes, os resultados mostraram claramente que uma terapia combinada (usando dois medicamentos juntos) manteve os pacientes vivos por mais tempo do que usar apenas um medicamento. As curvas "imputadas" (os palpites preenchidos) eram mais suaves e confiáveis do que as linhas irregulares dos dados brutos e incompletos.

A Conclusão

Este artigo afirma que, ao usar uma técnica matemática de "preencher as lacunas" (Buckley-James) combinada com um algoritmo inteligente de aprendizado voltado para trás (Q-Learning), os médicos podem tomar decisões muito melhores sobre quais tratamentos administrar, mesmo quando grande parte dos dados está incompleta. Ele transforma um quebra-cabeça bagunçado e inacabado em uma imagem clara do que realmente funciona.

Resumo Técnico: Q-Learning Contrafactual via o Método Linear de Buckley–James para Dados de Sobrevivência Longitudinais

Definição do Problema
O cuidado personalizado de saúde depende cada vez mais de Regimes de Tratamento Dinâmicos (DTRs) para otimizar decisões sequenciais de tratamento com base na evolução das condições do paciente. No entanto, um desafio significativo na aplicação de aprendizado por reforço (especificamente Q-Learning) à análise de sobrevivência é a prevalência de dados censurados. Em ensaios clínicos, os tempos de sobrevivência são frequentemente incompletos devido ao abandono de pacientes ou ao término do estudo (censura à direita). Os frameworks de Q-Learning padrão lutam contra essa incompletude porque exigem estimativas precisas de recompensa (tempos de sobrevivência) para aprender políticas ótimas. Embora o modelo de riscos proporcionais de Cox seja uma ferramenta comum para análise de sobrevivência, ele depende da suposição de riscos proporcionais e oferece razões de risco que podem ser contraintuitivas para comparação direta de desfechos. Além disso, métodos existentes para lidar com censura em DTRs, como o ponderamento pela probabilidade inversa ou mínimos quadrados ponderados, podem não facilitar adequadamente as comparações diretas de tempos de sobrevivência imputados entre diferentes estratégias de tratamento sob um framework contrafactual.

Metodologia
Os autores propõem o framework de Q-Learning de Buckley–James Linear (BJ-Q), que integra o método de imputação de Buckley–James com aprendizado por reforço para abordar dados de sobrevivência censurados.

Estrutura do Framework: O método opera dentro de um cenário longitudinal com $K$ pontos de decisão. Em cada estágio $k$ , o objetivo é estimar a função Q, definida como o tempo de sobrevivência cumulativo esperado a partir do estágio $k$ em diante, dado o histórico do paciente e um tratamento específico.
Imputação de Buckley–James: Para lidar com a censura à direita, o framework emprega o estimador de Buckley–James dentro de um modelo de Tempo de Falha Acelerado (AFT). Para observações censuradas, o tempo de sobrevivência não observado é imputado usando a expectativa condicional do tempo de sobrevivência dado os dados observados e o status de censura.
- O tempo de sobrevivência imputado $Y^*_{i,k}$ é calculado como $\delta_{i,k}T_{i,k} + (1-\delta_{i,k})E[T_{i,k} | T_{i,k} > C_i, H_{i,k}]$ .
- A expectativa condicional é aproximada usando o estimador de Kaplan–Meier da distribuição residual.
- Os coeficientes de regressão são estimados iterativamente usando um algoritmo de simplex Nelder–Mead para resolver as equações de estimativa modificadas, garantindo a convergência apesar da não monotonicidade da função objetivo.
Q-Learning Recursivo: O framework utiliza indução reversa (backward induction).
- Estágio Final ( $K$ ): A função Q é inicializada usando os tempos de sobrevivência imputados por Buckley–James.
- Estágios Intermediários ( $k < K$ ): Pseudo-desfechos são construídos somando o tempo de sobrevivência imputado imediato no estágio $k$ e o valor Q máximo estimado do estágio $k+1$ . Um modelo de regressão linear é então ajustado a esses pseudo-desfechos para estimar os parâmetros da função Q para o estágio $k$ .
Tomada de Decisão Contrafactual: Para determinar o tratamento ideal, o método avalia a função Q sob atribuições de tratamento hipotéticas (contrafatuais). A regra de decisão ótima seleciona o tratamento que maximiza o valor Q estimado, comparando efetivamente potenciais resultados entre diferentes estratégias.

Principais Contribuições

Integração de BJ e Q-Learning: O artigo introduz um novo framework que combina a robustez do método de imputação de Buckley–James com as capacidades de tomada de decisão sequencial do Q-Learning, especificamente adaptado para dados de sobrevivência censurados.
Comparação Direta de Estratégias: Ao contrário de alguns métodos existentes, esta abordagem considera explicitamente as observações censuradas enquanto garante que os tempos de sobrevivência imputados permitam comparações diretas e robustas entre diferentes regimes de tratamento sob um framework contrafactual.
Tratamento da Heterogeneidade do Efeito do Tratamento: O método é projetado para capturar e aproveitar a heterogeneidade do efeito do tratamento (ex: como o tamanho do tumor modifica a eficácia do tratamento) para identificar estratégias personalizadas ideais.
Extensão para Censura Dupla: A metodologia observa que o componente de Buckley–James pode ser estendido para lidar com censura dupla (tanto à esquerda quanto à direita), ampliando sua aplicabilidade para cenários de dados mais complexos.

Resultados
O estudo avalia o framework BJ-Q através de extensos estudos de simulação e uma aplicação no mundo real:

Simulações de DTR de Estágio Único: Em simulações com 50% de censura à direita e 50% de dados ausentes, o BJ-Q produziu consistentemente estimativas de valor Q alinhadas com os valores oráculo verdadeiros em todos os tamanhos de amostra ( $n=100, 500, 1000$ ). Em contraste, o Q-Learning baseado em Cox (Cox-Q) demonstrou viés persistente, particularmente na captura da heterogeneidade do efeito do tratamento.
Precisão de Decisão: O BJ-Q alcançou uma precisão de decisão de tratamento significativamente maior que o Cox-Q. Para $n=1000$ , a mediana da precisão para o BJ-Q foi de 0,973, comparada a 0,770 para o Cox-Q.
DTR de Dois Estágios: Em cenários de múltiplos estágios, o BJ-Q manteve um desempenho robusto com precisões de decisão cumulativas atingindo 0,900 em $n=1000$ . O Cox-Q mostrou melhoria limitada com o aumento do tamanho da amostra, com a precisão cumulativa estagnando em torno de 0,506, destacando sua incapacidade de recuperar com precisão o tempo de sobrevivência total sob censura em configurações longitudinais complexas.
Aplicação no Mundo Real (ACTG175): O método foi aplicado ao conjunto de dados do ensaio clínico de HIV ACTG175, que apresenta uma alta taxa de censura (~75%). A análise comparou a monoterapia (ddI) versus a terapia de combinação (AZT + ddI). O framework BJ-Q conseguiu imputar com sucesso os tempos de sobrevivência censurados, revelando que a terapia de combinação consistentemente gerou desfechos de sobrevivência superiores em relação à monoterapia. As curvas de Kaplan–Meier baseadas nos dados imputados mostraram bandas de confiança mais estreitas e uma separação mais clara entre os grupos de tratamento do que os dados observados isoladamente.

Significância e Alegações
Os autores afirmam que o framework BJ-Q fornece uma ferramenta principista e prática para otimizar desfechos de sobrevivência em cenários clínicos complexos onde os dados são incompletos. A significância do trabalho reside em sua capacidade de:

Superar o Viés de Censura: Ao imputar tempos censurados via expectativas condicionais dentro de um modelo AFT, o método evita as suposições de riscos proporcionais e as dificuldades de interpretação do modelo de Cox.
Viabilizar DTRs Personalizados: Facilita a identificação de regimes de tratamento dinâmicos ideais que maximizam o tempo de sobrevivência esperado, mesmo quando os desfechos são censurados.
Prover Robustez: O método demonstra desempenho superior sobre as alternativas baseadas em Cox tanto em configurações de estágio único quanto de múltiplos estágios, particularmente em cenários com heterogeneidade do efeito do tratamento.

Os autores mantêm uma postura modesta quanto a garantias teóricas, observando que, embora o método deva convergir para a decisão ótima conforme o tamanho da amostra aumenta, a validade depende do comportamento dos resíduos de Kaplan–Meier e pode exigir condições de regularidade adicionais em relação ao mecanismo de censura. Eles reconhecem que a implementação atual depende do estimador de Kaplan–Miller para a aproximação de resíduos e sugerem que trabalhos futuros possam explorar métodos de aprendizado de máquina não paramétricos (ex: florestas de sobrevivência aleatórias) para abordar potenciais vieses de censura informativa. Adicionalmente, propõem a extensão do framework para espaços de covariáveis de alta dimensão usando métodos penalizados.