SurvHTE-Bench: A Benchmark for Heterogeneous Treatment Effect Estimation in Survival Analysis

O artigo apresenta o SurvHTE-Bench, o primeiro benchmark abrangente para a estimativa de efeitos heterogêneos de tratamento em dados de sobrevivência censurados, oferecendo um conjunto diversificado de dados sintéticos, semissintéticos e reais para uma avaliação rigorosa e reprodutível de métodos causais nessa área.

O essencial

Imagine que você é um médico tentando decidir qual remédio é melhor para cada paciente. Você sabe que o "Remédio A" funciona maravilhosamente para o João, mas pode não fazer muita diferença para a Maria. O desafio é descobrir quem se beneficia de qual tratamento antes de prescrevê-lo. Isso é o que chamamos de "Efeito Heterogêneo do Tratamento".

Agora, imagine que você está tentando fazer isso em um mundo onde os dados são incompletos. Alguns pacientes param de vir ao consultório antes de saber se o remédio funcionou (eles se "censuram" nos dados). É como tentar adivinhar quem vai ganhar uma corrida de maratona quando metade dos corredores simplesmente sai da pista no meio do caminho.

Foi exatamente para resolver esse problema complexo que os autores criaram o SURVHTE-BENCH.

O Que é o SURVHTE-BENCH?

Pense no SURVHTE-BENCH como um gigantesco "simulador de voo" para cientistas de dados e médicos.

Antes desse trabalho, cada pesquisador criava seu próprio teste pequeno e diferente para ver qual método de cálculo funcionava melhor. Era como se cada piloto estivesse treinando em um simulador diferente, com regras diferentes, e ninguém conseguia comparar quem era realmente o melhor piloto.

O SURVHTE-BENCH é a primeira "pista de testes" padronizada e completa para esse tipo de problema. Ele oferece:

1. Cenários de Simulação (O "Voo em Caixa Preta"): Os autores criaram 40 mundos virtuais diferentes. Em alguns, as regras são justas; em outros, há "trapaceiros" (violações de suposições) ou dados muito confusos. Eles sabem exatamente quem deveria ganhar em cada mundo, o que permite ver se o método de cálculo está acertando ou errando.
2. Dados Reais Misturados com Fictícios (O "Voo de Simulação Realista"): Eles pegaram dados de hospitais reais (como registros de pacientes com HIV ou de UTI) e injetaram tratamentos e resultados fictícios. É como pegar um carro real e colocar um motor novo para testar, mantendo a estrutura original do veículo.
3. Dados Reais com Respostas Conhecidas (O "Voo de Verificação"): Eles usaram um estudo com gêmeos. Como um gêmeo recebe um tratamento e o outro não, mas são geneticamente quase idênticos, os pesquisadores podem comparar os resultados reais de ambos como se tivessem um "segredo" (a verdade absoluta) para verificar se os métodos estão corretos.

A Grande Corrida de Métodos

O papel testou 53 métodos diferentes (como se fossem 53 pilotos diferentes) nessas pistas. Eles dividiram esses métodos em três grandes "famílias" de pilotos:

• Os "Adivinhadores de Tempo" (Imputação de Resultados): Estes métodos tentam "adivinhar" quando o paciente teria morrido ou curado se não tivesse saído da pista, e depois usam essa adivinhação para calcular o efeito do remédio. É como tentar completar um quebra-cabeça faltando peças.
• Os "Especialistas em Tempo de Vida" (Métodos Diretos): Estes métodos não tentam adivinhar o tempo perdido. Eles foram construídos especificamente para entender a lógica de "tempo até o evento" (como tempo de vida ou tempo até cura), lidando diretamente com a falta de dados.
• Os "Estrategistas Híbridos" (Meta-aprendizes de Sobrevivência): Estes combinam a lógica dos especialistas com técnicas modernas de inteligência artificial para tentar o melhor dos dois mundos.

O Que Eles Descobriram?

A conclusão principal é que não existe um "super-herói" único que ganhe em todas as situações. É como escolher um carro: um bom para a cidade pode ser ruim na lama.

• Em cenários limpos e fáceis: Métodos que tentam "adivinhar" os dados perdidos funcionam muito bem.
• Quando os dados estão muito bagunçados (muita censura ou regras injustas): Os métodos que foram feitos especificamente para lidar com o tempo de vida (os "Especialistas" e os "Estrategistas Híbridos") são muito mais robustos e confiáveis. Eles não entram em pânico quando os dados somem.
• O perigo da censura: Quanto mais pacientes "desistem" da corrida (censura alta), mais difícil fica para os métodos antigos. Os métodos modernos que entendem a natureza do tempo de sobrevivência se saem muito melhor.

Por Que Isso Importa?

Imagine que você está escolhendo um tratamento para um paciente com câncer. Se você usar o método errado, pode prescrever um remédio caro e inútil, ou pior, ignorar um remédio que salvaria a vida do paciente.

O SURVHTE-BENCH é como um guia de compras rigoroso. Ele diz aos médicos e pesquisadores: "Se você estiver lidando com dados de hospitais onde muitos pacientes param de ser acompanhados, não use o método X. Use o método Y, porque ele foi testado e provou ser mais seguro nesse cenário específico."

Em resumo, este trabalho criou a primeira "prova de fogo" justa e completa para garantir que, quando usarmos inteligência artificial para decidir tratamentos personalizados, estaremos usando as ferramentas mais confiáveis possíveis, mesmo quando os dados estiverem incompletos.

Resumo técnico

Resumo Técnico: SURVHTE-BENCH

1. O Problema

A estimativa de Efeitos de Tratamento Heterogêneos (HTEs) em dados de sobrevivência com censura à direita é crucial para aplicações de alto risco, como medicina de precisão e políticas públicas individualizadas. No entanto, esse cenário apresenta desafios únicos que dificultam a avaliação justa e reprodutível dos métodos existentes:

• Censura: O tempo de evento não é observado para todos os indivíduos (ex: pacientes que abandonam o estudo ou não têm o evento até o fim do acompanhamento).
• Contrafactuais não observados: Em dados observacionais, não se pode observar simultaneamente o resultado com e sem tratamento para o mesmo indivíduo.
• Falta de Padronização: Apesar dos avanços recentes (ex: Florestas de Sobrevivência Causal, Meta-aprendizes de Sobrevivência), não existe um benchmark padronizado. A maioria dos estudos utiliza simulações personalizadas com suposições de identificação e dinâmicas de sobrevivência inconsistentes, tornando impossível comparar a robustez dos métodos sob violações simultâneas de pressupostos.

2. Metodologia e Arquitetura do Benchmark

O SURVHTE-BENCH é o primeiro benchmark abrangente para estimativa de HTE em dados de sobrevivência censurados. Ele foi projetado para ser modular, reprodutível e extensível, cobrindo três tipos de dados:

A. Dados Sintéticos (40 Conjuntos de Dados)
Criados para testar sistematicamente a robustez dos estimadores sob violações controladas de pressupostos causais.

• Configurações Causais (8 cenários): Variam entre Ensaios Clínicos Randomizados (RCT) e Estudos Observacionais, incluindo violações de:
  • Ignorabilidade (confundimento não observado).
  • Positividade (falta de sobreposição entre grupos de tratamento).
  • Censura Ignorável (substituída por censura informativa, onde a censura depende do tempo de evento).
• Cenários de Sobrevivência (5 cenários): Variam a distribuição do tempo de evento (Cox, AFT, Poisson) e as taxas de censura (Baixa <30%, Média 30-70%, Alta >70%).
• Ground Truth: Como os dados são gerados, o HTE verdadeiro (CATE) e o ATE são conhecidos, permitindo cálculo exato de erro.

B. Dados Semi-Sintéticos (10 Conjuntos de Dados)
Combinam covariadas reais (do estudo clínico ACTG HIV e do banco de dados MIMIC-IV de UTI) com tratamentos e desfechos simulados. Isso preserva a complexidade e correlações das covariadas do mundo real, mantendo o ground truth do HTE.

C. Dados Reais (2 Conjuntos de Dados)

• Twins (Gêmeos): Dados de nascimentos gêmeos onde, por definição, um gêmeo recebe o "tratamento" (ser o mais pesado) e o outro não, permitindo observar ambos os contrafactuais (ground truth conhecido).
• ACTG 175 (Ensaio Clínico de HIV): Dados reais sem ground truth conhecido, utilizados para testar a estabilidade dos métodos ao introduzir censura artificialmente.

Métodos Avaliados (53 Variantes)
O benchmark unifica e implementa 53 variantes de métodos divididos em três famílias:

1. Métodos de Imputação de Desfecho: Imputam tempos de evento censurados (usando Margin, IPCW-T ou Pseudo-observações) e aplicam meta-aprendizes padrão (S, T, X, DR-Learners, Double-ML, Causal Forests) com base em regressores (Lasso, Random Forest, XGBoost).
2. Métodos Diretos de Sobrevivência Causal: Modelam diretamente a censura sem imputação prévia (ex: SurvITE, Causal Survival Forests).
3. Meta-Aprendizes de Sobrevivência: Adaptam meta-aprendizes (S, T, Matching) para usar modelos de sobrevivência nativos (Random Survival Forests, DeepSurv, DeepHit).

Métricas de Avaliação

• RMSE do CATE: Erro quadrático médio na estimativa do efeito heterogêneo.
• Viés do ATE: Viés na estimativa do efeito médio do tratamento.
• Acurácia Auxiliar: Erro na imputação de tempos e ajuste dos modelos de sobrevivência/propensão.

3. Contribuições Principais

1. Unificação Metodológica: Cria um framework modular que categoriza e implementa 53 métodos sob uma única estrutura, facilitando comparações justas.
2. Design de Benchmark Rigoroso: Fornece 40 cenários sintéticos que cruzam violações de pressupostos causais com dinâmicas de sobrevivência complexas e altas taxas de censura.
3. Validação em Múltiplos Níveis: Vai além de dados puramente sintéticos, incluindo dados semi-sintéticos (covariadas reais) e dados reais com ground truth (gêmeos) e sem ground truth (HIV).
4. Análise de Robustez: É a primeira avaliação sistemática de como os métodos se comportam quando múltiplos pressupostos (ignorabilidade, positividade, censura ignorável) são violados simultaneamente.

4. Resultados Chave

Os resultados demonstram que não existe um único método dominante; o desempenho depende criticamente do contexto (taxa de censura, violações de pressupostos e estrutura dos dados).

• Impacto da Censura:
  • Em cenários de baixa censura e ensaios randomizados, métodos de imputação de desfecho (como Double-ML e X-Learner) tendem a performar bem.
  • À medida que a censura aumenta (cenários de alta censura comuns em prontuários eletrônicos), os Meta-Aprendizes de Sobrevivência (especialmente S-Learner-Survival e Matching-Survival baseados em DeepSurv) e as Florestas de Sobrevivência Causal superam consistentemente os métodos de imputação.
• Robustez a Violações de Pressupostos:
  • Sob violações de ignorabilidade (confundimento não observado) e censura informativa, os métodos que modelam diretamente a estrutura de sobrevivência (Meta-aprendizes de Sobrevivência e Florestas Causais) mantêm maior estabilidade e menor viés.
  • Métodos baseados em imputação tendem a falhar ou apresentar alta variância quando a censura é dependente do evento ou quando há falta de positividade severa.
• Estabilidade vs. Precisão Média:
  • Nos dados semi-sintéticos (MIMIC), as diferenças de RMSE médio entre os melhores métodos são pequenas. Nesses casos, a estabilidade (baixa variância entre repetições) torna-se o critério decisivo para seleção de modelos, favorecendo abordagens de sobrevivência direta.
• Desempenho em Dados Reais:
  • No conjunto de dados Twins, S-Learner-Survival e DR-Learner (com imputação) mostraram os menores erros.
  • No estudo HIV, métodos de imputação mostraram alta variabilidade nas estimativas de base, enquanto as Florestas de Sobrevivência Causal mantiveram estimativas mais estáveis sob censura extrema.

5. Significado e Impacto

O SURVHTE-BENCH preenche uma lacuna crítica na comunidade de aprendizado de máquina causal e análise de sobrevivência.

• Padronização: Estabelece um padrão ouro para avaliação futura de métodos de HTE em sobrevivência, permitindo progresso mensurável.
• Guia Prático: Oferece diretrizes claras para pesquisadores e praticantes: em cenários de alta censura e dados observacionais complexos, confiar em métodos que modelam a estrutura de sobrevivência nativamente (em vez de imputar tempos) é geralmente mais robusto.
• Reprodutibilidade: Ao disponibilizar código, dados sintéticos e semi-sintéticos, e protocolos de avaliação, o projeto incentiva a transparência e a comparação justa, essenciais para a adoção de IA em saúde de alto risco.

O benchmark está disponível publicamente em: https://github.com/Shahriarnz14/SurvHTE-Bench.