A reproducible and extensible framework for benchmarking competing risks survival models

Resumo Técnico: Um Framework Reproduzível e Extensível para Benchmarking de Modelos de Sobrevivência de Riscos Competitivos

Definição do Problema

A análise de sobrevivência na área da saúde frequentemente envolve riscos competitivos (RC), onde a ocorrência de um evento (ex: morte por câncer) impede a ocorrência de outros (ex: morte cardiovascular). Embora inúmeros métodos estatísticos e de aprendizado de máquina tenham sido propostos para lidar com RC, sua avaliação sistemática e adoção clínica permanecem limitadas. A literatura atual sofre de três lacunas primárias:

1. Falta de Benchmarks Reproduzíveis: Estudos frequentemente utilizam conjuntos de dados díspares, etapas de pré-processamento não relatadas ou métricas de avaliação inconsistentes (frequentemente limitadas à discriminação), levando ao otimismo excessivo e dificuldade em comparar novos métodos.
2. Integração de Software Limitada: Métodos inovadores são frequentemente implementados como códigos ad-hoc sem integração em frameworks de aprendizado de máquina mais amplos, dificultando a acessibilidade.
3. Desafios de Interpretabilidade: Ao contrário dos modelos de regressão que fornecem estimativas diretas de coeficientes, modelos complexos de aprendizado de máquina (ex: aprendizagem profunda) requerem etapas de interpretabilidade post-hoc, que muitas vezes não são padronizadas para configurações de RC.

Além disso, tratar eventos de RC como censura viola o pressuposto de censura não informativa, levando a riscos superestimados e potencial viés algorítmico, particularmente em populações envelhecidas com multimorbidade.

Metodologia

Os autores desenvolveram um pipeline de benchmarking de código aberto e reproduzível, projetado para avaliar modelos de RC através de múltiplos conjuntos de dados sob uma configuração experimental unificada. O framework é implementado tanto em R quanto em Python, garantindo a interoperabilidade.

1. Dados e Modelos:

• Conjuntos de Dados: O estudo utilizou cinco conjuntos de dados com variados tamanhos de amostra e taxas de eventos (PBC, HD, METABRIC, Framingham e um subconjunto do SEER Breast Cancer), garantindo uma taxa mínima de evento de risco competitivo de ~10%.
• Modelos: Um conjunto diversificado de seis métodos foi submetido a benchmarking, variando de regressão clássica a aprendizagem profunda:
  • Baseados em Regressão: Cox PH de causa específica (csCPH), regressão de Fine-Gray (FGR), Proporcional de Risco de Subdistribuição Penalizado (FGRP).
  • Baseados em Árvores: Random Survival Forests (RSF).
  • Aprendizagem Profunda (Deep Learning): DeSurv (tempo contínuo) e DeepHit (tempo discreto).
• Validação: Foi empregada uma abordagem de validação cruzada aninhada (nested cross-validation) para evitar vazamento de dados (data leakage). O loop externo lidou com a avaliação do modelo, enquanto o loop interno gerenciou o ajuste de hiperparâmetros.
• Dados Ausentes: As estratégias incluíram análise de caso completo, imputação univariada (mediana/moda) e Imputação Múltipla por Equações Encadeadas (MICE), todas aplicadas dentro dos folds de CV para evitar vazamento.

2. Métricas de Desempenho:
O framework avalia quatro aspectos complementares do desempenho preditivo:

• Calibração: Gráficos visuais, Índice de Calibração Integrado (ICI) e razões Observado-para-Esperado (O/E), utilizando pseudo-observações para lidar com a censura.
• Discriminação: AUC dependente do tempo (tdAUC) para horizontes fixos e variantes do C-index ($C_{td}$ e $C_{\tau}$) para avaliação global. Este último utiliza o Tempo Médio Perdido Restrito (RMTL) para resumir as CIFs.
• Erro de Predição Total: Brier Score Ponderado (BS) e Brier Score Integrado (IBS).
• Utilidade Clínica: Análise de Curva de Decisão (DCA) para avaliar o benefício líquido contra estratégias de "tratar todos" e "não tratar ninguém".

3. Interpretabilidade:

• Específica do Modelo: Coeficientes de regressão para modelos paramétricos.
• Agnóstica ao Modelo:
  • Importância por Permutação: Medida via degradação do IBS.
  • CifSHAP(t): Uma extensão inovadora do SurvSHAP(t) para configurações de RC. Este método decompõe a Função de Incidência Cumulativa (CIF) específica da causa ao longo do tempo para fornecer contribuições de características dependentes do tempo e agnósticas ao modelo.

4. Desenho Experimental:
O ajuste de hiperparâmetros foi padronizado entre os modelos usando uma busca em grade (grid search) otimizada para IBS (minimizando o erro de predição total) para garantir comparações justas, em vez de funções de perda específicas do modelo. Modelos de aprendizagem profunda foram treinados com um orçamento fixo de épocas (300) para evitar o viés de ajuste via parada antecipada (early stopping) em relação a funções de perda específicas.

Principais Resultados

• Consistência de Predição: Modelos de regressão clássica (csCPH, FGR, FGRP) mostraram concordância quase perfeita nas predições ao nível individual. Modelos de aprendizado de máquina (RSF, DeSurv, DeepHit) produziram atribuições de risco mais distintas, com o DeepHit apresentando a menor correlação com os modelos baseados em regressão.
• Variabilidade de Desempenho: Nenhum modelo único dominou em todas as métricas e conjuntos de dados.
  • DeSurv frequentemente superou os outros em medidas globais (IBS, $C_{\tau}$) em conjuntos de dados maiores como METABRIC.
  • FGRP (Fine-Gray Penalizado) permaneceu altamente competitivo, particularmente em conjuntos de dados maiores (Framingham, SEER), frequentemente liderando em discriminação ($C_{td}$).
  • DeepHit frequentemente classificou-se como o pior executor neste benchmark, particularmente em relação à calibração em pontos temporais tardios.
• Sensibilidade das Métricas: O ranking dos modelos foi altamente sensível à métrica escolhida. Por exemplo, um modelo com o menor IBS não necessariamente possuía o maior C-index. Isso ressalta o risco de "manipulação de métricas" (metric-hacking) se os critérios de avaliação não forem pré-especificados com base em objetivos clínicos.
• Interpretabilidade: Tanto a importância por permutação quanto o CifSHAP(t) produziram rankings de covariáveis altamente consistentes (ex: Quimioterapia, MKI67, PGR foram os principais preditores no METABRIC). O CifSHAP(t) revelou ainda que as contribuições das covariáveis (ex: quimioterapia) poderiam variar em sinal e magnitude dependendo do tipo de evento observado (causa 1 vs. causa 2) e do tempo.
• Impacto da Otimização: O ajuste de hiperparâmetros baseado em IBS produziu modelos mais equilibrados (melhor calibração e discriminação) comparado ao ajuste baseado em funções de perda ou $C_{td}$, que frequentemente sacrificavam a calibração em favor da discriminação.
• Tempo de Execução: Métodos baseados em regressão foram computacionalmente eficientes. Métodos de aprendizado de máquina, particularmente RSF e DeSurv, incorreram em custos computacionais significativamente maiores, com o RSF apresentando o maior fardo devido ao ajuste de florestas de árvores (ensemble tree fitting).

Significância e Alegações

O artigo posiciona este trabalho não como um ranking definitivo do "melhor" modelo, mas como uma fundação reproduzível e extensível para a avaliação sistemática de métodos de riscos competitivos.

• Padronização: O framework aborda a falta de estudos de comparação imparciais ao fornecer um setup experimental comum, pré-processamento consistente e um conjunto unificado de métricas de avaliação.
• Relevância Clínica: Ao ir além da discriminação para incluir calibração, erro total e utilidade clínica (DCA), o framework alinha a avaliação do modelo com as necessidades práticas de tomada de decisão clínica.
• Inovação em Interpretabilidade: A introdução do CifSHAP(t) estende a interpretabilidade do modelo para contribuições dependentes do tempo e específicas da causa, preenchendo uma lacuna na compreensão de como as covariáveis impulsionam o risco em configurações de RC.
• Orientação Prática: Os autores enfatizam que métodos de regressão mais simples (como o FGRP) frequentemente alcançam desempenho competitivo com menores custos computacionais, sugerindo que devem servir como fortes linhas de base (baselines). Eles também destacam que os critérios de ajuste de hiperparâmetros (ex: IBS vs. Loss) influenciam criticamente o comportamento e o ranking dos modelos, instando a transparência no relato das estratégias de ajuste.

Os autores concluem que, embora seus achados sejam condicionais aos conjuntos de dados e setup específicos utilizados, o framework facilita o desenvolvimento, validação e adoção de futuros modelos de predição de RC ao fornecer uma ferramenta robusta e de código aberto para desenvolvedores e profissionais.