Investigating Trustworthiness of Nonparametric Deep Survival Models for Alzheimer's Disease Progression Analysis

Resumo Técnico: Investigação da Confiabilidade de Modelos de Sobrevivência Profundos Não Paramétricos para Análise da Progressão da Doença de Alzheimer

Enunciado do Problema
A Doença de Alzheimer (DA) é um transtorno neurodegenerativo progressivo caracterizado por heterogeneidade significativa nas taxas de progressão, complicando a tomada de decisões clínicas e o planejamento de cuidados de longo prazo. Embora a análise de sobrevivência seja um framework padrão para modelar dados de tempo até evento (como a conversão de não-DA para diagnóstico de DA), avanços recentes em Aprendizado Profundo (DL) introduziram Modelos de Sobrevivência Profundos Não Paramétricos (NDSMs). Esses modelos oferecem a capacidade de aprender distribuições de sobrevivência individualizadas (ISDs) sem suposições paramétricas restritivas. No entanto, as avaliações existentes de NDSMs na progressão da DA focam amplamente no desempenho discriminativo (por exemplo, Índice de Concordância), negligenciando aspectos críticos de confiabilidade, como calibração, interpretabilidade e equidade. Além disso, métricas padrão de equidade frequentemente dependem de escores de risco ou razões de risco inerentes a métodos semiparamétricos, tornando-os inadequados para modelos não paramétricos que geram distribuições completas de sobrevivência. Essa lacuna levanta preocupações de que os NDSMs possam exibir vieses aprendidos contra grupos marginalizados (por exemplo, baseados em sexo, raça ou educação), potencialmente amplificando disparidades existentes na saúde.

Metodologia
Os autores propõem um pipeline de avaliação abrangente para avaliar a confiabilidade de NDSMs usando dados do National Alzheimer's Coordinating Center (NACC), compreendendo mais de 55.000 pacientes e 1.000 características. O estudo foca em três atributos sensíveis: sexo, raça e educação.

1. Pré-processamento de Dados: O conjunto de dados foi processado para definir o tempo de sobrevivência como o intervalo entre a visita inicial e a conversão para um diagnóstico de DA. Censura à direita foi aplicada a pacientes que não converteram até sua última visita. Rótulos de tempo contínuos foram agrupados em 10 intervalos discretos para acomodar arquiteturas de NDSM. As características foram selecionadas com base na relevância clínica, imputadas (média para contínuas, moda para categóricas) e normalizadas.
2. Modelos Avaliados: O estudo comparou cinco NDSMs de última geração: Negativo da Verossimilhança (NLL), Regressão Logística Neural Multi-Tarefa (N-MTLR), DeepHit, Pontuação de Probabilidade Ordenada (RPS) e RPS+Rank.
3. Métricas de Avaliação:
   • Discriminação: Medida via Índice de Concordância Dependente do Tempo (C-td).
   • Calibração: Avaliada usando a pontuação de calibração de Kaplan-Meier (KM) (divergência KL entre a curva KM e as previsões médias do modelo) e a Pontuação Brier Integrada (IBS).
   • Equidade: Os autores introduziram duas métricas inovadoras especificamente para modelos não paramétricos:
     • Impureza de Concordância Dependente do Tempo (CI-td): Mede a variação no desempenho discriminativo entre subgrupos calculando a diferença nas frações de concordância entre grupos.
     • Calibração KM-Fair: Uma métrica bootstrap que compara pontuações de calibração KM por grupo para determinar se um modelo é enviesado para subgrupos específicos.
   • Interpretabilidade: Análise de importância de características baseada em permutação foi conduzida para identificar preditores estáveis da progressão da DA.
4. Estudo de Ablação: Os autores avaliaram o impacto da remoção de atributos sensíveis (sexo, raça, educação) dos dados de treinamento para determinar se essas características introduzem viés sem melhorar o desempenho preditivo.

Principais Contribuições

1. Métricas de Equidade Inovadoras: O artigo introduz CI-td e KM-Fair, duas métricas projetadas para quantificar o viés em modelos de sobrevivência profundos não paramétricos, onde métricas tradicionais de equidade baseadas em escore de risco são inaplicáveis.
2. Framework de Avaliação Abrangente: Os autores apresentam um pipeline rigoroso que analisa conjuntamente discriminação, calibração, equidade e interpretabilidade para NDSMs em um cenário clínico real (progressão da DA), indo além da avaliação centrada no desempenho.
3. Análise Empírica de Viés: O estudo fornece uma análise extensa de viés entre sexo, etnia e educação, demonstrando que, embora os NDSMs sejam ferramentas robustas, eles frequentemente exibem injustiça significativa em relação a grupos demográficos sub-representados ou específicos.

Resultados

• Compromisso entre Desempenho e Calibração: Um claro compromisso entre discriminação e calibração foi observado. Métodos baseados em RPS alcançaram calibração superior, mas exibiram desempenho discriminativo mais fraco e maior instabilidade (desvio padrão >0,1). Por outro lado, o modelo NLL mais simples produziu o desempenho discriminativo mais forte.
• Descobertas sobre Equidade: Todos os modelos exibiram baixa impureza para o atributo "sexo" (provavelmente devido ao equilíbrio do conjunto de dados), mas mostraram viés considerável em relação à raça e educação.
  • Métodos baseados em RPS mostraram melhor equidade em relação à raça, mas pior equidade em relação à educação.
  • Outros modelos (NLL, DeepHit, N-MTLR) mostraram o padrão inverso.
  • A análise KM-Fair indicou que os modelos geralmente favoreceram populações com maior representação no conjunto de dados (por exemplo, pacientes brancos e negros, aqueles com bacharelado).
• Impacto de Atributos Sensíveis: A omissão de características demográficas sensíveis (sexo, raça, educação) dos dados de treinamento geralmente melhorou as métricas de equidade com pouca ou nenhuma degradação no desempenho de sobrevivência. Em alguns casos (por exemplo, NLL, DeepHit), a omissão da raça na verdade melhorou o desempenho discriminativo. Notavelmente, o N-MTLR não mostrou melhorias de equidade quando as características sensíveis foram removidas, sugerindo que seu viés é aprendido implicitamente a partir de variáveis não demográficas.
• Importância das Características: A análise de permutação revelou que as cinco características preditivas principais (MEMORY, ORIENT, NACCAGE, JUDGEMENT, CDRSUM) foram consistentes entre todos os cinco NDSMs, indicando que o desempenho do modelo é impulsionado por biomarcadores clínicos e cognitivos estáveis, em vez de otimizações específicas de funções de perda.

Significado e Alegações
O artigo alega que, embora modelos de sobrevivência impulsionados por aprendizado profundo sejam ferramentas robustas capazes de auxiliar decisões clínicas para cuidados de DA, eles não são inerentemente justos e frequentemente exibem viés considerável. Os autores argumentam que as métricas de equidade estabelecidas são insuficientes para modelos não paramétricos e que suas métricas propostas (CI-td e KM-Fair) são necessárias para quantificar esses vieses.

O estudo conclui que a remoção de características demográficas sensíveis dos dados de treinamento é uma estratégia viável para mitigar o viés sem sacrificar a precisão preditiva. No entanto, os autores observam modestamente que essa abordagem não elimina totalmente o viés, pois os modelos ainda podem aprender vieses implícitos de outras variáveis correlacionadas. O trabalho destaca a necessidade de avaliação multidimensional (incluindo equidade e calibração) para garantir a prontidão clínica e a equidade dos modelos de sobrevivência profunda, particularmente dado o ruído inerente no diagnóstico de DA e os possíveis vieses de amostra no conjunto de dados NACC.