Resumo Técnico: Quando as Regras de Pontuação são Próprias? Unindo Teoria e Prática na Avaliação de Modelos de Sobrevivência

1. Definição do Problema

Na análise de sobrevivência, a avaliação de modelos tradicionalmente baseou-se em índices de concordância, que avaliam apenas a capacidade de ordenação (discriminação) das previsões. No entanto, os modelos de sobrevivência modernos frequentemente geram previsões probabilísticas da distribuição completa do tempo até o evento, necessitando de métricas de avaliação que incorporem tanto calibração quanto discriminação. As regras de pontuação, como o Brier score e o Log-Loss, são padrões para esse propósito em classificação e regressão.

O problema central abordado neste artigo é a propriedade (properness) dessas regras de pontuação no contexto de dados de sobrevivência com censura à direita. Uma regra de pontuação é "própria" se a perda esperada é minimizada quando a distribuição prevista coincide com a verdadeira distribuição geradora de dados. Embora a propriedade seja bem compreendida para dados não censurados, seu comportamento sob censura — particularmente sob censura independente e em amostras finitas — não está totalmente caracterizado. Especificamente, não está claro se métricas comumente utilizadas, como o Survival Brier Score (SBS), o Integrated Survival Brier Score (ISBS) e o Right-Censored Log-Loss (RCLL), permanecem estritamente próprias quando as condições de regularidade (como caudas evanescentes) são violadas, o que é comum em estudos do mundo real com acompanhamento finito ou frações de cura.

2. Metodologia

Os autores empregam uma abordagem dual combinando derivação teórica e extensos experimentos de simulação.

Estrutura Teórica

• Propriedade Marginal: O artigo define a propriedade baseando-se em resultados observáveis $(T, \Delta)$, onde $T = \min(Y, C)$ é o tempo observado e $\Delta$ é o indicador de evento. Esta definição "marginal" assume censura independente ($Y \perp\!\!\perp C$), mas permite que as previsões dependam de covariáveis. Isso contrasta com as definições de propriedade condicional que condicionam em covariáveis $X$.
• Condições de Regularidade: A análise distingue dois cenários:
  1. Idealizado: As distribuições de sobrevivência e de censura são absolutamente contínuas com caudas evanescentes ($\lim_{t\to\infty} S(t) = 0$).
  2. Prático: As distribuições podem ter caudas não evanescentes (massa residual) devido a acompanhamento finito ou frações de cura.
• Funções de Perda Analisadas:
  • Perdas Exatas: Survival Continuous Ranked Probability Score (SCRPS), Negative Log-Likelihood (NLL) e Right-Censored Log-Loss (RCLL).
  • Perdas IPCW: Survival Brier Score (SBS), Integrated Survival Brier Score (ISBS), Integrated Binomial Log-Loss (IBLL) e Integrated Survival Absolute Score (ISAS). Estas utilizam o Peso de Probabilidade Inversa de Censura (IPCW) para ajustar a censura.

Experimentos de Simulação

Dois estudos de simulação primários foram conduzidos para validar os achados teóricos e avaliar o comportamento em amostras finitas:

1. Avaliação de Propriedade Empírica: Utilizando 10.000 simulações com tempos de evento e censura distribuídos por Weibull, os autores avaliaram a diferença de perda empírica entre a distribuição verdadeira e previsões mal especificadas através de vários tamanhos de amostra ($n=10$ a $10.000$). Isso testou se modelos mal especificados poderiam alcançar perdas esperadas menores do que a verdade (violações de propriedade).
2. Sensibilidade à Má Especificação: Os dados foram gerados a partir de um modelo log-normal de riscos não proporcionais com curvas de sobrevivência que se cruzam. O estudo comparou um modelo "Oráculo" corretamente especificado contra uma sequência de modelos progressivamente mal especificados (ex: interações omitidas, famílias paramétricas erradas, modelos de Cox, Florestas de Sobrevivência Aleatórias). A capacidade das regras de pontuação de discriminar entre esses modelos foi avaliada sob taxas de censura baixas e altas.
3. Sensibilidade à Resolução da Grade: Para o RCLL, que requer estimativa de densidade, o impacto da resolução da grade de previsão na densidade foi testado sobre os escores absolutos e classificações relativas.

3. Contribuições Principais e Resultados

Achados Teóricos

• RCLL: Sob censura independente e condições de regularidade padrão (caudas evanescentes), o Right-Censored Log-Loss (RCLL) é estritamente próprio. No entanto, se as condições de regularidade forem violadas (ou seja, se ambas as distribuições de evento e censura possuírem massa residual positiva), o RCLL pode tornar-se impróprio, favorecendo previsões com menor massa residual.
• SBS e ISBS: O Survival Brier Score (SBS) e o Integrated Survival Brier Score (ISBS) são estritamente próprios apenas se a massa residual da cauda for zero. Quando a massa residual existe (comum em acompanhamento finito), esses escores tornam-se impróprios.
  • Mecanismo de Impropriedade: O SBS esperado é minimizado por uma probabilidade de sobrevivência que subestima sistematicamente a probabilidade de sobrevivência real. A magnitude desse viés é impulsionada pela massa residual da cauda ($\epsilon$) e pela razão entre a probabilidade de evento cumulativa e a probabilidade de sobrevivência da censura no tempo de avaliação.
  • Dependência Temporal: O viés é negligenciável em tempos de avaliação iniciais, mas torna-se pronunciado em tempos posteriores (ex: o 90º percentil) e sob censura pesada.
• Perdas Exatas: Demonstrou-se que o SCRPS e o NLL são impróprios sob censura independente, mesmo sob condições idealizadas, devido à incapacidade de considerar adequadamente o mecanismo de censura sem pesos explícitos ou suposições de densidade.

Achados Empíricos

• Violações em Amostras Finitas: Em amostras pequenas ($n < 50$), o SBS e o ISBS frequentemente exibem violações de propriedade, onde modelos mal especificados alcançam perdas menores do que a verdade. A frequência dessas violações diminui conforme o tamanho da amostra aumenta e a massa residual da cauda diminui.
• Poder Discriminatório:
  • SBS: Exibe baixa discriminação entre modelos, especialmente em tempos de avaliação tardios, devido ao viés sistemático introduzido pela massa residual.
  • ISBS: É mais robusto que o SBS devido à integração temporal, mas ainda mostra redução no poder discriminatório e ocasional impropriedade em amostras pequenas ou sob censura pesada.
  • RCLL: Demonstrou o comportamento mais consistente. Manteve a propriedade estrita em simulações e forneceu uma separação superior entre modelos corretamente especificados e mal especificados em comparação ao ISBS.
• Efeitos da Resolução da Grade: Os valores absolutos do RCLL são sensíveis à grade de aproximação da densidade. Grades mais grosseiras podem reduzir artificialmente o RCLL para modelos mal especificados. No entanto, as classificações relativas de modelos permanecem estáveis em diferentes resoluções de grade, desde que todos os modelos sejam avaliados na mesma grade.
• Impacto da Taxa de Censura: Os valores absolutos do RCLL são fortemente influenciados pela taxa de censura (censura mais alta desloca o peso dos termos de densidade para os termos de sobrevivência). Portanto, comparar valores absolutos de RCLL entre conjuntos de dados com diferentes taxas de censura é enganoso; classificações relativas dentro de um conjunto de dados são a métrica apropriada.

4. Significância e Recomendações

O artigo demonstra que a impropriedade teórica em regras de pontuação de sobrevivência pode se traduzir em comparações de modelos enganosas na prática. Especificamente, o ISBS e o SBS amplamente utilizados podem favorecer a subestimação das probabilidades de sobrevivência quando o acompanhamento é finito ou existem frações de cura, potencialmente levando à seleção de modelos subótimos.

Diretrizes Práticas Propostas:

1. Evite o SBS Pontual: Não utilize o Survival Brier Score pontual, particularmente em tempos de avaliação tardios, pois ele é altamente suscetível à impropriedade.
2. Use o ISBS com Cautela: Se utilizar o ISBS, realize o truncamento do horizonte de integração (ex: até o 80º–90º percentil do acompanhamento) para mitigar a instabilidade da cauda e garantir que o tamanho da amostra de teste seja moderado ($n \ge 50-100$).
3. Prefira o RCLL: O Right-Censored Log-Loss é recomendado como uma alternativa teoricamente fundamentada e empiricamente robusta. Para utilizá-lo efetivamente:
   • Certifique-se de que as densidades previstas sejam aproximadas em uma grade de previsão densa e consistente para todos os modelos comparados.
   • Enfatize as classificações relativas de modelos em vez dos valores absolutos dos escores, especialmente em benchmarks de múltiplos conjuntos de dados ou quando as taxas de censura variam.
4. Tamanho da Amostra: Uma avaliação confiável requer tamanhos de conjunto de teste adequados ($n \ge 50-100$) para minimizar violações de amostras finitas.

Os autores concluem que, embora os benchmarks anteriores que dependem do ISBS permaneçam amplamente confiáveis sob condições padrão, o campo requer maior desenvolvimento metodológico para lidar com a censura e o comportamento das caudas de forma mais rigorosa. O estudo ressalta a necessidade de complementar a análise de propriedade teórica com estudos empíricos sistemáticos de discriminação e robustez.