The fundamental problem of risk prediction for individuals: health AI, uncertainty, and personalized medicine

Resumo Técnico: O Problema Fundamental da Predição de Risco para Indivíduos

Enunciado do Problema
Modelos de predição clínica, cada vez mais impulsionados pela inteligência artificial (IA), são rotineiramente avaliados com base em seu desempenho ao nível populacional (ex.: discriminação, calibração e utilidade clínica). No entanto, as decisões clínicas são tomadas para indivíduos. Existe uma lacuna crítica na quantificação e compreensão da incerteza em relação às estimativas de risco para pacientes individuais. Enquanto as abordagens estatísticas tradicionais focam na incerteza de estimação (variabilidade devido ao tamanho da amostra), elas frequentemente negligenciam a incerteza do modelo (variabilidade decorrente de escolhas de modelagem) e a incerteza de aplicabilidade (variabilidade devido a diferenças nos procedimentos de medição e características da população). O artigo argumenta que as estimativas de risco individual são muito mais incertas do que o comumente assumido, e que confiar em um único modelo de um único estudo cria uma falsa sensação de precisão.

Metodologia
Para ilustrar empiricamente a magnitude dessas incertezas, os autores conduziram um estudo de caso sobre a predição do risco de câncer de ovário maligno em pacientes que apresentam um tumor ovariano.

• Fontes de Dados: O estudo utilizou dados retrospectivos do mundo real do University Hospitals Leuven (1.122 pacientes, 1999–2015) e dados sintéticos gerados para explorar efeitos de tamanho de amostra. Um conjunto de teste fixo de 100 pacientes reais de Leuven foi utilizado para avaliar a variabilidade nas estimativas de risco.
• Estrutura de Modelagem: Os autores decomporam a incerteza epistêmica em três categorias:
  1. Incerteza de Estimação: Variabilidade nas estimativas de parâmetros devido a diferentes amostras de treinamento.
  2. Incerteza do Modelo: Variabilidade devido a escolhas de classe de modelo (regressão logística, florestas aleatórias, XGBoost), tratamento de variáveis contínuas (splines ou outros), seleção de variáveis, penalização e ajuste de hiperparâmetros.
  3. Incerteza de Aplicabilidade: Variabilidade devido a definições de dados (ex.: medição do tamanho do tumor), tratamento de dados ausentes e diferenças populacionais (dados de Leuven, Roma e Malmö).
• Desenho Experimental: Os autores treinaram um enorme conjunto de 59.400 modelos. Isso foi alcançado por meio de:
  • Criação de 594 cenários de modelagem distintos (variações nas três categorias de incerteza).
  • Repetição de cada cenário com 100 amostras de treinamento sorteadas aleatoriamente (bootstrapping) para capturar a incerteza de estimação.
  • Teste de tamanhos de amostra de $N=400$, $N=2.000$ e $N=10.000$.
• Métricas:
  • Nível Populacional: Área Sob a Curva ROC (AUROC), Índice de Calibração Estimado (ECI) e Utilidade Relativa (RU).
  • Nível Individual: O intervalo de 95% das estimativas de risco (diferença entre os percentis 97,5 e 2,5) e a Incerteza de Decisão (ID). A ID mede a proporção de modelos que resultariam em uma decisão clínica diferente (ex.: recomendação de cirurgia) com base em um limiar de risco de 0,1.

Principais Resultados

• Dominância da Não-Incerteza de Estimação: Embora a incerteza de estimação tenha diminuído significativamente à medida que o tamanho da amostra de treinamento aumentava (a média do intervalo de 95% caiu de 0,22 em $N=400$ para 0,04 em $N=10.000$), a incerteza do modelo e a incerteza de aplicabilidade permaneceram grandes e praticamente inalteradas pelo tamanho da amostra.
• Variabilidade do Risco Individual: Mesmo com um grande conjunto de treinamento de 10.000 pacientes, a média do intervalo de 95% das estimativas de risco para um único paciente através de todos os 59.400 modelos foi de 0,39 (variando de 0,05 a 0,99). Para alguns pacientes, o intervalo cobriu quase todo o espectro de probabilidade (0 a 1).
• Incerteza de Decisão: Ao considerar apenas a incerteza de estimação, aumentar o tamanho da amostra para 10.000 reduziu a incerteza de decisão (modelos sugerindo uma ação diferente da maioria) para 1%. No entanto, quando as incertezas de modelo e de aplicabilidade foram incluídas, a incerteza de decisão permaneceu alta em 11%, mesmo com $N=10.000$.
• Desempenho Populacional vs. Individual: Os modelos mantiveram alto desempenho no nível populacional (AUROC 0,92–0,93, boa calibração, utilidade relativa positiva) em todos os cenários. Isso demonstra que um modelo pode ser altamente útil para guiar estratégias de nível populacional, enquanto fornece estimativas de risco altamente incertas e potencialmente conflitantes para o indivíduo.

Principais Contribuições

1. Estrutura para Incerteza: O artigo introduz uma estrutura estruturada distinguindo incerteza de estimação, de modelo e de aplicabilidade, destacando que as avaliações tradicionais frequentemente ocultam estas duas últimas.
2. Evidência Empírica: Fornece evidência empírica de que simplesmente aumentar o tamanho do conjunto de dados não resolve a incerteza nas predições de risco individual, pois a especificação do modelo e as diferenças de dados/população dominam a variância do erro.
3. Quantificação da Incerteza de Decisão: O estudo quantifica a frequência com que diferentes escolhas de modelagem válidas levam a decisões clínicas contraditórias para o mesmo paciente, desafiando a noção de uma única estimativa de risco "verdadeira".

Significância e Alegações
Os autores concluem que as estimativas de risco individual são inerentemente incertas, muitas vezes em um grau que excede o sugerido por intervalos de confiança clássicos ou métricas de tamanho de amostra efetivo. Eles argumentam que essa incerteza não invalida a utilidade clínica dos modelos de predição no nível populacional, mas exige uma mudança na forma como essas ferramentas são aplicadas na prática:

• IA como Informante, Não Ditadora: Algoritmos preditivos devem informar, não ditar, o cuidado. A incerteza implica que os resultados da IA não devem ser aceitos cegamente como respostas definitivas para pacientes individuais.
• Tomada de Decisão Compartilhada: A verdadeira medicina personalizada requer interação humana. Os médicos devem reconhecer a incerteza nos resultados dos modelos e integrar essas estimativas em um processo de tomada de decisão compartilhada com o paciente, em vez de depender de um único resultado algorítmico.
• Modéstia na Personalização: O artigo urge por humildade em relação às promessas da medicina personalizada. Embora a IA possa fornecer estimativas de nível de grupo baseadas em dados de treinamento, a natureza "personalizada" da estimativa de risco é limitada pela incerteza epistêmica. O valor reside no processo de tomada de decisão compartilhada apoiado por essas estimativas, não no fato de as estimativas em si serem perfeitamente precisas.