Rethinking external validation for the target population: Capturing patient-level similarity with a generative model

Resumo Técnico: Repensando a Validação Externa para a População-Alvo

Enunciação do Problema
A validação externa é crítica para avaliar a transportabilidade de modelos preditivos na saúde; no entanto, sua interpretação é frequentemente confundida por diferenças entre a população externa e a coorte de desenvolvimento. Abordagens convencionais frequentemente dependem de uma única métrica agregada de desempenho (por exemplo, AUC ou inclinação de calibração) para avaliar um conjunto de dados externo. Essa prática confunde dois fenômenos distintos: a capacidade preditiva intrínseca do modelo e o impacto de deslocamentos distribucionais (efeitos de composição de casos) entre as populações de desenvolvimento e externa. Consequentemente, torna-se difícil distinguir se o baixo desempenho decorre de deficiências genuínas do modelo ou simplesmente do fato de o modelo estar sendo aplicado a uma população para a qual não foi projetado. Além disso, métodos existentes para abordar isso, como ponderação por propensão ou medidas de similaridade discriminativa linear, frequentemente falham em capturar deslocamentos de covariáveis complexos e não lineares e tipicamente exigem acesso repetido aos dados originais de desenvolvimento, levantando preocupações de privacidade e logística.

Metodologia
Os autores propõem um framework orientado à implantação que formaliza os objetivos de validação com base no cenário de implantação pretendido. A metodologia consiste em três componentes principais:

1. Estimandos Específicos de Cenário: O framework distingue entre dois contextos de implantação:

   • Cenário 1 (Implantação dentro da População de Desenvolvimento): O objetivo é avaliar a robustez do modelo sob mudanças distribucionais. Isso envolve reponderar os dados externos para corresponder à distribuição de desenvolvimento para testar a confiabilidade intrínseca e analisar o desempenho em um espectro de similaridade para detectar fragilidade Fora de Distribuição (OOD).
   • Cenário 2 (Implantação dentro da População Externa): O objetivo é determinar se o modelo é seguro para a nova população-alvo. Isso requer estratificar o conjunto de dados externo em subgrupos "semelhantes à Distribuição Interna" (ID-like) e OOD com base na similaridade ao nível do paciente com os dados de desenvolvimento, avaliando o desempenho dentro de cada estrato separadamente.

2. Medição de Similaridade Generativa: Para quantificar a similaridade ao nível do paciente, os autores utilizam autoencoders em vez de modelos discriminativos lineares tradicionais (por exemplo, modelos de pertencimento de regressão logística). Um autoencoder é treinado de forma não supervisionada nos dados de desenvolvimento para aprender a variedade de dados subjacente. A similaridade é medida pelo erro de reconstrução: baixo erro indica alta similaridade (ID-like), enquanto alto erro indica dissimilaridade (OOD). Essa abordagem captura relações não lineares e permite que o modelo treinado seja reutilizado para múltiplos conjuntos de dados externos sem a necessidade de acessar novamente os dados originais de desenvolvimento.

3. Avaliação Estratificada: O conjunto de dados externo é particionado em subgrupos (ou analisado continuamente) com base nas pontuações de similaridade. Métricas de desempenho (especificamente a pontuação Brier, escolhida por sua aditividade sobre subconjuntos disjuntos) são calculadas para esses subgrupos para revelar variações de desempenho ocultas por métricas agregadas.

Principais Contribuições
O artigo faz três contribuições primárias:

• Reenquadramento Conceitual: Enquadra a validação externa como um processo orientado à implantação, separando explicitamente o desempenho intrínseco do modelo dos efeitos das diferenças populacionais. Define estimandos específicos para diferentes objetivos de implantação (robustez vs. transportabilidade).
• Avanço Metodológico: Introduz o uso de modelos generativos (autoencoders) para medição de similaridade ao nível da instância. Isso oferece uma alternativa mais flexível e não linear às abordagens lineares baseadas em probabilidade e permite a validação sem acesso repetido aos dados originais de desenvolvimento, abordando assim restrições de privacidade.
• Demonstração Empírica: O framework é aplicado a um estudo de caso usando os dados do Registro Holandês do Coração (NHR) para prever mortalidade em 30 dias após implante de válvula aórtica transcateter (TAVI).

Resultados
No estudo de caso TAVI, o framework revelou variações substanciais no desempenho do modelo entre subgrupos definidos por similaridade que foram obscurecidas pela validação externa convencional:

• Achados do Cenário 1: Em vários casos em que a validação convencional sugeriu baixa transportabilidade (uma lacuna entre o desempenho interno e externo), a lacuna desapareceu quando os dados externos foram reponderados para corresponder à distribuição de desenvolvimento. Isso indicou que a queda de desempenho foi devido a diferenças distribucionais e não a falhas do modelo. Por outro lado, em outros casos, uma lacuna persistente após o ajuste sugeriu deficiências intrínsecas do modelo.
• Achados do Cenário 2: Métricas agregadas convencionais mascararam déficits significativos de desempenho. Em todos os hospitais externos, o desempenho em pacientes OOD (dissimilares aos dados de desenvolvimento) foi marcadamente pior do que em pacientes ID-like.
• Implicações Clínicas: A análise granular forneceu insights acionáveis. Para alguns hospitais, o subgrupo OOD era pequeno, sugerindo que o modelo poderia ser implantado com segurança com um mecanismo de detecção OOD para sinalizar casos de alto risco. Para outros, o subgrupo OOD era grande e apresentava desempenho ruim, indicando a necessidade de adaptação ou recalibração do modelo antes da implantação.

Significado e Alegações
Os autores afirmam que este framework aprimora a interpretabilidade da validação externa ao vincular o desempenho do modelo diretamente ao alinhamento populacional com os dados de desenvolvimento. Ao decompor o conjunto de dados externo, a abordagem fornece uma base mais principial para decidir:

1. Se um modelo é verdadeiramente transportável.
2. Como ele deve ser adaptado (por exemplo, recalibração versus retreinamento).
3. A quais subgrupos específicos de pacientes ele pode ser aplicado com segurança.

O artigo enfatiza que este método move a validação externa de um "resumo caixa-preta" para uma ferramenta de diagnóstico. Permite que clínicos e decisores determinem se os declínios de desempenho são devidos a diferenças na população de pacientes (solúveis via detecção OOD ou adaptação) ou limitações fundamentais do modelo. Os autores observam modestamente limitações, incluindo a falta de um ponto de corte universalmente claro para similaridade, a dependência de um modelo generativo específico (autoencoder) e a necessidade de validação prospectiva futura em cenários do mundo real. Eles concluem que, embora a abordagem seja promissora, deve ser integrada a considerações mais amplas, como equidade e utilidade clínica, para uma adoção segura.