📊 statistics

Compatibility of Missing Data Handling Methods across the Stages of Producing Clinical Prediction Models

Este artigo demonstra que, para garantir o desempenho preditivo imparcial e a compatibilidade ao longo do ciclo de vida do modelo de predição clínica, os pesquisadores devem alinhar suas estratégias de tratamento de dados ausentes durante o desenvolvimento e a validação com as restrições específicas da implementação do modelo, como usar imputação múltipla quando dados ausentes são excluídos ou manter métodos de imputação consistentes quando dados ausentes são permitidos.

Autores originais: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Publicado 2026-02-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando criar a receita perfeita para um novo prato (um Modelo de Predição Clínica). Seu objetivo é prever como um cliente reagirá ao prato. Para fazer isso, você precisa de ingredientes específicos (preditores como idade, pressão arterial, etc.). Mas, às vezes, você não tem todos os ingredientes quando está cozinhando, ou seus clientes podem não ter fornecido todas as informações sobre suas preferências dietéticas.

Este artigo trata de como lidar com esses "ingredientes faltantes" em três estágios diferentes do seu processo de cozimento:

Desenvolvimento: Criando a receita em sua cozinha de testes.
Validação: Experimentando a receita com um novo grupo de pessoas para ver se ela funciona.
Implantação: Servindo o prato ao público real.

Os autores descobriram que a maneira como você lida com os ingredientes faltantes na sua cozinha de testes e na sua sessão de degustação deve coincidir com a maneira como você planeja servir o prato ao público. Se você não coincidir, sua receita falhará, ou você achará que ela tem um sabor ótimo quando, na verdade, tem um sabor terrível.

Aqui está a divisão de suas descobertas usando analogias simples:

As Duas Regras Principais do Jogo

Os autores propõem duas regras de ouro para lidar com dados ausentes:

A Regra da "Não Degradação": Ao desenvolver sua receita, você deve lidar com os ingredientes ausentes de uma forma que garanta que o prato final tenha um sabor tão bom quanto a versão "perfeita" (onde você tinha todos os ingredientes).
A Regra da "Verdade": Ao validar (testar) sua receita, você deve lidar com os ingredientes ausentes de uma forma que lhe dê uma pontuação honesta. Você não quer enganar a si mesmo fazendo parecer que a receita é melhor ou pior do que realmente é.

Cenário A: O Restaurante "Estrito" (Não é permitido dados ausentes)

Imagine um restaurante chique onde o chef se recusa a cozinhar um prato a menos que o cliente forneça cada ingrediente do menu. Se um cliente estiver com um ingrediente faltando, o chef diz: "Desculpe, não posso cozinhar para você".

O Conselho do Artigo: Se o seu plano é ser este chef estrito, você deve desenvolver e testar sua receita usando Imputação Múltipla (IM).
- A Analogia: Pense na Imputação Múltipla como um "adivinhador mágico" que preenche os ingredientes faltantes com base no que você sabe, mas faz isso de uma forma que leva em conta a incerteza. Crucialmente, esse "adivinhador mágico" precisa saber o resultado final (o cliente gostou do prato?) para fazer boas suposições durante a fase de desenvolvimento.
- A Armadilha: Se você desenvolver sua receita usando "Imputação pela Média" (apenas adivinhando a média dos ingredientes para todos) ou "Análise de Casos Completos" (descartando qualquer cliente que tenha perdido um ingrediente), sua receita será fraca. Quando você finalmente tentar servir ao público estrito, ela terá um gosto ruim (degradação do modelo).

Cenário B: O Food Truck "Flexível" (Dados ausentes são permitidos)

Agora, imagine um food truck onde o chef está de acordo com ingredientes ausentes. Se um cliente esqueceu de dizer se é alérgico a nozes, o chef apenas usa um "padrão" de nível de nozes ou um método específico de "suposição" para preencher a lacuna para que o cozimento possa continuar.

O Conselho do Artigo: Se o seu plano é ser este food truck flexível, você deve usar exatamente o mesmo método para preencher os ingredientes ausentes durante o desenvolvimento, o teste e o serviço.
- A Analogia: Se você decidir usar uma "Imputação por Regressão" (um tipo específico de suposição inteligente baseada em outros ingredientes) para preencher as lacunas para seus clientes, você deve usar esse mesmo método de "suposição inteligente" quando estiver criando a receita e quando estiver testando-a.
- A Armadilha: Se você criar a receita usando "Imputação pela Média" (médias), mas disser aos seus clientes: "Não se preocupe, usaremos um método de 'Suposição Inteligente' para preencher sua informação ausente", a receita quebrará. A matemática não se alinhará. O artigo descobriu que misturar métodos (como desenvolver com um método e validar com outro) quase sempre leva a uma pontuação enviesada — você acha que seu food truck é bem-sico, mas ele está falhando na verdade.

O "Submodelo de Padrão" (O Caso Especial)

O artigo também analisou um método chamado Submodelos de Padrão.

A Analogia: Em vez de uma grande receita, você escreve quatro mini-receitas:
1. Uma para clientes que deram todas as informações.
2. Uma para clientes que estão sem o ingrediente A.
3. Uma para clientes que estão sem o ingrediente B.
4. Uma para clientes que estão sem ambos.
O Conselho do Artigo: Se você planeja usar esta abordagem de "mini-receita" no food truck, você deve desenvolver e testar usando exatamente essa mesma abordagem de "mini-receita". Você não pode desenvolver com mini-receitas e depois testar fazendo a média de tudo.

A Grande Conclusão

Os autores realizaram milhares de simulações computacionais e verificaram dados reais de cirurgia para provar seu ponto. Eles descobriram que práticas comuns são frequentemente erradas.

Erro Comum: Muitos pesquisadores desenvolvem um modelo usando um método (como Imputação Múltipla) para obter as melhores estatísticas, mas depois implantam o modelo usando um método mais simples (como Imputação pela Média) porque é mais fácil de programar em um aplicativo.
O Resultado: Isso cria um "paradoxo do mentiroso". O modelo parece ótimo no laboratório, mas quando chega ao mundo real, apresenta um desempenho ruim, ou as pontuações de desempenho estão completamente erradas.

Resumo em Uma Sentença

Para construir uma ferramenta de predição médica confiável, você deve decidir primeiro como lidará com dados ausentes quando a ferramenta for realmente usada no mundo real, e então deve usar exatamente esse mesmo método para construir e testar a ferramenta; misturar e combinar métodos leva a modelos quebrados e falsa confiança.

Resumo Técnico: Compatibilidade de Métodos de Tratamento de Dados Ausentes nas Etapas de Produção de Modelos de Predição Clínica

Definição do Problema
A ausência de dados em variáveis preditoras é um desafio persistente ao longo de todo o ciclo de vida dos Modelos de Predição Clínica (CPMs), abrangendo o desenvolvimento, a validação e a implementação. Embora a pesquisa metodológica tenha abordado extensivamente os dados ausentes para inferência causal (focando em estimativas de parâmetros não enviesadas), os objetivos da modelagem de predição diferem: o objetivo principal é uma predição precisa e bem calibrada em novos indivíduos. As práticas atuais frequentemente carecem de orientação sobre como as decisões de tratamento de dados ausentes no desenvolvimento e na validação devem se alinhar com a estratégia de implementação pretendida. Especificamente, não está claro se os métodos usados para lidar com a ausência de dados durante a construção e o teste do modelo são "compatíveis" com a forma como o modelo será eventualmente utilizado na prática clínica. Inconsistências — como o uso de Imputação Múltipla (MI) durante o desenvolvimento e Imputação pela Média durante a implementação — podem levar a estimativas de desempenho enviesadas ou à degradação do modelo.

Metodologia
Os autores investigaram esta questão através de duas abordagens complementares: um estudo de simulação em larga escala e uma análise empírica de dados cirúrgicos do mundo real.

Estudo de Simulação:
- Design: Seguindo a estrutura ADEMP, o estudo simulou uma população alvo de 200.000 indivíduos com dois preditores ( $X_1, X_2$ ) e um desfecho binário. $X_1$ estava sujeito à ausência de dados, enquanto $X_2$ e o desfecho foram totalmente observados.
- Mecanismos de Ausência de Dados: Seis Grafos Acíclicos Dirigidos (DAGs) foram usados para induzir mecanismos de Ausência Completa ao Acaso (MCAR), Ausência ao Acaso (MAR) e Ausência Não Aleatória (MNAR). As proporções de ausência variaram de 10% a 50%, e as correlações entre os preditores foram variadas.
- Métodos de Tratamento: Cinco estratégias foram avaliadas em cada etapa (desenvolvimento, validação, implementação):
  - Análise de Casos Completos (CCA)
  - Imputação pela Média/Moda
  - Imputação por Regressão Determinística Única (RI)
  - Imputação Múltipla (MI), testada tanto com o desfecho incluído (MI-com-Y) quanto excluído (MI-sem-Y).
  - Submodelos de Padrão (PSM).
- Critérios de Compatibilidade: O estudo definiu "compatibilidade" baseando-se em dois princípios:
  1. Minimizar a Degradação do Modelo: A diferença entre o desempenho do modelo implementado e o desempenho do verdadeiro modelo sob uma estratégia de implementação específica.
  2. Validação Não Enviesada: O processo de validação deve fornecer uma estimativa não enviesada do desempenho do modelo quando este for implementado sob essa mesma estratégia.
- Cenários: O estudo testou todas as combinações de estratégias de desenvolvimento, validação e implementação ao longo de 600 cenários.
Análise Empírica:
- Dados: Os autores utilizaram o North-West Clinical Outcomes Research Registry (NCORR), contendo 6.600 pacientes submetidos à cirurgia de ressecção pulmonar.
- Tarefa: Predição da mortalidade pós-cirúrgica de 90 dias utilizando um modelo de regressão logística baseado no CPM RESECT-90.
- Procedimento: A amostragem por bootstrap foi utilizada para criar 100 conjuntos de dados de desenvolvimento. Os modelos foram desenvolvidos utilizando os vários métodos de tratamento de dados ausentes e, em seguida, validados contra o conjunto de dados original, aplicando as estratégias de validação correspondentes para avaliar o viés de desempenho.

Principais Resultados
Os resultados da simulação e da análise empírica demonstraram consistentemente que a compatibilidade é altamente dependente da estratégia de implementação pretendida:

Implementação Exigindo Dados Completos (E-all):
- Para minimizar a degradação e garantir uma validação não enviesada, os modelos devem ser desenvolvidos e validados usando Imputação Múltipla incluindo o desfecho (MI-com-Y) ou dados totalmente observados.
- Sob mecanismos de ausência de dados complexos (ex: MNAR), mesmo o MI-com-Y apresentou alguma degradação, mas permaneceu superior aos outros métodos.
- O uso de CCA ou Imputação pela Média para o desenvolvimento levou a uma degradação significativa do modelo quando implementado sob uma estratégia E-all.
Implementação Permitindo Dados Ausentes:
- Quando um CPM é destinado a ser implementado permitindo dados ausentes (usando um método específico de imputação, como Imputação pela Média, RI, MI-sem-Y ou PSM), o mesmo método deve ser usado durante o desenvolvimento e a validação.
- Imputação pela Média/Moda: Desenvolver com MI e implementar com Imputação pela Média resultou em estimativas de desempenho enviesadas e erros de calibração.
- Imputação por Regressão (RI) & PSM: Estes métodos performaram bem apenas quando as estratégias de desenvolvimento, validação e implementação eram idênticas.
- MI-sem-Y: Embora teoricamente atraente para a implementação, o uso de MI-sem-Y durante o desenvolvimento levou a estimativas enviesadas da associação preditor-desfecho, causando degradação quando implementado sob uma estratégia E-MI.
Viés de Validação:
- Uma descoberta crítica foi que o viés de validação foi impulsionado principalmente pelo método utilizado para tratar os dados ausentes durante a validação, e não pelo método utilizado durante o desenvolvimento.
  de acordo com o método utilizado para tratar os dados ausentes durante a validação, e não pelo método utilizado durante o desenvolvimento.
- Se um modelo for validado utilizando um método diferente da estratégia de implementação pretendida, as estimativas de desempenho serão enviesadas, independentemente de como o modelo foi originalmente construído.

Significância e Alegações
O artigo argumenta que a decisão de como tratar os dados ausentes na implementação deve fundamentalmente informar as decisões tomadas durante o desenvolvimento e a validação. Os autores afirmam que:

As Práticas Atuais são Falhas: Combinações comuns de métodos encontradas na literatura (ex: desenvolver com MI e validar/implementar com Imputação pela Média) frequentemente resultam em estimativas de desempenho preditivo enviesadas e modelos subótimos.
O Alinhamento é Essencial: Para alcançar a compatibilidade, os pesquisadores devem trabalhar de trás para frente a partir da estratégia de implementação.
- Se o objetivo é um modelo para pacientes com dados completos, utilize MI-com-Y (ou dados completos) em todas as etapas.
- Se o objetivo é um modelo para pacientes com dados ausentes, utilize o mesmo método de imputação (ex: RI ou PSM) no desenvolvimento, validação e implementação.
Implicações Práticas: Os autores enfatizam que, embora o MI-com-Y seja estatisticamente robusto para a implementação de dados completos, ele é frequentemente impraticável para a implementação (exigindo acesso aos dados originais ou recursos computacionais complexos). Portanto, se um modelo deve lidar com dados ausentes na prática, os desenvolvedores devem priorizar métodos determinísticos como a Imputação por Regressão ou Submodelos de Padrão desde o início, em vez de tentar adaptar um modelo construído para dados completos.

O estudo conclui que, sem esse alinhamento, a transição dos CPMs para a prática clínica corre o risco de se basear em estimativas de desempenho imprecisas, potencialmente comprometendo o cuidado ao paciente.