Evaluating Reliability in Machine Learning Models for Early Chronic Kidney Disease Prediction: A Systematic Review of Data Leakage and Predictor Stability

Resumo Técnico: Avaliando a Confiabilidade em Modelos de Aprendizado de Máquina para a Predição Precoce da Doença Renal Crônica

Definição do Problema
Apesar do rápido avanço do aprendizado de máquina (ML) para a detecção precoce da Doença Renal Crônica (DRC), o campo sofre de inconsistências metodológicas significativas que comprometem a confiabilidade e a utilidade clínica dos modelos relatados. Uma preocupação primária é a prevalência de vazamento de dados (data leakage), onde os preditores usados para o treinamento contêm informações diretamente ligadas ao rótulo do desfecho (por exemplo, usar creatinina sérica ou eGFR para prever a DRC quando a própria definição da doença depende dessas métricas). Essa prática leva ao raciocínio circular, resultando em métricas de desempenho excessivamente otimistas que não se traduzem em ambientes do mundo real. Além disso, há uma falta de consenso em relação à estabilidade do preditor; características identificadas como importantes em um estudo frequentemente falham em se replicar em outros, sugerindo que muitos "indicadores-chave" relatados são artefatos específicos de conjuntos de dados, em vez de sinais clínicos generalizáveis. A literatura atual carece de um framework unificado para auditar sistematicamente essas falhas metodológicas.

Metodologia
Este estudo emprega uma Revisão Sistemática da Literatura seguindo o framework PRISMA para avaliar 19 estudos relevantes publicados entre 2021 e 2025. O processo de seleção envolveu a busca em principais bases de dados acadêmicas (IEEE Xplore, PubMed, Google Scholar, etc.) utilizando palavras-chave relacionadas à DRC, aprendizado de máquina e indicadores clínicos, filtrando finalmente por estudos focados em predição de estágio inicial, características clínicas e interpretabilidade.

A principal contribuição metodológica é o desenvolvimento de uma taxonomia estruturada e um framework de pontuação quantitativa para vazamento de dados:

1. Taxonomia de Vazamento: Os autores definem três tipos distintos de vazamento:
   • Vazamento Direto (DL - Direct Leakage): Características que fazem parte dos critérios diagnósticos (ex: eGFR, creatinina sérica, albuminúria).
   • Vazamento por Proximidade (PL - Proxy Leakage): Características que não estão nos critérios diagnósticos, mas são altamente correlacionadas ($|r| \ge 0,85$) ou clinicamente redundantes com biomarcadores diagnósticos (ex: Nitrogênio Ureico no Sangue, Cistatina C).
   • Vazamento Temporal (TL - Temporal Leakage): Características coletadas após o evento do desfecho (ex: medicamentos pós-diagnóstico).
2. Pontuação de Vazamento: Uma função de pontuação ponderada ($L_i = 2DL_i + PL_i + 2TL_i$) é aplicada a cada estudo. Estudos são categorizados como Baixo Vazamento ($L_i \le 2$) ou Alto Vazamento ($L_i \ge 3$).
3. Análise de Estabilidade de Características: Uma análise cross-study foi conduzida em 28 atributos clínicos padronizados para calcular uma pontuação de estabilidade normalizada baseada na frequência de ocorrência entre os 19 estudos selecionados.
4. Validação Experimental: Para demonstrar o impacto do vazamento, os autores simularam a injeção de vazamento em modelos padrão (CatBoost, Stacked Ensemble, LightGBM, AdaBoost) usando configurações de dados limpos, com vazamento de proxy e com vazamento direto.

Principais Contribuições

• Taxonomia Sistemática de Vazamento: O artigo introduz um sistema de classificação formal (Direto, Proximidade, Temporal) especificamente adaptado para a predição de DRC, abordando uma lacuna na literatura existente onde o vazamento é frequentemente negligenciado ou definido de forma inconsistente.
• Framework Quantitativo de Vazamento: O mecanismo de pontuação proposto permite a avaliação sistemática e a comparação da confiabilidade metodológica entre diferentes estudos, indo além da simples comparação de métricas de desempenho.
• Evidência Empírica de Inflação: O estudo fornece evidência estatística vinculando a severidade do vazamento a métricas de desempenho infladas, desafiando a validade de alegações de alta acurácia.
• Avaliação de Estabilidade Cross-Study: Ao analisar a consistência das características através de diversos conjuntos de dados (incluindo UCI, NHANES, UK Biobank e coortes regionais), o artigo identifica quais preditores são robustos e quais são provavelmente específicos de cada conjunto de dados.

Resultados

• Inflação de Desempenho: Existe uma relação forte e estatisticamente significativa entre o vazamento de dados e a acurácia relatada. Estudos de alto vazamento reportaram uma acurácia média de 95,48%, enquanto estudos de baixo vazamento reportaram 80,16%. Isso representa uma inflação média de aproximadamente 15,32% (estatisticamente significativa com $p = 0,005$).
• Impacto dos Tipos de Vazamento: Em experimentos controlados, modelos com Vazamento Direto alcançaram acurácia quase perfeita (98,75%–100,00%) e AUC (100,00%), efetivamente reconstruindo a regra diagnóstica em vez de aprender padrões da doença. O Vazamento por Proximidade também causou ganhos de desempenho mensuráveis (ex: +5,00% de acurácia para AdaBoost).
• Instabilidade de Características: A análise cross-study revelou que mais de 80% dos preditores carecem de confiabilidade entre diferentes populações. Enquanto fatores demográficos (idade, pressão arterial) e alguns marcadores clínicos (hemoglobina) mostraram alta estabilidade, a vasta maioria das características, particularmente aquelas nos domínios de estilo de vida, socioeconômico e inflamatório, foram inconsistentes.
• Prevalência de Vazamento: A maioria dos estudos revisados (14 de 19) foi classificada como tendo Alto Vazamento, principalmente devido à inclusão de marcadores diagnósticos diretos (ex: creatinina sérica) e seus proxies altamente correlacionados.

Significância e Alegações
O artigo afirma que o cenário atual de predição de DRC baseada em ML está comprometido por limitações metodológicas em vez de capacidade preditiva genuína. Os autores alegam que:

1. Muitas melhorias de desempenho relatadas são artefatos de vazamento. As altas pontuações de acurácia frequentemente citadas na literatura são muitas vezes o resultado de modelos "trapaceando" ao usar o gabarito (critérios diagnósticos) como características de entrada.
2. O rigor metodológico é atualmente insuficiente. A falta de auditoria padronizada de vazamento impede o benchmarking justo e dificulta a tradução dos modelos de ML para a prática clínica.
3. A estabilidade do preditor é baixa. A inconsistência na seleção de características entre os estudos sugere que muitos "biomarcadores" identificados não são fatores de risco universais, mas sim específicos do conjunto de dados ou da técnica de seleção de características utilizada.

O estudo conclui que, para que os modelos de ML sejam clinicamente viáveis, pesquisas futuras devem priorizar pipelines de pré-processamento conscientes de vazamento e validação rigorosa cross-study para garantir que os modelos aprendam verdadeiros padrões de doenças, em vez de redundâncias estatísticas. Os achados servem como uma nota de cautela de que, sem abordar essas falhas metodológicas, a precisão diagnóstica relatada pode ser enganosa.