Evaluating Reliability in Machine Learning Models for Early Chronic Kidney Disease Prediction: A Systematic Review of Data Leakage and Predictor Stability

Resumen Técnico: Evaluación de la Fiabilidad en Modelos de Aprendizaje Automático para la Predicción Temprana de la Enfermedad Renal Crónica

Planteamiento del Problema
A pesar del rápido avance del aprendizaje automático (ML) para la detección temprana de la Enfermedad Renal Crónica (ERC), el campo sufre inconsistencias metodológicas significativas que socavan la fiabilidad y la utilidad clínica de los modelos reportados. Una preocupación primordial es la prevalencia de la filtración de datos (data leakage), donde los predictores utilizados para el entrenamiento contienen información directamente vinculada a la etiqueta del resultado (por ejemplo, utilizar la creatinina sérica o la tasa de filtración glomerular estimada [eGFR] para predecir la ERC cuando la definición misma de la enfermedad depende de estas métricas). Esta práctica conduce al razonamiento circular, lo que resulta en métricas de rendimiento excesivamente optimistas que no se traducen a entornos del mundo real. Además, existe una falta de consenso con respecto a la estabilidad de los predictores; las características identificadas como importantes en un estudio a menudo no logran replicarse en otros, lo que sugiere que muchos de los "indicadores clave" reportados son artefactos específicos de cada conjunto de datos en lugar de señales clínicas generalizables. La literatura actual carece de un marco unificado para auditar sistemáticamente estos fallos metodológicos.

Metodología
Este estudio emplea una Revisión Sistemática de la Literatura siguiendo el marco PRISMA para evaluar 19 estudios relevantes publicados entre 2021 y 2025. El proceso de selección consistió en la búsqueda en las principales bases de datos académicas (IEEE Xplore, PubMed, Google Scholar, etc.) utilizando palabras clave relacionadas con la ERC, el aprendizaje automático e indicadores clínicos, filtrando finalmente por estudios centrados en la detección de estadios tempranos, características clínicas e interpretabilidad.

La contribución metodológica central es el desarrollo de una taxonomía estructurada y un marco de puntuación cuantitativa para la filtración de datos:

1. Taxonomía de Filtración: Los autores definen tres tipos distintos de filtración:
   • Filtración Directa (DL): Características que forman parte de los criterios diagnósticos (p. ej., eGFR, creatinina sérica, albuminuria).
   • Filtración por Proximidad (PL): Características que no están en los criterios diagnósticos pero que están altamente correlacionadas ($|r| \ge 0.85$) o son clínicamente redundantes con los biomarcadores diagnósticos (p. ej., nitrógeno ureico en sangre, cistatina C).
   • Filtración Temporal (TL): Características recolectadas después del evento del resultado (p. ej., medicamentos post-diagnóstico).
2. Puntuación de Filtración: Se aplica una función de puntuación ponderada ($L_i = 2DL_i + PL_i + 2TL_i$) a cada estudio. Los estudios se categorizan como de Baja Filtración ($L_i \le 2$) o Alta Filtración ($L_i \ge 3$).
3. Análisis de Estabilidad de Características: Se realizó un análisis transversal de 28 atributos clínicos estandarizados para calcular una puntuación de estabilidad normalizada basada en la frecuencia de ocurrencia en los 19 estudios seleccionados.
4. Validación Experimental: Para demostrar el impacto de la filtración, los autores simularon la inyección de filtración en modelos estándar (CatBoost, Stacked Ensemble, LightGBM, AdaBoost) utilizando configuraciones de datos limpios, con filtración por proximidad y con filtración directa.

Contribuciones Clave

• Taxonomía Sistemática de la Filtración: El artículo introduce un sistema de clasificación formal (Directa, Proximidad, Temporal) diseñado específicamente para la predicción de la ERC, abordando un vacío en la literatura existente donde la filtración suele pasarse por alto o definirse de manera inconsistente.
• Marco Cuantitativo de Filtración: El mecanismo de puntuación propuesto permite la evaluación y comparación sistemática de la fiabilidad metodológica entre diferentes estudios, yendo más allá de la simple comparación de métricas de rendimiento.
• Evidencia Empírica de Inflación: El estudio proporciona evidencia estadística que vincula la severidad de la filtración con la inflación de las métricas de rendimiento, desafiando la validez de las afirmaciones de alta precisión.
• Evaluación de Estabilidad Transversal: Al analizar la consistencia de las características a través de diversos conjuntos de datos (incluyendo UCI, NHANES, UK Biobank y cohortes regionales), el artículo identifica qué predictores son robustos y cuáles son probablemente específicos de cada conjunto de datos.

Resultados

• Inflación del Rendimiento: Existe una relación fuerte y estadísticamente significativa entre la filtración de datos y la precisión reportada. Los estudios de alta filtración reportaron un promedio de precisión del 95.48%, mientras que los estudios de baja filtración reportaron un 80.16%. Esto representa una inflación promedio de aproximadamente un 15.32% (estadísticamente significativa con $p = 0.005$).
• Impacto de los Tipos de Filtración: En experimentos controlados, los modelos con Filtración Directa alcanzaron una precisión casi perfecta (98.75%–100.00%) y un AUC (100.00%), reconstruyendo efectivamente la regla diagnóstica en lugar de aprender patrones de la enfermedad. La Filtración por Proximidad también causó mejoras medibles en el rendimiento (p. ej., +5.00% de precisión para AdaBoost).
• Inestabilidad de las Características: El análisis transversal reveló que más del 80% de los predictores carecen de fiabilidad a través de diferentes poblaciones. Mientras que los factores demográficos (edad, presión arterial) y algunos marcadores clínicos (hemoglobina) mostraron una alta estabilidad, la gran mayoría de las características, particularmente aquellas en los dominios de estilo de vida, socioeconómico e inflamatorio, fueron inconsistentes.
• Prevalencia de la Filtración: La mayoría de los estudios revisados (14 de 19) fueron clasificados con Alta Filtración, debido principalmente a la inclusión de marcadores diagnósticos directos (p. ej., creatinina sérica) y sus proxies altamente correlacionados.

Significancia y Reivindicaciones
El artículo afirma que el panorama actual de la predicción de la ERC basada en ML está comprometido por limitaciones metodológicas más que por una capacidad predictiva genuina. Los autores sostienen que:

1. Muchas de las mejoras de rendimiento reportadas son artefactos de la filtración. Las altas puntuaciones de precisión frecuentemente citadas en la literatura son a menudo el resultado de modelos que "hacen trampa" al utilizar la clave de respuestas (criterios diagnósticos) como características de entrada.
2. El rigor metodológico es actualmente insuficiente. La falta de una auditoría de filtración estandarizada impide una comparación justa y dificulta la traslación de los modelos de ML a la práctica clínica.
3. La estabilidad de los predictores es baja. La inconsistencia en la selección de características entre estudios sugiere que muchos "biomarcadores" identificados no son factores de riesgo universales, sino que son específicos del conjunto de datos o de la técnica de selección de características utilizada.

El estudio concluye que, para que los modelos de ML sean clínicamente viables, la investigación futura debe priorizar los procesos de preprocesamiento conscientes de la filtración y una validación rigurosa entre estudios para asegurar que los modelos aprendan verdaderos patrones de la enfermedad y no redundancias estadísticas. Los hallazgos sirven como una nota de advertencia de que, sin abordar estos fallos metodológicos, la precisión diagnóstica reportada puede ser engañosa.