📊 statistics

Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values

Este artículo presenta RuleSHAP, un marco novedoso que integra la regresión bayesiana dispersa, la generación de reglas basadas en árboles y los valores de Shapley para permitir la inferencia estadísticamente válida y la cuantificación de la incertidumbre para efectos no lineales e de interacción en datos epidemiológicos.

Autores originales: Giorgio Spadaccini, Marjolein Fokkema, Mark A. van de Wiel

Publicado 2026-06-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Giorgio Spadaccini, Marjolein Fokkema, Mark A. van de Wiel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio sobre qué hace que los corazones de las personas sean sanos o insanos. Tienes una enorme pila de pistas (datos) sobre la edad, el peso, la dieta y los antecedentes de las personas.

Durante mucho tiempo, los detectives usaron una herramienta muy simple: una regla recta. Esta herramienta asume que si añades un poco más de una pista (como envejecer un poco), el resultado cambia en una cantidad fija y predecible. Es fácil de usar, pero la vida real rara vez es una línea recta. A veces, envejecer solo importa si también tienes un cierto peso. A veces, el efecto de una pista cambia completamente dependiendo de quién seas.

Aquí es donde entra el Aprendizaje Automático (ML). Es como un detective superinteligente y capaz de cambiar de forma que puede encontrar estos patrones extraños, curvos y complejos que la regla recta pasa por alto. Pero aquí está el problema: aunque este detective superinteligente es excelente para encontrar los patrones, es terrible explicando qué tan seguro está de ellos. Te da una respuesta, pero no te dice si esa respuesta es un hecho sólido o solo un golpe de suerte. En la ciencia, saber la parte del "qué tan seguro" (la incertidumbre) es tan importante como la respuesta misma.

El Problema: La "Caja Negra" frente a la "Regla"

El artículo argumenta que estamos atrapados entre dos malas opciones:

La Regla (Regresión Lineal): Te da una "puntuación de confianza" clara (inferencia), pero se pierde todas las relaciones complejas y curvas de los datos.
El Cambiaformas (Aprendizaje Automático): Encuentra las relaciones complejas, pero actúa como una "caja negra". No puedes preguntarle fácilmente: "¿Qué tan seguro estás de esta regla específica?" o "¿Es este patrón real o solo ruido?".

Los métodos existentes intentan solucionar esto tomando una caja negra y alumbrándola con una linterna (usando cosas llamadas valores de Shapley), pero la linterna es inestable. A menudo hace que el detective parezca más seguro de lo que realmente es, lo que provoca falsas alarmas.

La Solución: RuleSHAP

Los autores crearon una nueva herramienta llamada RuleSHAP. Piensa en esto como construir un equipo de detectives que combina lo mejor de ambos mundos.

1. El Detective de "Suavizado" (Generación de Reglas)
Normalmente, cuando estos detectives cambiaformas buscan reglas, se emocionan demasiado y memorizan las pistas específicas que están buscando, en lugar de aprender el patrón general. Esto es como un estudiante que memoriza las respuestas de un examen de práctica en lugar de aprender la materia.
RuleSHHAP utiliza un truco llamado "Suavizado" (Smoothing). Hace de cuenta que los datos son ligeramente diferentes cada vez que los observa (añadiendo un poco de "ruido"). Esto obliga al detective a encontrar los patrones subyacentes reales que se mantienen incluso cuando los datos tambalean, en lugar de memorizar los detalles específicos. Esto evita que hagan afirmaciones falsas.

2. La Matemática de la "Personalidad Dividida" (Regresión Bayesiana)
Una vez encontradas las reglas, el equipo necesita sopesarlas. Los autores notaron que las herramientas anteriores trataban las "líneas rectas" (reglas simples) y las "reglas complejas" (interacciones curvas) exactamente de la misma manera. Esto causó que las matemáticas accidentalmente ignoraran los hechos simples y rectos porque estaban demasiado ocupadas buscando los complejos.
RuleSHAP divide su cerebro. Utiliza una parte de su cerebro para manejar los hechos simples y de línea recta, y otra parte para las reglas complejas. Esto asegura que, si una relación es en realidad una línea recta, la herramienta la reconozca como tal y le otorgue una puntuación de confianza adecuada.

3. El "Boletín de Calificaciones Local" (Valores de Shapley)
Finalmente, la herramienta calcula los "valores de Shapley". Imagina un proyecto grupal donde todos contribuyen. Los valores de Shapley te dicen exactamente cuánto contribuyó cada persona a la calificación final.
RuleSHAP no solo da una calificación global; da un boletín de calificaciones local para cada una de las personas en el estudio. Dice: "Para esta mujer específica de 50 años, la edad es un gran factor de riesgo. Pero para ese hombre de 20 años, la edad no importa mucho". Crucialmente, adjunta un "intervalo de confianza" a cada uno de estos informes locales, diciéndote si esa contribución específica es estadísticamente significativa o simplemente ruido aleatorio.

Lo que Encontraron

El equipo probó esta nueva herramienta en dos cosas:

Datos Falsos: Crearon un rompecabezas con respuestas conocidas. RuleSHAP fue capaz de encontrar las respuestas correctas y, lo que es más importante, identificar correctamente cuáles pistas no eran importantes (ruido) sin levantar falsas alarmas. Otras herramientas a menudo se confundían y pensaban que el ruido era importante.
Datos Reales de Salud: La aplicaron a un estudio masivo de más de 21,000 personas en los Países Bajos para observar el colesterol y la presión arterial.
- Confirmaron hechos conocidos: La edad avanzada y un IMC más alto generalmente significan una presión arterial más alta.
- Encontraron interacciones complejas: El efecto de la edad sobre el colesterol no es el mismo para todos. Por ejemplo, la brecha en los niveles de colesterol entre hombres y mujeres se amplía mucho después de los 52 años (coincidiendo con la menopausia).
- Encontraron una "paradoja": El tabaquismo parecía estar vinculado con una presión arterial más baja en sus datos. Los autores señalan que esto es un truco estadístico conocido (probablemente porque los fumadores pueden tener otros problemas de salud que reducen su peso o debido a errores de medición), y su herramienta identificó correctamente esto como una asociación específica y no causal, en lugar de una cura mágica.

La Conclusión

RuleSHAP es un nuevo marco que permite a los científicos utilizar el potente y flexible aprendizaje automático para encontrar patrones de salud complejos, pero con la red de seguridad de la estadística fiable. Les dice no solo cuál es el patrón, sino qué tan seguros pueden estar de él para individuos específicos, sin dejarse engañar por el ruido aleatorio.

Limitaciones: El artículo señala que esta herramienta es actualmente pesada computacionalmente (tarda mucho tiempo en ejecutarse en conjuntos de datos muy grandes) y, como todos los estudios observacionales, no puede probar la causa y el efecto; solo puede mostrar asociaciones fuertes.

Resumen Técnico: RuleSHAP para la Inferencia Epidemiológica No Lineal

Planteamiento del Problema

El Aprendizaje Automático (ML) se utiliza cada vez más en epidemiología para el "descubrimiento libre de hipótesis" de factores de riesgo y protección porque puede capturar complejidades no lineales e interacciones que los modelos lineales rígidos omiten. Sin embargo, persiste una limitación crítica: los modelos de ML estándar carecen de una inferencia estadística fiable. Las medidas de importancia de características como SHAP (Shapley Additive Explanations) proporcionan estimaciones de efectos locales, pero suelen carecer de una cuantificación de la incertidumbre (UQ) válida. Los intentos existentes por cuantificar la incertidumbre de SHAP se centran a menudo solo en la incertidumbre aleatoria (ruido en los datos), descuidando la incertidumbre epistémica (inestabilidad en los parámetros del modelo). Los métodos que combinan la selección de características de ML con una regresión lineal posterior suelen arrojar estimaciones de incertidumbre excesivamente optimistas y no logran capturar las interacciones no lineales de manera consistente. El desafío consiste en desarrollar un marco que ofrezca la flexibilidad del ML para detectar patrones complejos proporcionando, al mismo tiempo, una inferencia estadística rigurosa a nivel local con intervalos de credibilidad.

Metodología: El Marco RuleSHAP

Los autores proponen RuleSHAP, un marco que integra la regresión dispersa bayesiana, ensambles de árboles y valores de Shapley para abordar las limitaciones de los modelos de la familia RuleFit existentes. La metodología consta de tres innovaciones principales:

1. Ajuste Lineal Mejorado con Prior de Horseshoe Estructurado

RuleSHAP emplea un modelo de regresión lineal bayesiana mejorado con reglas de decisión dicotómicas. A diferencia del modelo estándar HorseRule, que utiliza un único parámetro de contracción (shrinkage) global que puede causar una contracción excesiva de los términos lineales (provocando la pérdida de señales lineales), RuleSHido introduce un prior de horseshoe estructurado jerárquico.

Contracciones Globales Separadas: El modelo utiliza distintos parámetros de contracción global ( $\tau_L$ para términos lineales y $\tau_R$ para términos de reglas). Esto asegura que las reglas no informativas no inflen la contracción global en detrimento de los términos lineales.
Enfoque en la Inferencia: Esta separación permite una cuantificación de la incertidumbre más precisa para los efectos lineales, lo cual es crucial porque los términos lineales no son condicionales a los datos de la misma manera que las reglas, lo que los hace más aptos para la inferencia.

2. Generación de Reglas Robusta (Bosque Aleatorio de Suavizado)

Para abordar el problema de que la generación de reglas es aleatoria y dependiente del conjunto de datos específico (lo que conduce al sobreajuste y a una subestimación de la incertidumbre), RuleSHAP introduce un enfoque de "Bosque Aleatorio de Suavizado" (Smoothing Random Forest):

Integración de Bootstrap Paramétrico: En lugar de utilizar los resultados observados brutos para la generación de reglas, el método ajusta un Bosque Aleatorio, estima los parámetros de la distribución de los resultados (por ejemplo, media y varianza) utilizando predicciones out-of-bag, y luego genera reglas ajustando un nuevo Bosque Aleatorio sobre resultados sintéticos muestreados de estas distribuciones estimadas.
Ajuste Basado en Residuos: Para el ajuste lineal inicial, las reglas se generan a partir de los residuos de una regresión de Horseshoe bayesiana sobre los términos lineales. Esto asegura que las reglas modelen tendencias más allá de lo lineal en lugar de recapturar señales lineales.
Desagregación de Reglas: Para mejorar la interpretabilidad y prevenir el sobreajuste a interacciones complejas, el método desagrega completamente las rutas de los árboles. Las condiciones en una ruta de árbol se recombinan de todas las formas posibles, permitiendo que el modelo utilice condiciones simples y necesarias sin verse obligado a usar reglas de interacción innecesariamente complejas.

3. Computación Eficiente de Valores de Shapley

El marco deriva fórmulas explícitas para computar los valores de Shapley marginales y los valores de Shapley de interacción directamente a partir de los términos de las reglas.

Estimación Directa: A diferencia de TreeSHAP, que requiere convertir las reglas nuevamente en árboles completos (aumentando el coste computacional), RuleSHAP proporciona un estimador insesgado para los valores de Shapley como medias muestrales sobre el conjunto de datos.
Propagación de la Incertidumbre: Al computar los valores de Shapley para cada muestra posterior del modelo bayesiano, el marco genera distribuciones posteriores completas para los efectos de las características, permitiendo la construcción de intervalos de credibilidad para la inferencia local.

Resultados Clave

Estudios de Simulación

Los autores validaron RuleSHAP en datos simulados (benchmark de Friedman) con variables tamaños de muestra ( $n$ ) y dimensiones ( $p$ ), comparándolo con OLS, LASSO, RuleFit, HorseRule, Random Forest y BART.

Reconstrucción de Señales: RuleSHAP identificó con éxito señales lineales ( $x_4, x_5$ ) que RuleFit y HorseRule suelen perder debido a una contracción excesiva. Reconstruyó efectos de interacción ( $x_1, x_2$ ) y efectos puramente no lineales ( $x_3$ ) con una precisión comparable o superior a sus competidores en tamaños de muestra más grandes.
Detección de Ruido: RuleSHAP demostró una capacidad superior para distinguir la señal del ruido. Mientras que BART y HorseRule produjeron frecuentemente efectos locales significativos para características de ruido (debido a una subestimación de la incertidumbre), los intervalos de credibilidad de RuleSHAP para las características de ruido contenían consistentemente el cero.
Cuantificación de la Incertidumbre: RuleSHAP logró las tasas de rechazo más bajas para las características de ruido y las más altas para las de señal, indicando un mejor equilibrio entre los errores de Tipo I y Tipo II en la inferencia local.

Aplicación Epidemiológica (Estudio HELIUS)

El marco se aplicó a la cohorte HELIUS ( $n=21,570$ ) para investigar los factores de riesgo para la presión arterial sistólica (PAS) y los niveles de colesterol.

Rendimiento Predictivo: RuleSHAP igualó a los modelos lineales para la PAS (una relación mayoritariamente lineal) pero superó significativamente a los modelos lineales para el colesterol, capturando las no linealidades necesarias.
Hallazgos de Inferencia:
- PAS: Confirmó asociaciones positivas con la edad, el IMC y la glucosa. Reveló efectos heterogéneos de la edad a través de etnias y sexos.
- Colesterol: Detectó una asociación positiva con el tabaquismo y una asociación negativa con la glucosa. Crucialmente, descubrió una interacción no lineal entre la edad y el sexo, mostrando que la diferencia en los niveles de colesterol entre sexos se vuelve más pronunciada después de los 52 años, alineándose con las edades de la menopausia.
- Control de Ruido: Las cuatro características de ruido añadidas fueron identificadas correctamente como de efectos no significativos.

Significado y Reivindicaciones

El artículo afirma que RuleSHAP ofrece un marco válido para el descubrimiento libre de hipótesis con inferencia estadística local. Su principal importancia radica en cerrar la brecha entre la flexibilidad del ML y el rigor de la inferencia estadística:

Inferencia Local: A diferencia de los Modelos Aditivos Generalizados (GAMs), que están limitados a la inferencia global o a intervalos locales subóptimos, RuleSHAP proporciona intervalos de credibilidad válidos para los efectos locales de las características.
Incertidumbre Epistémica: Al integrar la regresión bayesiana, el método tiene en cuenta la inestabilidad del modelo (incertidumbre epistémica), que a menudo se descuida en otros intentos de inferencia basados en SHAP.
Equilibrio Lineal vs. No Lineal: El prior estructurado evita la "sobre-contracción" de los términos lineales, un modo de fallo común en las variantes anteriores de RuleFit, asegurando que las señales lineales no se pierdan en la búsqueda de interacciones complejas.
Eficiencia Computacional: Las fórmulas explícitas derivadas para los valores de Shapley permiten una computación eficiente que escala mejor que la conversión de reglas en árboles completos para TreeSHAP, particularmente al analizar reglas individuales.

Los autores concluyen que, si bien el coste computacional sigue siendo una limitación (escalando cuadráticamente con el tamaño de la muestra para el ajuste bayesiano), RuleSHAP proporciona una herramienta robusta para un ML transparente en salud, permitiendo la detección de factores de riesgo complejos y no lineales con una cuantificación de la incertidumbre estadísticamente válida.