Gradient Boosted Risk Scores

Resumen Técnico: Puntuaciones de Riesgo por Gradiente Potenciado (GBRS)

Planteamiento del Problema
Las puntuaciones de riesgo son una clase de modelos de aprendizaje automático interpretables ampliamente utilizados en medicina, seguros y gestión de riesgos. A diferencia de los algoritmos complejos de "caja negra", las puntuaciones de riesgo están diseñadas para ser computadas manualmente por humanos mediante la asignación de puntos a muestras de datos basándose en un conjunto limitado de criterios. Los métodos actuales para generar estas puntuaciones dependen típicamente de regresiones lineales, logísticas o de Cox. Estos enfoques enfrentan dos limitaciones primarias:

1. Restricciones del Modelo: Están limitados por los supuestos de los modelos de regresión subyacentes, los cuales pueden no cumplirse en la práctica.
2. Pérdida de Información: Para crear puntuaciones basadas en puntos interpretables, los coeficientes de regresión continuos deben ser agrupados (discretizados) como un paso de post-procesamiento. Este agrupamiento introduce pérdida de información y reduce la precisión predictiva.
   Aunque marcos de trabajo como AutoScore intentan automatizar este proceso, siguen dependiendo de la conversión de variables continuas a categóricas antes de la regresión, manteniendo el problema de la pérdida de información. Además, los métodos existentes basados en reglas (por ejemplo, RuleFit) o modelos aditivos (como Explainable Boosting Machines) suelen generar reglas a partir de árboles profundos o requieren la evaluación computacional de funciones de forma, careciendo de la transparencia directa de un modelo simple de suma de puntos.

Metodología
Los autores proponen las Puntuaciones de Riesgo por Gradiente Potenciado (GBRS), un método que modela directamente las puntuaciones de riesgo como un conjunto de reglas de decisión aditivas utilizando un procedimiento de gradiente potenciado (gradient boosting).

• Arquitectura Central: GBRS construye un modelo aditivo $F(x_i) = \beta_0 + \sum_{k=1}^K s_k(x_{jk})$, donde cada término $s_k$ es una función de puntuación univariante y escalonada (piecewise-constant) aplicada a una única covariable.
• Aprendices Base: A diferencia del gradiente potenciado estándar que utiliza árboles de diversas profundidades, GBR:{1} GBRS restringe todos los aprendices base a estúpidos de decisión (decision stumps o divisiones de un solo umbral).
• Optimización: El algoritmo agrega secuencialmente estos estúpidos para minimizar una función de pérdida específica de la tarea (error cuadrático para regresión, log-verosimilitud para clasificación binaria y pérdida de ranking por pares para análisis de supervivencia) sin post-procesamiento.
  • Para resultados binarios, los valores de las hojas se computan mediante un paso de Newton correspondiente a una actualización de regresión logística de dos hojas.
  • Para el análisis de supervivencia, el método optimiza una pérdida de ranking por pares sobre pares de eventos comparables.
• Agregación: Debido a que los estúpidos de decisión carecen de dependencias jerárquicas, es posible que se seleccionen condiciones de división idénticas en múltiples iteraciones de potenciación. GBRS las agrega sumando sus coeficientes, lo que resulta en un conjunto compacto y disperso de reglas basadas en umbrales.
• Interpretabilidad: El resultado final es una tabla de puntuación transparente. Los puntos representan contribuciones aditivas en escalas específicas: escala de identidad para resultados continuos, log-odds para resultados binarios y log-riesgo (o log-hazard) para resultados de tiempo hasta el evento.
• Implementación: Los autores proporcionan una implementación eficiente en C++ con enlaces para Python y R. El método utiliza un conjunto mínimo de hiperparámetros (número de iteraciones, tasa de aprendizaje y número de umbrales) y no requiere el ajuste de coeficientes de regularización, ya que la restricción en el número de contenedores (bins) actúa como un regularizador natural.

Contribuciones Clave

1. Primer Enfoque de Gradiente Potenciado para Puntuaciones Basadas en Puntos: Hasta donde los autores saben, GBRS es el primer método de gradiente potenciado diseñado explícitamente para producir puntuaciones de riesgo computables por humanos.
2. Modelado Directo: A diferencia de AutoScore, GBRS no requiere convertir variables continuas en categóricas antes de la regresión; aprende la función de puntuación directamente.
3. Compacidad y Transparencia: El método produce modelos que son significativamente más compactos que las alternativas basadas en regresión, manteniendo la capacidad predictiva.
4. Lanzamiento de Software: Los autores lanzan una biblioteca en C++ con enlaces para Python y R, permitiendo la generación de puntuaciones con un código mínimo.

Resultados
El método fue evaluado en 12 conjuntos de datos tabulares que abarcan tareas de regresión, clasificación binaria y tiempo hasta el evento (supervivencia), incluyendo datos del UK Biobank.

• Desempeño Predictivo: GBRS logró un desempeño competitivo en comparación con XGBoost (un método de caja negra de vanguardia) y la regresión tradicional. Aunque XGBoost generalmente funcionó mejor en objetivos continuos, GBRS tuvo un desempeño similar en tareas binarias y de tiempo hasta el evento. En varias clasificaciones binarias y una tarea de supervivencia, GBRS funcionó estadísticamente mejor que AutoScore.
• Compacidad del Modelo: GBRS produjo puntuaciones sustancialmente más compactas. En promedio, requirió un 60% menos de reglas para tareas de clasificación y un 16% menos de reglas para tareas de tiempo hasta el evento en comparación con AutoScore, dado el mismo número de umbrales iniciales.
• Interpretabilidad: El estudio demostró que los coeficientes de GBRS pueden interpretarse directamente. Por ejemplo, en un modelo de riesgo de insuficiencia cardíaca, la puntuación indicó que fumar aumentaba el hazard ratio por un factor de $\approx 3$ ($e^{1.1}$), y una LVEF < 50% aumentaba el riesgo más de seis veces. Estas relaciones se capturaron mediante umbrales estrictos en lugar de interpolación lineal, alineándose con los marcadores clínicos.

Significancia y Reivindicaciones
El artículo afirma que GBRS ofrece un equilibrio favorable entre precisión predictiva y transparencia. Es particularmente adecuado para dominios de alto riesgo (por ejemplo, la toma de decisiones clínicas) donde los resultados del modelo deben ser auditables y comprensibles para los humanos.

• Transparencia vs. Flexibilidad: Los autores reconocen que GBRS no puede modelar interacciones entre variables y puede tener un desempeño inferior en conjuntos de datos con relaciones aproximadamente lineales donde la discretización gruesa es perjudicial. Sin embargo, argumentan que estas son elecciones de diseño deliberadas que priorizan la estabilidad y la interpretabilidad sobre la máxima flexibilidad predictiva.
• Utilidad Práctica: La capacidad de expresar las predicciones como puntuaciones compactas basadas en puntos permite a los tomadores de decisiones estimar visualmente el impacto de las variables de entrada cambiantes y estratificar a los pacientes sin depender de herramientas computacionales complejas.
• Limitaciones: Los autores señalan que las puntuaciones de riesgo no deben extrapolarse mucho más allá de la distribución de entrenamiento y que la selección de variables es crítica debido a la incapacidad de modelar interacciones.

En resumen, GBRS proporciona un método para generar puntuaciones de riesgo interpretables y computables por humanos que capturan relaciones no lineales sin la pérdida de información asociada al agrupamiento tradicional basado en regresión, ofreciendo una alternativa práctica a los modelos de caja negra en entornos donde la transparencia es primordial.